SSブログ

No.326 - 統計データの落とし穴 [科学]

個人や社会における意志決定においては「確かな数値データにもとづく判断」が重要なことは言うまでもありません。しかしデータの質が悪かったり判断に誤りが忍び込むことで、正しい議論や決定や行動ができないことが往々にしてあります。「誤ったデータ、誤った解釈」というわけです。このブログでは何回か記事を書きました。分類してまとめると次の通りです。

 社会調査における欺瞞 

No.81「2人に1人が買春」
No.83「社会調査のウソ(1)」
No.84「社会調査のウソ(2)」

アンケートやデータ収集による社会調査には、データの信頼度が無かったり、解釈が誤っている事例が多々あります。一例として、回収率が低いアンケート(たとえば30%以下)は全く信用できません。

 "食" に関する誤り 

No. 92「コーヒーは健康に悪い?」
No.290「科学が暴く "食べてはいけない" の嘘」

"食" に関する言説には、根拠となる確かなデータ(=エビデンス)がないものが多い。「・・・・・・ が健康に良い」と「・・・・・・ は健康に悪い」の2つのパターンがありますが、その「健康に悪い」に誤りが多いことを指摘したのが、No.92、No.290 でした。

 相関関係は因果関係ではない 

No.223「因果関係を見極める」

データの解釈に関する典型的な誤りは「相関関係」を「因果関係」と誤解するものです。これは No.83、No.84 でもありました。No.223 はその誤りの実例とともに、因果関係(= 原因と結果がリンクする関係)を正しくとらえるデータ収集と分析の手法の説明でした。

 評価指標とスコア 

No.240「破壊兵器としての数学」
No.247「幸福な都道府県の第1位は福井県」
No.250「データ階層社会の到来」

各種の数値データを数学モデルや AI技術によって分析し、人や組織の評価指標やスコアを作成し、それにもとづいてランキングをしたり分類したりする動きが世界で急速に広まっています。これには、一方的なモノの味方を強要する危うさや、人々の平等や自由を損なう側面があり、このことは十分に認識しておく必要があります。

 思考をまどわすデータ 

No.296「まどわされない思考」

No.296 は、我々の思考やモノの考え方を惑わす様々な要因を述べたものでしたが(その一例は "陰謀論")、要因の一つがデータの誤った解釈でした。



今回は以上のような「誤ったデータ、誤った解釈」の続きで、2021年に出版された本(の一部)を紹介したいと思います。

ピーター・シュライバー 著
土屋 隆裕 監訳 佐藤 聡 訳
「統計データの落とし穴」
── その数字は真実を語るのか? ──
(ニュートンプレス 2021.8.10)

です。原題は "Bad Data" で、その名の通り真実を語るにはふさわしくない「悪いデータ、バッド・データ」を様々な視点から述べたものです。

統計データの落とし穴.jpg


統計データの落とし穴


著者のピーター・シュライバーは、カナダのカルガリー市の都市計画官で、つまり都市計画の専門家です。訳書に記載された紹介によると「評価指標に起因する過りを見いだすことに力をそそぎ、さまざまな測定行為とそこから得られる教訓の間に、より有意義な関係性を築こうとしている」そうです。本書は10章からなっていて、その概要は次のとおりです。



第1章 特別試験対策
評価指標に対する過度な崇拝が有害な事象を生み出すことがある(学校の共通試験の例)。

第2章 努力と成果
インプット、アウトプット、アウトカム(成果)を間違って測定すると、努力しても身を結ばないことがある。

第3章 不確実な未来
評価指標が、短期的な活動と長期的な活動の優先順位を歪めることがある。

第4章 分母と分子
我々は往々にして、分母(~ あたり)を無視したり、誤用したりする傾向にある。

第5章 木を見て森を見ず
複雑な全体の一部だけを測定して判断することの危険性。

第6章 リンゴとオレンジ
異なる性格のものを単一の測定値でまとめるという欺瞞が横行している。

第7章 数えられるものすべてが大事なわけではない
多くの組織で測定が自己目的化し、組織本来の目的が数字ゲームの中で失われている。

第8章 大事なものがすべて数えられるわけではない
評価指標が人々を動機付け、変化を促すことはあるが、評価指標が不適切に使われると意欲をそいで逆の結果をもたらす。

第9章 評価と選択
単純性・客観性・確実性・信頼性への願望が評価指標を使う目的だが、その願望が評価指標の本来の目的を損なうことがある。

第10章 終わりではなく始まり
評価指標を見直すことで、効果的に方針転換ができた学習塾の実例。



以上のように、本書全体を貫くキーワードは「評価指標」であり、このブログの過去の記事では「評価指標とスコア」(No.240「破壊兵器としての数学」No.247「幸福な都道府県の第1位は福井県」No.250「データ階層社会の到来」)のジャンルに属するものと言えるでしょう。以上の中から、今回は第4章「分母と分子」と、第5章「木を見て森を見ず」の中から数個の話題を紹介したいと思います。


都市の交通渋滞


著者のシュライバーは都市計画の専門家ですが、都市の交通渋滞は都市計画と密接に関係する問題です。その "交通渋滞の評価指標" の部分を紹介します。車通勤が前提となっている北米の都市の例であり、日本にそのままマッチするわけではありませんが、評価指標の誤った使い方の例として見ればよいと思います。


バンククーバーは、カナダどころか、おそらく北米で最悪の交通渋滞をかかえている。2016年3月上旬、そうしたニュースがバンクーバーの各地元メディアの見出しを飾った。Huffington Post の見出しは「バンクーバー、国内最悪の交通渋滞」だった。翌年も状況は変わらなかった。2017年、CTVは、バンクーバーの交通事情が 100都市中いかにしてよいほうから71番目となったかを示す記事を掲載した。2018年も同様だった。「バンクーバー、世界渋滞ランキングで上位から脱出」というのは、2018年2月6日付けの CityNews の見出しだ。もう十分だろう。

毎年同じ話が繰り返された。2013年、通勤に30分をかけるバンクーバ都市部の平均的な市民は、渋滞のせいで1年に93時間を無駄にした。バンクーバーのラッシュ時の平均通勤所要時間は、流れのよいときに比べて36%延びるといわれていた。バンクーバーは明らかに北米で「最悪」の交通渋滞を抱えていたのである。

ピーター・シュライバー
「統計データの落とし穴」
(ニュートンプレス 2021)

「ラッシュ時の平均通勤所要時間は、流れのよいときに比べて36%延びる」とあります。これが交通渋滞を調査する専門会社のデータにもとづくものです。こういったデータはバンクーバーのみならず、北米の各都市に関してメディアで公表され、解決策の議論がさんざんに行われてきました。しかし著者はこれに異論を唱えています。


何が起きているかを本当に理解している者はほとんどいない。バンクーバーは、過去数十年で市民の平均通勤所用時間を減らすことに成功した少ない北米の主要都市である。バンクーバーでは、市中心部の成長を促し、職住近接を可能とし、便利で効率的な交通システムに投資することで、平均通勤所用時間の短縮に成功したのだ。それなのに報道は、バンクーバーが北米で最も渋滞のひどい都市だと主張し続ける。平均通勤所用時間を減らした都市が、どうして北米大陸で交通渋滞が最悪の都市だとみなされているのだろうか?

「同上」

調査会社が発表する交通渋滞の評価指標は「所要時間指標(TTI)」で、これはラッシュアワー(通勤ピーク時間帯)と、渋滞なしの時の所要時間の比率です。渋滞なしの時の所要時間が 20分で、ラッシュアワーのときの所要時間が 40分だとすると、TTI = 2.0 ということになります。調査会社はこれをカーナビ搭載車からのデータなどで計算します。しかし、この TTI という評価指標が問題なのです。オレゴン州のポートランドの例です。


オレゴン州のポートランドもバンクーバー同様、TTIの観点からは悪く見える。ポートランドのTTIは、1982年から2007年にかけて1.07から1.29に悪化した(通勤所要時間に占める渋滞時間の割合が7%から29%に増えたことになる)。しかし、この期間のポートランドの平均通勤所要時間は、優れた都市計画と交通政策のおけげで、1日あたり54分から43分に減少していた。平均通勤距離が32kmから26kmに減ったのが主な理由だ(職場近くに住む人が増え、平均通勤距離が短くなった)。

「同上」

なぜこうなるのか。著者はバンクーバーに住むモニカとリチャードという2人の(仮想の)人物で説明しています。まず前提として、

◆ モニカもリチャードも、都市の中心部にある同じ会社に勤務しており、車で通勤をしている。

◆ モニカの家は、会社から車で10分のところにある。

◆ リチャードの家は会社から40分の郊外にある。彼は通勤途中でモニカの家のそばを通り(そこまで30分かかる)、それ以降はモニカと同じルートで会社に行く(10分)。

渋滞が全くないとすると、通勤時間は モニカ=10分、リチャード=40分です。これがラッシュアワー時に次のようになったとします。

◆ ラッシュアワー時のモニカの通勤時間は20分になる。

◆ ラッシュアワー時のリチャードの通勤時間は60分になる。つまりモニカの家まで 40分、そこから会社まで20分である。

これから TTI を計算すると、

モニカ = 2.0
リチャード = 1.5

となります。TTI を評価指標とし、TTIが小さい方が良いとすると、モニカよりリチャードが良いという結果になります。しかしこれは変です。つまり、通勤時間が長いほどTTIが良いという結果になるからです。しかも、渋滞による遅延時間(損失時間)は、モニカが 10分に対して リチャードは 20分です。TTI が少ない方が損失時間が多いという結果になる。

都市の TTI は、モニカとリチャードのような個人の TTI の総合です。つまりラッシュアワー時の所要時間の総体と、渋滞なしの時の所要時間の総体の比率です。しかしこれでは、

◆ 都市計画が優れていて、職住近接が可能である都市ほど TTI が増える(悪い)。

◆ ほとんどの人が郊外に住んで車通勤をしている都市の TTI は小さい(良い)。

ことになります。TTI という評価指標は、まさに "バッド・データ" なのです。そうなる原因は "分母" にあります。TTI の計算式の分母は「渋滞がない場合の所要時間」です。つまり所要時間が長ければ長いほど TTI値は良くなるのです。

著者は「渋滞のよりよい評価方法は、単純に各都市の平均通勤時間を示すことだろう」と言っています。こうなると渋滞だけでなく通勤時間の大小にも影響されます。つまり渋滞が少なく、通勤時間の短い住民が多いほど有利になる。しかし都市計画の視点では、これが妥当なのでしょう。


ニューヨークは歩行者にとって危険か?


TTI でみられるように、評価指標をみるときには分母に注意する必要があります。著書は次に「ニューヨークは歩行者にとって危険か?」というテーマで書いています。


ニューヨーク市は、歩行者にとって危険な場所のように思われる。ビッグアップルという愛称で知られるこの町では、平均して3日に1人、歩行者が死亡する。アメリカ運輸省道路交通安全局によれば、2012年、ニューヨーク市はアメリカの人口50万人以上の都市で歩行者の志望者数が最も多かった。その年、127人の歩行者が死亡したニューヨークは、ロサンゼルス(99人)、シカゴ(47人)、サンフランシスコ(14人)や、車への依存度が高いヒューストン(46人)、フェニックス(39人)を上回った。

しかも、ニューヨークが各都市のなかで最悪だったのは、死亡した歩行者の総数だけではない。交通事故による死者全体のうち、歩行者の占める割合が最も高いのだ。交通事故死全体を見ると、ニューヨークの歩行者はほかの都市の歩行者より、衝突事故の犠牲になる可能性が遙かに高い。すべての交通事故死に歩行者が占める割合は、全米平均が 14% なのに対し、ニューヨークでは 47% だ。

「同上」

以上のデータをもって「ニューヨークは歩行者にとって最も危険」だとは言えないことは、すぐに分かります。つまり人口が違うからです。ニューヨークは人口が多い。従って歩行者の死亡事故数も多くなります。人口10万人あたりの歩行者の死亡者数を計算してみると、ニューヨークは全米平均とほぼ同じです。

しかし「人口10万人あたり」を分母にしても、真実は見えないのです。それは、歩行者の数が違うからです。


ニューヨークの人口10万人あたりの歩行者の死亡者数は全米平均とだいたい同じだが、この都市にはアメリカのほとんどの都市よりはるかに多くの歩行者(と自転車)が存在するのだ。実際、その数は信じられないほど多い。

約10% の人が徒歩で通勤するニューヨークは、徒歩通勤者の占める割合がアメリカで最も高い都市の一つである(ニューヨークより高いのは 14% のボストンと 11% のワシントン D.C. だけだ)。公共交通機関の利用者数(ほとんどの公共交通機関の移動は歩行で始まり歩行で終わる)を加えれば、ニューヨークの歩行者や公共交通機関の利用者の割合は 65% で首位に躍り出る(ボストンは 49%、ワシントン D.C. は 48%)。

「同上」

本書によると「徒歩通勤 100万回あたり車に引かれて死亡する歩行者数」は、

ニューヨーク 1.5人
ロサンゼルス 5.2人

です。著者は「ニューヨークは歩行者にとってアメリカで最も安全な場所の一つ」と書いています。


病気の広がりを示す指標


今までの2つは "分母" の問題でしたが、今度は "分子" の問題です。人口に対する疾病の影響度合いを示すのに3つの指標があります。有病率、罹患率、死亡率の3つです。いずれも一定の人口を "分母" とするもので、たとえば "人口 10万人あたり" です(以下の説明ではそうしました)。特定の病気A について、3つの指標の意味は次の通りです。

有病率

ある時点で、病気A にかかっている人の割合(人口10万人あたりの数)。治癒するまでに長期間かかる病気、ないしは治らない病気では有意義な指標です。

罹患率

ある一定期間で、病気A にかかった人の割合(人口10万人あたりの数)。たとえばインフルエンザは特効薬があるので、発病から1週間程度で治癒するのが普通です。従って「有病率」より、ある一定期間(1年とすることが多い)でインフルエンザにかかった人の数 = 罹患率が実態を正しく伝えます。

死亡率

ある一定期間で、病気A で死亡した人の割合(人口10万人あたりの数)。これは致死率とは違います。致死率は「病気A にかかった人が死亡する割合」です。たとえば「エボラ出血熱の致死率は 80%~90%」というように使います。「エボラ出血熱の死亡率は 80%~90%」という言い方は間違いです。

この3つの指標はいずれも「少ない方が良い」指標です。しかし著者は、ある指標の減少が別の指標の増大につながることがあることを指摘しています。


たとえば、マラリア患者を延命する治療法が発見されたとする。そうした改善は、罹患率が一定であれば有病率を高める可能性がある。マラリアにかかった患者がすぐに死亡しないということは、長生きするということだ。長生きすれば、どの年にもマラリア患者として計上される人が増える。したがって病気の有病率は増加する。有病率は、実際には病気の影響が減っているのに、気の滅入る話を伝えるのだ。

逆に、罹患するとすぐ死亡してしまう病気の場合、有病率は減少する。病気を抱えて何年も生き永らえる人はめったにいない。病気にかかっている人が減ったからではなく、人々が早く死亡するために有病率が減る場合もあるわけだ。ある病気にかかっている人の数が以前より減ったことを祝う記事は、実はよい知らせではない可能性がある。患者の多くが死にかけているかもしれないのだ。

「同上」


フード・マイルズ


ここからは、第5章「木を見て森を見ず」で取り上げられたテーマです。フード・マイルズ(Food Miles)は、日本ではフード・マイレージ(Food Mileage)と呼ばれているものです。これは食料の生産地と消費地の距離であり、フード・マイルズがなるべく小さいものを食べよう、簡単に言うと "地産地消" をしようという運動のことを言います。


地元の食材を食べるという近年のトレンドは、アンジェラ・パクストンの『フードマイルズ・レポート:食料の長距離輸送の危険性』という1994年の論文に端を発している。この論文は、食品が私たちの食卓に並ぶまでにどのように運ばれるかを初めて考察したものの一つだ。このレポートでは、現代の食料システムについて、当時から今日まで多くの人々を驚かせるような側面が浮き彫りにされている。

そこでは、食料システムに関する多くの懸念が議論されているが、その中心は、レポートの題からわかるように、食品が食卓にのぼるまでに移動する距離の影響である。2011年に再版された論文では、論文の主旨が的確に要約されている。「市民は、食料が意味もなく地球を横断し、貴重なエネルギーを消費し、汚染を引き起こし、不公平な貿易を導き、田舎から仕事を奪うことを望んでいない」

「同上」

食文化にとって移動距離以上に重要な問題があります。土壌浸食や公正な労働条件と賃金、化学肥料への依存度、農薬による環境汚染などです。フード・マイルズという概念は食料の輸送に焦点をあて、エネルギー消費や環境汚染を問題にします。地産地消の運動には何の問題もありませんが、そこに "距離" という数値を持ち込むことは正しいのでしょうか。それが持続可能性の指標になるのでしょうか。著者は花の例で説明しています。


一例として、バレンタインデーのためにイギリス人が恋人のために買う花の二つの原産国を比較してみよう。オランダとケニアだ。より環境に優しいのは明らかにオランダの方だと思われる。オランダからイギリスに花を運ぶには、イギリス海峡を船で渡るだけのごく短い移動しか必要ない。ケニヤからの移動は短くもなく、エネルギー効率もよくない。花は飛行機で空輸されるからだ。

ところが、1万2000本の花を育て、輸送することで排出される二酸化炭素の総量を詳細に計算すると(計算方法は後述する)、オランダの花が3万5000kg(花1本あたり3kg弱)の二酸化炭素を排出するのに対し、ケニアの花はたった 6000kg(花1本あたり0.5kg)の二酸化炭素しか排出しないことがわかる。予想と大きく異なるのはどうしてだろう?

「同上」

エネルギー効率のよい船便で短距離を運ぶ方が、エネルギー効率の悪い飛行機で長距離を運ぶより二酸化炭素の排出量が少ないはずです。にもかかわらす、環境負荷はケニヤの花の方が少ない。


ケニアの花はなぜ、必要なエネルギーがオランダの花より大幅に少ないのだろうか。なぜ、ナイロビからロンドンに空輸するために排出される大量の二酸化炭素を相殺できるのだろう? その理由は、花を育てるのに、オランダ人が温室に頼っているのに対して、ケニヤ人は日光に頼っているからである。

「同上」

食料システムのエネルギー消費の全体は、

・ 原材料の生産(肥料、種、水、農薬など)
・ 食料生産(ガソリン、灯油、電気など)
・ 輸送
・ 消費(調理、他の原材料)
・ 破棄(リサイクル、焼却、そのための輸送)

に必要なエネルギーの合算です。フード・マイルズがこの中の "輸送" に焦点を当てていますが、輸送は全体の一部なのです。


アメリカの場合、輸送で排出される二酸化炭素は食料関連全体の約4% だ。エネルギー消費と排出量の大部分は、全プロセスのうちの生産段階で発生しており、全体の 83% に達する。

「同上」

さらに、輸送を問題にするときには、エネルギー消費が輸送手段によって全く違うことに注意が必要です。輸送による二酸化炭素排出量(トン・キロメートルあたり)は、

外航コンテナ船 10~15g
鉄道 19~41g
トラック 51~91g
飛行機 673~867g

です。特に、外航コンテナ船 =船による長距離輸送は環境効率が非常に良い。たとえば、ヨーロッパからワインを日本に輸送するとき、船便(これが普通)と航空便("新酒" をウリにする一部のワイン)では二酸化炭素排出量が50倍以上違います。


ガラス瓶とペットボトル


コカコーラは従来、有名なガラス瓶のボトルかスチールの缶で販売されていましたが、1960年代末からプラスチック・ボトルの研究を始めました。この研究は当時「資源・環境プロファイル分析(REPA)」と呼ばれたもので、飲料容器を生産するためのインプット(エネルギー、原材料、水、輸送エネルギー)とアウトプット(大気排出物、輸送時の廃液、固形廃棄物、水性廃棄物)全般にわたって、包括的に必要な資源と環境への影響を検討するものでした。この研究はその後、米国の環境保護庁(EPA)に引き継がれ、EPAは次の結論に達しました。


EPAの研究の結論は、全体像を見た場合、プラスチック性飲料容器は多くの人が考えていたような悪者ではないというものだった。コカ・コーラも同じ結論に達した。研究完了直後、コカ・コーラは最初の飲料用ペットボトルを世界に向けて投入した。

最近の研究でも同様の結論が得られている。ペットボトルはガラス瓶のように再利用できないかもしれないが、ガラス瓶は生産に大量のエネルギーを必要とするので、再利用できるという長所が相殺されてしまうのだ。

このチームの研究で際だっていたのは、コカ・コーラの瓶1本のインパクトに関する包括的な全体像を解明しようとした点である。飲料容器がどのように破棄され、飲料容器の生産にどれだけのエネルギーが投入されたかに注目しただけではない。瓶を構成する原材料そのものをつくるのに、どれだけのエネルギーが投入されたかにも焦点を当てた。瓶がどのように処分されたかも調べた。瓶の原材料すべてについて、採取、輸送、生産に関わるエネルギーを解明したのである。取り残されたものは何一つなかった。

「同上」

コカコーラとEPAが行った研究は、現在 LCA(ライフサイクル・アセスメント)と呼ばれている分析手法です。LCAでは「瓶を作るガラスの単位重量を作るためにどれだけのエネルギーが必要か」というような "原単位" が調査にもとづいて設定されていて、比較的容易にライフサイクルのエネルギー使用量が計算できるようになっています。



飲料の容器については、カフェで使うコーヒーカップのことが本書にありました。つまり、

・使い捨ての紙カップ
・陶磁器のマグカップ

のどちらが環境に優しいかという比較です。本書によると、

50回以上洗浄して使うと、陶磁器のマグカップの方が環境に優しくなる。ただし洗浄には食洗機を使うのが条件である(使用水量が少ないから)。マグカップを手で洗うと、再利用できるという利点はなくなってしまう

そうです。この文脈における「環境に優しい」の定義が明確ではありませんが、二酸化炭素排出量のことだとすると、水道水には「浄水場で水道水を作る」「水道管のネットワークを維持する」「下水処理をする」の各段階でポンプをはじめとするエネルギーが必要です。これと紙カップ・マグカップを製作・破棄するエネルギーのバランスの問題を言っています。


数値データの落とし穴


我々は数値データを見せられると "わかった気" になります。また評価指標を提示されると、比較ができるため余計にわかった気になる。しかしそこに落とし穴があります。本書はその落とし穴、著者の言葉でいうと "バッド・データ" をさまざまな視点から指摘し、かつ、落とし穴にはまらないためのアドバイスを記しています。

AI が火付け役となって、"データ・サイエンス" が企業や大学で大きく取り上げられています。しかし、いくら精緻な手法でデータの分析をしても、バッド・データを分析したり、目的にはそぐわない指標だったりでは意味がありません。手法より以前の「データを扱うリテラシー」が重要です。そのことを本書は教えているのでした。




nice!(0)