No.240 - 破壊兵器としての数学 [社会]
No.237「フランスのAI立国宣言」で紹介した新井教授の新聞コラムに出てきましたが、マクロン大統領がパリで主催した「AI についての意見交換会」（2018年3月）に招かれた一人が、アメリカの数学者であるキャシー・オニールでした。彼女は、
という本を書いたことで有名です。Weapons of Mass Destruction（大量破壊兵器。WMDと略される）に Math（Mathematics. 数学）を引っかけた題名です（上の訳は新井教授のコラムのもの）。この本は日本語に訳され、2018年7月に出版されました。
です（以下「本書」）。一言で言うと、ビッグデータを数式で処理した何らかの "結果" が社会に有害な影響を与えることに警鐘を鳴らした本で、まさに現代社会にピッタリだと言えるでしょう。今回はこの本の内容をざっと紹介したいと思います。なお、原題にある Weapons of Math Destruction は、そのまま直訳すると「数学破壊兵器」で、本書でも（題名以外は）そう訳してあります。
本書で扱っているテーマ
本書をこれから買おうと思っている方のために、２つの留意点を書いておきます。
まず注意すべきは、本書は題名とは違ってAIについての本ではないということです。原題が暗示するように "数学"（Math）が社会に与える影響、特に悪影響（ダークサイド。暗黒面）についての本です。もちろん AI も数学の一部なのですが、直接的にAIはほとんど出てきません。日本語の題名に原題には無い "AI" を入れたのは、本が売れやすいようにということだと思います。最近の各種メディアでは「なんでもかんでも AI というタイトルをつける」傾向にありますが、その風潮に乗っかった日本語題名と言えるでしょう。
数学が社会に与える影響と書きましたが、もっと詳しく言うと「数学モデル（数理モデル）が社会に与える影響」です。この数学モデルは人間が考え出したものであり、単純な数式のこともあれば、複雑な（数学的）アルゴリズムのこともあります。AIはその極めて複雑な部類です。この数学モデルにはデータ（ないしはビッグデータ）が入力されます。そして計算の結果として、
などが出力されます。その多くは個人に関するものですが、組織体（大学、高校、企業、自治体、国、･････）について評価のこともあり、また「犯罪発生場所の予測」といった場所・地区に関する数値であったりもします。
最も単純な数学モデルの例は、本書でも出てくる BMI（Body Mass Index。ボディマス指数）でしょう。人の身長と体重を入力とし、"数学モデル" によって「肥満度の評価指標値」を出し、同時に人を「肥満・普通・痩せ」に分類します。この場合の "数学モデル" は、体重（kg）を身長（m）の２乗で割るという単純な数式です。
もちろん数学モデルの利用は近代科学が始まったときからの歴史があります。むしろ数学モデルを使うことで近代科学が生まれたと言えるでしょう。現代でも身近なところでは、気象の予測には膨大な計算を必要とする数学モデル（＝物理モデルをもとにした数学モデル）が使われています。もちろん自然科学だけなく社会科学にも使われます。
この数学モデルが社会に悪影響を与えるとき、キャシー・オニールはそれを「数学破壊兵器 = WMD」と呼んでいるわけです。悪影響とは、たとえば差別を助長するとか、貧困を加速するとか、公正ではない競争を促進するとか、平等の原則を阻害するとかであり、その具体的な例は本書に出てきます。
２つめに留意すべきは、本書に取り上げられているのはアメリカでの事例だということです。日本では考えられないような実例がいろいろ出てきます。それらを単純に日本に当てはめることはできない。
しかし我々としてはアメリカでの数学破壊兵器の実態を反面教師とし、そこから学ぶことができます。かつ、本書に出てくるアメリカの巨大IT企業（フェイスブック、グーグル、アマゾンなど）は日本でもビジネス展開をしているわけで、我々も常時利用しています。もちろん、これらのIT企業が数学破壊兵器を使っていると言っているのではなく、その危険性があると指摘しているわけです。こういった知識を得ることも有用でしょう。
キャシー・オニールの経歴
本書の内容を理解するためには、著者のキャシー・オニールの経歴に注目する必要があります。彼女は小さい時から数学マニア（"オタク" が適当でしょう）だったようで、14歳のときには「数学キャンプ」に参加したとあります（そんなキャンプがある！）。数学は現実世界から身を隠す「隠れ家」でもあったと、彼女は述懐しています。そしてハーバード大学で数学の博士号（代数的整数論）をとり、コロンビア大学で終身在職権付きの教授になりました。そしてその教授職を辞して、大手ヘッジファンド、D.E.ショーに転職し、クオンツとして働きました。クオンツとは数学的手法で分析や予測を行う、金融工学の専門家（データ・サイエンティスト）です。通常のヘッジファンドのクオンツはトレーダーの下働きですが、D.E.ショーではクオンツが最高位だったとあります。ちなみに D.E.ショー は金融工学（フィンテック）の先駆けとも言えるヘッジファンドで、アマゾンを創立する以前のジェフ・ベゾス氏が働いていたことでも知られています。
まさにキャシー・オニールは学者としてエリートであり、ヘッジファンドに転職というのも華麗な経歴です。ところが転職して１年あまりの2008年秋、世界経済は崩壊に直面しました（＝ リーマン・ショック）。彼女は次のように書いています。
本書の根幹にあるキャシー・オニールの "思い" とは、愛する数学が社会に災いをもたらすことへの危機感（ないしは "数学をもて遊ぶ人たち" への怒り）と、短期間とはいえ "災いをもたらす側で数学者として働いた" という自責の念、の２つでしょう。本書の第２章では「内幕」と題して2008年の前後の金融業界・ヘッジファンドの内情が生々しく語られています。
彼女はヘッジファンドを離職し、現在は企業が使うアルゴリズムを監査する会社（彼女自身が立ち上げたもの）のトップを努めています。もちろん彼女は数学モデルやアルゴリズム（AIもその一種）を否定しているのではありません。「盲信するな」と警告しているわけです。
そのようなスタンスは本書でも明らかです。本書には「明白な数学破壊兵器の例」もありますが、「数学破壊兵器になりかねないもの」や「有益なツールだが、使い方によっては数学破壊兵器になるもの」、「将来、数学破壊兵器へと発展しかねないリスクがあるもの」の例などが出てきます。幅広い見地から "数学の有害利用" を指摘しアラームをあげることによって、それを正そうとする本と言えるでしょう。
以下に本書にある多数の事例から３つの例だけを紹介します。教育と犯罪に関するものです。
教師評価システム
本書で最初にあげられている数学破壊兵器の例が、教師の評価スコアを算出するツールです。
ワシントンDCの教師だったサラ・ウィソッキーの例が出てきます。彼女はマクファーランド中学で第5学年（日本式に言うと中学１年）の受け持ちでした。彼女は子供たちに対するきめ細かい配慮で保護者からも高く評価されていました。ところが2009～10年の学年度末に、IMPACTによる評価の結果、下位5% に相当するとされ、他の205名とともに解雇されてしまったのです。
この原因は、2009～10年の学年度からIMPACTに新たに組み込まれた「付加価値モデル」で、彼女のこのスコアが著しく低かったのです。「付加価値モデル」は、教師が数学と英語を教える能力を評価しようとするもので、生徒の学力がどれほど向上したかで判定されます。この評価はIMPACTの評価の半分を占めていました。残りの半分は学校の経営陣からの評価や保護者からの評価などです。
サラ・ウィソッキーは自分の評価が不当だと思い、調べ始めました。「付加価値モデル」はワシントンDC学区と契約を結んだプリンストンの「政策数理研究所（Mathematical Policy Research）」が開発したモデルで、生徒の学習進捗度を測定した上で、学力の向上・低下についての教師の貢献度を評価しようとするものです。これは当然のことながら、多数の要因が関わる極めて複雑なものになります。サラ・ウィソッキーは自分の評価が低かった理由の説明を求めましたが、結局、誰からも説明を聞くことができませんでした。IMPACTを運用するワシントンDC学区の役員でさえ説明できないという「完全なブラックボックス」だったのです。
キャシー・オニールはこの「付加価値モデル」について２つ指摘しています。まずこの数学モデルを作ったときのサンプル数が少なすぎることです。わずか25～30名の生徒の学習進捗度調査がもとになっているといいます。学力の向上についての教師の貢献度というような複雑なテーマなら「無作為に抽出した生徒、数千～数百万のサンプル」が必要と書いています。必要数とともに "無作為抽出" がキーポイントです。
さらに、数学モデルで必須の "フィードバック" がないことが問題です。フィードバックの例としてアマゾンの商品のレコメンデーションを考えてみると、レコメンデーションのアルゴリズム（＝数学モデル）が良いか悪いかは、レコメンドした商品を顧客がクリックしてくれるかどうかで測定できます。この測定をもとに、レコメンデーションのアルゴリズムがたえず調整されています。
ところが「付加価値モデル」にはフィートバックがありません。数学モデルが良いか悪いか、それを学習して修正する機会がありません。特に、教師を解雇してしまったらそれで終わりです。あとの追跡もできない。キャシー・オニールは次のように書いています。
サラ・ウィソッキーの話には続きがあります。彼女はマクファーランド中学の5年生（日本式に言うと中学１年）を受けもっていますが、入学してくる生徒の大半はバーナード小学校の出身でした。
教師は生徒の学力テストの成績が悪ければ自分の職が危うくなることを知っています。逆に成績が良ければ最高 8000ドルの特別手当が支給される。ましてや、リーマンショック後の労働市場が大打撃を受けていた時期です。小学校の教師が生徒の回答を修正したのではないかと疑われるのです。
サラ・ウィソッキーはこのことを知って、自分が解雇されたことに合点がいきました。しかしワシントンDC学区の責任者は聞く耳をもちません。「回答用紙の消し跡は "示唆的" であって、彼女の受け持ったクラスの数値に誤りがあった可能性はある。しかし決定的証拠ではない。彼女に対する処遇は公正だった」というのが責任者の言い分でした。
このあたりが数学破壊兵器の怖いところです。数学モデルで算出されたということで、人間が聞く耳を持たなくなってしまうのです。一人の人生をひっくり返すような決定をしているにもかかわらず ･･････。
教師を評価する「付加価値モデル」の別の例が出てきます。ニューヨーク州の中学の英語教師、ティム・クリフォードは勤続26年の教師ですが、ある年、ワシントンDC学区と類似の「付加価値モデル」で解雇の標的となりました。100点満点で6点という最悪の成績だったからです。幸い彼は終身雇用を保証されていたので解雇されませんでしたが、スコアの低い年が続けば教師の職に居づらくなります。
「付加価値モデル」はクリフォードに落第点をつけましたが、改善点についてのアドバイスをしたわけではありません。彼は今まで通りの教え方を続けましたが、翌年の彼の評価スコアは何と96点でした。教師の "能力" が１年で90ポイントも変動するというのは、要するにデタラメということにほかなりません。このデタラメが持ち込まれた理由について、キャシー・オニールは統計学的に分析していますが、次のところが最も重要でしょう。
クリフォードのような例は多く、ある分析では同じ科目を何年か連続して教えた教師の４人に１人で、評価スコアが40ポイント以上変動していたといいます。キャシー・オニールは次のように結論づけています。
本書には、今も40の州とワシントンDCで「付加価値モデル」が使用されていると書かれています。
数学モデルには、それを作る側の「見解」が反映されます。どんなデータを収集するのか、何をアンケートで問いかけるのかにも、作り手の価値観や欲求・欲望が反映されます。さらにそこに、先入観や誤解、バイアス（偏見）が入り込む。
教師を評価する「付加価値モデル」に関して言うと、その最大の誤解は人を教えるという教師の能力を数値で評価できるという考えそのものでしょう。
USニューズの "大学ランキング"
２つ目の例は、これも教育に関するもので、時事雑誌「USニューズ」が発表している大学ランキングです。
この最初のランキングは、大学総長などの意見をもとに評価点を決めました。雑誌の読者には好評でしたが、多くの大学経営陣を怒らせ、不公平だという声が殺到しました。
そこでUSニューズは、データをもとにランキングを決めようとしました。しかし大学の「教育の卓越性」を計る指標を作るなど無理です。大学が１人の学生に４年間でどれだけ影響を与えたかは定量化できないし、全米で数千万もいる学生に対する影響など計りようがありません。そのためUSニューズは、測定可能で「教育の卓越性」と関係がありそうなデータ ＝ "代理データ" をもとにランキングを決めようとしました。代理データとは次のようなものです。★は少ないほど良い指標です。
大学の評価点の75%はこのような代理データ（計、14項目）をもとに、それぞれに重みをつけて算出されます。そして残りの25%は大学総長や学部長の外部評価（他大学の評価を問う質問票のスコア）で決まります。外部評価が最大の重みを与えられていますが、こうした評価は広く名が知られた有名校ほど有利になることに注意すべきです。この合計15項目を点数化し、その合計点で大学のランキングをつけるわけです。
ランキングを上げるために "捨て身の" 行動に出る大学も出てきました。ある大学は入学予定者にお金を払って大学進学適性試験（SAT）を再受験させていました（本書には書いていませんが、おそらくSATのスコアが悪かった入学予定者だと思います）。またUSニューズに嘘のデータを送る大学も出てきました（データはUSニューズからの調査票に回答する形で収集されます。回答しなかった大学についてはUSニューズが独自調査をします）。
さらに意図しない有害な状況も生まれてきました。ランキングの元になるデータの一つに合格率があります。これは低いほど（＝ 競争率が高いほど）良いとされる数値で、この数値を下げるためのまっとうなやり方は、大学の評判を高めて多くの入試受験者を呼び込むことです。しかしもう一つ、やり方があります。合格者数を少なくすればよいのです。
「滑り止め」の受験ということがあります。「滑り止め」にされる大学としては、合格しても入学を辞退する学生がいることが過去の経験からわかっているので、定員より一定数だけ多めに合格を出すのが普通です。これは合格率を上げることになります。そこで大学側としては「滑り止め」で受験したと推定できる学生をアルゴリズムで割り出し、その学生には合格を出さないという対応を始めました。今や「滑り止め」という概念は消えつつあり、そうなったのにはUSニューズのランキングが大きく影響しています。
これは受験生と大学の双方にとって不幸な状況です。受験生にとっては「滑り止め」が意味をなさなくなり、大学にとっては、たとえ「滑り止め」であっても入学してくれたかもしれない優秀な学生を失うことになるからです。
さらに、大学ランキングの大きな過ちは「入学金と授業料」がデータに含まれないことだと、キャシー・オニールは指摘しています。つまり「入学金と授業料は低いほど良い」という評価がされないのです。この理由を彼女は推測しています。つまり大学ランキングを作るときにUSニューズはハーバード大学、スタンフォード大学、プリンストン大学、イエール大学のような、誰しも認めるような一流大学を調べたのだろう。そのような大学では、学生のSATの点数が高く、滞りなく卒業し、卒業生の年収が高いため母校に高額の寄付をしている。一方、これらの大学は入学金と授業料が高いことでも有名だ。もし入学金と授業料が低いほど良いという評価を入れると、これらの一流大学がランキング上位に並ばない可能性も出てくる。これではランキングの信憑性を疑わせることになる ･･････。
大学ランキングの数学モデルは、ハーバード大学、スタンフォード大学、プリンストン大学、イエール大学などが上位に並ぶべく設計されています。つまり、モデルを作った人の 見解 が反映されているのです。
USニューズはランキングを拡張し、医科大学や高校までに広げています。また、このランキングを上げるためのコンサルティング会社、適切な入学募集をするためのコンサルティング会社、入学見込みの高い学生を予測するシステムを販売する会社などがあり、大学ランキングは巨大なエコシステム（生態系）の様相を呈しています。
キャシー・オニールが指摘しているように大学ランキングの最大の問題点は、多様性を否定する単一の物差しということでしょう。それが広まってしまった結果、全ての大学経営陣がそれに囚われてしまい、この物差しに向けて大学経営を最適化するようになった。まさに "破壊兵器" と呼ぶにふさわしいものです。
犯罪予測モデル
アメリカの北部、中西部から大西洋岸にかけて "ラストベルト"（Rust Belt）と呼ばれる地域があります。rust は錆の意味なので、直訳すると "錆地帯" です。この地域はアメリカの製造業や重工業の中心ですが、グローバル化による工場の海外移転、製造業の競争力低下などで経済的不振に陥っています。トランプ大統領（2017年1月に就任）の誕生の原動力の一つが、ラストベルトの白人貧困層だと言われました。本書にはそのラストベルトにある都市の事例が出てきます。
レディングにおける犯罪予測システムの導入は、やむにやまれぬ決断だったと言えるでしょう。しかし今や、このようなシステムの導入が大都市も含め全米に広まってきました。
プレドポル社はカリフォルニア大学ロサンジェルス校（UCLA）のジェフリー・ブランティンガム教授が創立した会社です。プレドポル社の犯罪予測システムには、人種や犯罪歴などの個人データはいっさい含まれていません。システムが照準を合わせるのは「区画」です。過去にどのような犯罪がどの区画でどの時刻に起こったというデータが基礎です。具体的な詳細は明らかにされていせんが、システムには区画の数々の特性データが入力されるのでしょう。ATMやコンビニなどの犯罪が起こりやすいポイントの存在も重要データのはずです。また、犯罪が起きる周期的なパターンにも注目していると言います。
この犯罪予測システムを使ったとしても、犯罪の実行前に警官が人々を逮捕・拘束するようなことはありません。あくまで犯罪の発生確率を区画ごとに予測するものであり、警官にその区画のパトロールを促すものです。そのような区画に警官が長く留まれば住居侵入や車上窃盗を阻止でき、地域住民のためになります。その意味で公平性は保たれていると考えられ、警察活動の効率性の観点から優れたシステムと考えられます。しかしキャシー・オニールはこの犯罪予測システムが「有害」になる危険性を次のように指摘しています。
自己成就予言という言葉があります。たとえ根拠のない予言であっても、人々がその予言を信じて行動することで予言が現実のものとなることを言います。ある銀行が危ないという予言がされると人々が預金をおろす行動に出て、本当にその銀行が倒産するようなことを言います。
迷惑犯罪を組み込んだ犯罪予測システムも自己成就予言に似ています。もちろん予測には数学モデルにもとづく根拠があるのでしょうが、「予測することによって予測が確実になっていく」のは大変よく似ている。考えてみると、前の項に紹介したUSニューズの大学ランキングも自己成就予言の要素があります。ランキング下位の大学は、そのことによって「教育の卓越性」が失われていき（大学経営陣が対策を打たないと）、それがランキングをさらに下げる。
キャシー・オニールは「どのような犯罪に注目するかを選択しているのは警察である」と書いています。もちろん重犯罪を除く、軽犯罪・迷惑犯罪についてです。犯罪予測モデルを数学破壊兵器にしないためには、モデルから軽犯罪を除外することが必要なのです。
個人を分類し、スコアリングする
本書に取り上げられたトピックから、「教師評価モデル」「大学ランキング」「犯罪予測モデル」の３つを紹介しましたが、本書には他にも多数の事例が出てきます。この中でも特に印象的なのは「個人を分類しスコアリングする」技術や数学モデルです。
そのもとになるのは、ビッグデータとして収集される個人の「行動データ」です。これにはネットでの検索履歴、商品の購買履歴、Webサイトの閲覧、SNSなどでの情報発信、モバイル機器の位置情報などです。これらを数学モデルで分析し、個人が分類され、あるいは個人にスコアがつけられる。行動データから性別や年齢はもちろんのこと、年収、性格まで推定できると言います。（やろうと思えば）位置情報から住所や勤務地を容易に推定できます。
ターゲティング広告はそのような行動データに基づいています。その個人が興味を惹きそうな広告を個人ごとに提示する。これは日本でも一般的ですが、これが有害になることがあります。つまり意図的に貧困層の人、困り果てている人、無知な人を狙って大量のターゲティング広告をうち、詐欺まがいの商品やサービスを購入させて "収奪" することができる（略奪型広告と書いてあります）。いわゆる「弱みにつけこむ」というやつです。
個人の信用度をスコアリングする、信用スコア（クレジット・スコア）に関する問題も提起されています。アメリカではFICOと呼ばれるクレジット・スコアが広まっています。これは個人のクレジットカード、住宅ローン、携帯電話料金などの支払い履歴から計算されるスコアです。このスコアは支払い履歴のみから計算され、計算方法が公開されています。また個人が自分のスコアに疑問や不審をもったとき、そのデータの公開を請求できます。さらに企業がスコアをマーケティングに利用することは法律で禁じられています。これらは信用格付け会社が法律で規制されているからです（日本でもクレジット業界の与信審査では同様のスコアがある）。
その一方、法律の規制を受けない個人スコアが広まっていて、本書ではこれを "eスコア" と呼んでいます。それは個人のありとあらゆる行動履歴や郵便番号などから数学モデルで算出されるもので、法の規制を受けません。これが企業活動に使われる。こういった "eスコア" は有害だと、キャシー・オニールは指摘しています。象徴的には、治安の悪いとされる地区からアクセスして中古車を調べていた人物は "eスコア" が低くなり、ローンの金利が高くなるといった例です。
個人の健康度を計ろうとする動きも非常に気になるところです。すでに保険会社では独自の健康スコアを策定し、スコアに応じて健康保険料を変えるところが現れています。キャシー・オニールはこういった動きが一般的に広まることを懸念しています。
血圧、血糖値、中性脂肪値、胴囲、コレステロール値など、健康を計る基礎値には事欠かないので、これらをもとに「健康スコア」が作られる可能性は高いわけです。その、すでに広まっているスコアの一つの例として、BMI（Body Mass Index。ボディマス指数）があります。
BMIは「体重（kg）を身長（m）の２乗で割る」という数式で計算されます。そして日本では 25 以上が「肥満」、18.5以下が「痩せ」とされる。しかしこれは肥満度をおおまかに知るための粗い代理数値です。「平均的な男性」を基準にしているので、たとえば女性は太りすぎと判断されやすくなります。また筋肉は脂肪より重いので、体脂肪率の少ない筋肉隆々のアスリートのBMIは高くなります。
エンゼルスの大谷翔平選手の身長は193cm、体重は92kgですが、シーズンオフには97kg程度のこともあるようです。体重を92kg～97kgとすると、大谷選手のBMIは24.7～26.0となり、「もう少しで肥満 ～ 肥満」ということになります（日本基準）。これはどう考えてもおかしいわけです（もちろん大谷選手のことは本書にはありません）。
「健康スコア」によって人々が健康問題に向き合えるように後押しするのは、決して悪いことではありません。重要なのはそれが「提案」なのか「命令・強制」なのかです。企業や組織が健康スコアによって何らかの強制や差別をするようになると（キャシー・オニールはそれを懸念している）、それは個人の自由の侵害になるのです。
民主主義を脅かす危険性
本書の原題は「破壊兵器としての数学 - ビッグデータはいかに不平等を助長し民主主義を脅かすか」です。この「民主主義を脅かすか」の部分が本書の最終章に書かれています。それは、選挙に数学破壊兵器が持ち込まれるリスクです。
2010年のアメリカの中間選挙において、フェイスブックは「投票しました（I voted）」というボタンを設け、投票した人がボタンをクリックすると、友達ネットワークのニュースフィードを通してそれが拡散するようにしました。この結果、投票率が2%上昇したとフェイスブックは分析しています。
また2012年の大統領選挙（オバマ大統領が再選された）では、その３ヶ月前からフェイスブックのユーザ200万人（政治に関わる人）を対象に実験が行われました。ニュースフィードに流すニュースを選ぶアルゴリズムに手を加え、200万人に対しては政治のニュースを意図的に多く流すようにしたのです。後日、アンケートで投票行動を調べた結果、投票率は64%から67%に上昇したと推定しています。
わずか2%～3%の差ですが、これはSNSの巨大な影響力を示しています。投票率が上がることは、社会通念上は良いことです。フェイスブックの行為も善意からかもしれません。しかし投票率によって選挙の当落が左右される（ことがある）のは常識です。特に、投票率が特定の候補者や政党に影響することがある（日本でも雨天で投票率が悪いと特定の政党が有利だという話があります）。フェイスブックは膨大な個人情報を握っているわけで、例えば特定の地域の投票率が上がるように「投票しました（I voted）」を拡散させることは技術的に十分可能でしょう。フェイスブックがそういうことをやっているというのではなく、そういうリスクがあるということです。
Googleのような検索エンジンも、検索結果の上位に何をもってくるかは Googleが決めています。特定の候補、ないしは政党に有利（ないしいは不利）になる情報を上位にもってくることがアルゴリズムの工夫によって可能であり、ここにもリスクがあります。
さらにターゲッティング広告が既に一般化していることを考えると、ネットを選挙運動使うことにも危険性があります。個人の行動履歴から、その個人がどういう政治課題に関心があるかをプロファイリングできます（自然保護、治安強化、女性の地位向上 ･･････）。すると候補者は、その課題解決を前面に押し出したメールを個人に配信することができる。別の関心事項をもつ個人には別の内容のメールを送る ･･････。結局、候補者が当選後にどの公約を前面に押し出すのか、誰にも予想できません。本書はマイクロ・ターゲティングと言っていますが、ネット広告で既に行われているのだから「候補者を売り込む」のが目的の選挙でも可能です。数学モデルはこういったことを可能にし、それは民主主義を歪めていくことになるのです。
もちろん、新聞やテレビも選挙の報道をします。候補者の政見を乗せるし、特定の政党を支持する社説を掲載する新聞もある。しかしそれらはオープンであり、どういう報道がされているかを誰もが眼にでき、検証できます。つまり透明性が確保されている。しかしネット上のマイクロ・ターゲティングは、誰が誰にどういう種類の情報やメッセージを流しているかは全く分かりません。つまり不透明です。
本書の最終章は「第10章 政治 - 民主主義の土台を壊す」と題されています。そういうリスクがあることは十分に認識しておくべきだと思います。
EUのGDPRの意味
以降は、本書を読んで思ったことです。No.237「フランスのAI立国宣言」で書いたように、2018年3月末、マクロン大統領は、
を前面に押し出したAI国家戦略を発表しました。これはまさに本書の主張と軌を一にするものです。フランスがキャシー・オニールを招待したのは当然だったようです（もちろんフランスの戦略は、そのことによって自国を有利にしようとするものです）。
さらに思い出したのは2018年5月25日より施行された「EU 一般データ保護規則 - GDPR（General Data Protection Regulation）」です。これは欧州経済域（EEA。EU加盟28ヶ国＋ノルウェー、アイスランド、リヒテンシュタイン）に居住する市民の個人データ、およびEEAを本拠として収集された個人データの管理と移転に関する規則で、個人データをEEA域外に移転することが原則禁止されます。さらに「データ主体に認められる８つの権利」が明文化されています。データ主体とは個人データを提供する（個人データを収集される）一般市民です。
８つの権利でも特に重要なのは「削除権」で、データ主体は自分に関する個人データを削除するよう、データ管理者に要求できます。いわゆる「忘れられる権利」です。
さらにデータ主体は「プロファイリングを含む自動処理によって個人についての決定がなされない権利」を持ちます。プロファイリングとは「個人データを自動処理することによって、個人のある側面、特に仕事の実績、経済状況、健康、嗜好、関心、行動、所在、移動などを分析・予測する」ことです。また「個人についての決定」とは法的な決定、ないしはそれと同等に個人にとって重要な決定です。本書には「教師評価システム」によって解雇された事例がありましたが（１番目に紹介した事例）、もしGDPRがアメリカにあったとしたらこのような解雇は無効になるに違いありません。
GDPRを本書の視点から見ると「数学破壊兵器の野放図な増殖を食い止めるための規制」というのが、その（一つの）意味でしょう。また、個人データを独占しているアメリカの巨大IT企業の活動を制限する意図が透けて見えます。
キャシー・オニールの本「破壊兵器としての数学 - ビッグデータはいかに不平等を助長し民主主義を脅かすか」と、フランスの「AI立国宣言」、EUのGDPR（一般データ保護規則）の３つは、一つの水脈でつながっていると思いました。
| 「 | Weapons of Math Destruction - How Big Data Increases Inequality and Threatens Democracy」（2016） | ||
| 「 | 破壊兵器としての数学 - ビッグデータはいかに不平等を助長し民主主義を脅かすか」 |
という本を書いたことで有名です。Weapons of Mass Destruction（大量破壊兵器。WMDと略される）に Math（Mathematics. 数学）を引っかけた題名です（上の訳は新井教授のコラムのもの）。この本は日本語に訳され、2018年7月に出版されました。
キャシー・オニール 著（久保尚子訳）
「あなたを支配し、社会を破壊する、AI・ビッグデータの罠」
（インターシフト 2018.7.10）
「あなたを支配し、社会を破壊する、AI・ビッグデータの罠」
（インターシフト 2018.7.10）
です（以下「本書」）。一言で言うと、ビッグデータを数式で処理した何らかの "結果" が社会に有害な影響を与えることに警鐘を鳴らした本で、まさに現代社会にピッタリだと言えるでしょう。今回はこの本の内容をざっと紹介したいと思います。なお、原題にある Weapons of Math Destruction は、そのまま直訳すると「数学破壊兵器」で、本書でも（題名以外は）そう訳してあります。
本書で扱っているテーマ
本書をこれから買おうと思っている方のために、２つの留意点を書いておきます。
| AIについての本ではない |
| |||
|
キャシー・オニール
（久保尚子訳） 「あなたを支配し、社会を破壊する、AI・ビッグデータの罠」 （インターシフト） | |||
数学が社会に与える影響と書きましたが、もっと詳しく言うと「数学モデル（数理モデル）が社会に与える影響」です。この数学モデルは人間が考え出したものであり、単純な数式のこともあれば、複雑な（数学的）アルゴリズムのこともあります。AIはその極めて複雑な部類です。この数学モデルにはデータ（ないしはビッグデータ）が入力されます。そして計算の結果として、
| 評価、判断、分類、予測、グループ分け、ランキング（ランク付け、順位付け）、スコアリング（スコア付け、点数付け）、指数、指標 |
などが出力されます。その多くは個人に関するものですが、組織体（大学、高校、企業、自治体、国、･････）について評価のこともあり、また「犯罪発生場所の予測」といった場所・地区に関する数値であったりもします。
最も単純な数学モデルの例は、本書でも出てくる BMI（Body Mass Index。ボディマス指数）でしょう。人の身長と体重を入力とし、"数学モデル" によって「肥満度の評価指標値」を出し、同時に人を「肥満・普通・痩せ」に分類します。この場合の "数学モデル" は、体重（kg）を身長（m）の２乗で割るという単純な数式です。
もちろん数学モデルの利用は近代科学が始まったときからの歴史があります。むしろ数学モデルを使うことで近代科学が生まれたと言えるでしょう。現代でも身近なところでは、気象の予測には膨大な計算を必要とする数学モデル（＝物理モデルをもとにした数学モデル）が使われています。もちろん自然科学だけなく社会科学にも使われます。
この数学モデルが社会に悪影響を与えるとき、キャシー・オニールはそれを「数学破壊兵器 = WMD」と呼んでいるわけです。悪影響とは、たとえば差別を助長するとか、貧困を加速するとか、公正ではない競争を促進するとか、平等の原則を阻害するとかであり、その具体的な例は本書に出てきます。
| アメリカの事例 |
２つめに留意すべきは、本書に取り上げられているのはアメリカでの事例だということです。日本では考えられないような実例がいろいろ出てきます。それらを単純に日本に当てはめることはできない。
しかし我々としてはアメリカでの数学破壊兵器の実態を反面教師とし、そこから学ぶことができます。かつ、本書に出てくるアメリカの巨大IT企業（フェイスブック、グーグル、アマゾンなど）は日本でもビジネス展開をしているわけで、我々も常時利用しています。もちろん、これらのIT企業が数学破壊兵器を使っていると言っているのではなく、その危険性があると指摘しているわけです。こういった知識を得ることも有用でしょう。
キャシー・オニールの経歴
| |||
|
キャシー・オニール
Cathy O'Neil （site:www.barnesandnoble.com） | |||
まさにキャシー・オニールは学者としてエリートであり、ヘッジファンドに転職というのも華麗な経歴です。ところが転職して１年あまりの2008年秋、世界経済は崩壊に直面しました（＝ リーマン・ショック）。彼女は次のように書いています。
|
本書の根幹にあるキャシー・オニールの "思い" とは、愛する数学が社会に災いをもたらすことへの危機感（ないしは "数学をもて遊ぶ人たち" への怒り）と、短期間とはいえ "災いをもたらす側で数学者として働いた" という自責の念、の２つでしょう。本書の第２章では「内幕」と題して2008年の前後の金融業界・ヘッジファンドの内情が生々しく語られています。
彼女はヘッジファンドを離職し、現在は企業が使うアルゴリズムを監査する会社（彼女自身が立ち上げたもの）のトップを努めています。もちろん彼女は数学モデルやアルゴリズム（AIもその一種）を否定しているのではありません。「盲信するな」と警告しているわけです。
そのようなスタンスは本書でも明らかです。本書には「明白な数学破壊兵器の例」もありますが、「数学破壊兵器になりかねないもの」や「有益なツールだが、使い方によっては数学破壊兵器になるもの」、「将来、数学破壊兵器へと発展しかねないリスクがあるもの」の例などが出てきます。幅広い見地から "数学の有害利用" を指摘しアラームをあげることによって、それを正そうとする本と言えるでしょう。
以下に本書にある多数の事例から３つの例だけを紹介します。教育と犯罪に関するものです。
教師評価システム
本書で最初にあげられている数学破壊兵器の例が、教師の評価スコアを算出するツールです。
|
ワシントンDCの教師だったサラ・ウィソッキーの例が出てきます。彼女はマクファーランド中学で第5学年（日本式に言うと中学１年）の受け持ちでした。彼女は子供たちに対するきめ細かい配慮で保護者からも高く評価されていました。ところが2009～10年の学年度末に、IMPACTによる評価の結果、下位5% に相当するとされ、他の205名とともに解雇されてしまったのです。
この原因は、2009～10年の学年度からIMPACTに新たに組み込まれた「付加価値モデル」で、彼女のこのスコアが著しく低かったのです。「付加価値モデル」は、教師が数学と英語を教える能力を評価しようとするもので、生徒の学力がどれほど向上したかで判定されます。この評価はIMPACTの評価の半分を占めていました。残りの半分は学校の経営陣からの評価や保護者からの評価などです。
サラ・ウィソッキーは自分の評価が不当だと思い、調べ始めました。「付加価値モデル」はワシントンDC学区と契約を結んだプリンストンの「政策数理研究所（Mathematical Policy Research）」が開発したモデルで、生徒の学習進捗度を測定した上で、学力の向上・低下についての教師の貢献度を評価しようとするものです。これは当然のことながら、多数の要因が関わる極めて複雑なものになります。サラ・ウィソッキーは自分の評価が低かった理由の説明を求めましたが、結局、誰からも説明を聞くことができませんでした。IMPACTを運用するワシントンDC学区の役員でさえ説明できないという「完全なブラックボックス」だったのです。
キャシー・オニールはこの「付加価値モデル」について２つ指摘しています。まずこの数学モデルを作ったときのサンプル数が少なすぎることです。わずか25～30名の生徒の学習進捗度調査がもとになっているといいます。学力の向上についての教師の貢献度というような複雑なテーマなら「無作為に抽出した生徒、数千～数百万のサンプル」が必要と書いています。必要数とともに "無作為抽出" がキーポイントです。
さらに、数学モデルで必須の "フィードバック" がないことが問題です。フィードバックの例としてアマゾンの商品のレコメンデーションを考えてみると、レコメンデーションのアルゴリズム（＝数学モデル）が良いか悪いかは、レコメンドした商品を顧客がクリックしてくれるかどうかで測定できます。この測定をもとに、レコメンデーションのアルゴリズムがたえず調整されています。
ところが「付加価値モデル」にはフィートバックがありません。数学モデルが良いか悪いか、それを学習して修正する機会がありません。特に、教師を解雇してしまったらそれで終わりです。あとの追跡もできない。キャシー・オニールは次のように書いています。
|
サラ・ウィソッキーの話には続きがあります。彼女はマクファーランド中学の5年生（日本式に言うと中学１年）を受けもっていますが、入学してくる生徒の大半はバーナード小学校の出身でした。
|
教師は生徒の学力テストの成績が悪ければ自分の職が危うくなることを知っています。逆に成績が良ければ最高 8000ドルの特別手当が支給される。ましてや、リーマンショック後の労働市場が大打撃を受けていた時期です。小学校の教師が生徒の回答を修正したのではないかと疑われるのです。
サラ・ウィソッキーはこのことを知って、自分が解雇されたことに合点がいきました。しかしワシントンDC学区の責任者は聞く耳をもちません。「回答用紙の消し跡は "示唆的" であって、彼女の受け持ったクラスの数値に誤りがあった可能性はある。しかし決定的証拠ではない。彼女に対する処遇は公正だった」というのが責任者の言い分でした。
このあたりが数学破壊兵器の怖いところです。数学モデルで算出されたということで、人間が聞く耳を持たなくなってしまうのです。一人の人生をひっくり返すような決定をしているにもかかわらず ･･････。
教師を評価する「付加価値モデル」の別の例が出てきます。ニューヨーク州の中学の英語教師、ティム・クリフォードは勤続26年の教師ですが、ある年、ワシントンDC学区と類似の「付加価値モデル」で解雇の標的となりました。100点満点で6点という最悪の成績だったからです。幸い彼は終身雇用を保証されていたので解雇されませんでしたが、スコアの低い年が続けば教師の職に居づらくなります。
「付加価値モデル」はクリフォードに落第点をつけましたが、改善点についてのアドバイスをしたわけではありません。彼は今まで通りの教え方を続けましたが、翌年の彼の評価スコアは何と96点でした。教師の "能力" が１年で90ポイントも変動するというのは、要するにデタラメということにほかなりません。このデタラメが持ち込まれた理由について、キャシー・オニールは統計学的に分析していますが、次のところが最も重要でしょう。
|
クリフォードのような例は多く、ある分析では同じ科目を何年か連続して教えた教師の４人に１人で、評価スコアが40ポイント以上変動していたといいます。キャシー・オニールは次のように結論づけています。
|
本書には、今も40の州とワシントンDCで「付加価値モデル」が使用されていると書かれています。
数学モデルには、それを作る側の「見解」が反映されます。どんなデータを収集するのか、何をアンケートで問いかけるのかにも、作り手の価値観や欲求・欲望が反映されます。さらにそこに、先入観や誤解、バイアス（偏見）が入り込む。
教師を評価する「付加価値モデル」に関して言うと、その最大の誤解は人を教えるという教師の能力を数値で評価できるという考えそのものでしょう。
USニューズの "大学ランキング"
２つ目の例は、これも教育に関するもので、時事雑誌「USニューズ」が発表している大学ランキングです。
|
この最初のランキングは、大学総長などの意見をもとに評価点を決めました。雑誌の読者には好評でしたが、多くの大学経営陣を怒らせ、不公平だという声が殺到しました。
そこでUSニューズは、データをもとにランキングを決めようとしました。しかし大学の「教育の卓越性」を計る指標を作るなど無理です。大学が１人の学生に４年間でどれだけ影響を与えたかは定量化できないし、全米で数千万もいる学生に対する影響など計りようがありません。そのためUSニューズは、測定可能で「教育の卓越性」と関係がありそうなデータ ＝ "代理データ" をもとにランキングを決めようとしました。代理データとは次のようなものです。★は少ないほど良い指標です。
| ◆ | 合格率（入試の受験者数に対する合格者数の割合★） | ||
| ◆ | 学生の大学進学適性試験（SAT）の成績 | ||
| ◆ | ２年生に進学した新入生の割合 | ||
| ◆ | ６年以下で卒業できた学生の割合 | ||
| ◆ | 教員１人当たりの学生数（★） | ||
| ◆ | １クラス当たりの学生数（★） | ||
| ◆ | 常勤教員の比率 | ||
| ◆ | 教員の給料 | ||
| ◆ | 学生１人あたり大学が使った費用 | ||
| ◆ | 存命の卒業生のうち、大学に寄付をした人の割合 |
大学の評価点の75%はこのような代理データ（計、14項目）をもとに、それぞれに重みをつけて算出されます。そして残りの25%は大学総長や学部長の外部評価（他大学の評価を問う質問票のスコア）で決まります。外部評価が最大の重みを与えられていますが、こうした評価は広く名が知られた有名校ほど有利になることに注意すべきです。この合計15項目を点数化し、その合計点で大学のランキングをつけるわけです。
|
ランキングを上げるために "捨て身の" 行動に出る大学も出てきました。ある大学は入学予定者にお金を払って大学進学適性試験（SAT）を再受験させていました（本書には書いていませんが、おそらくSATのスコアが悪かった入学予定者だと思います）。またUSニューズに嘘のデータを送る大学も出てきました（データはUSニューズからの調査票に回答する形で収集されます。回答しなかった大学についてはUSニューズが独自調査をします）。
さらに意図しない有害な状況も生まれてきました。ランキングの元になるデータの一つに合格率があります。これは低いほど（＝ 競争率が高いほど）良いとされる数値で、この数値を下げるためのまっとうなやり方は、大学の評判を高めて多くの入試受験者を呼び込むことです。しかしもう一つ、やり方があります。合格者数を少なくすればよいのです。
「滑り止め」の受験ということがあります。「滑り止め」にされる大学としては、合格しても入学を辞退する学生がいることが過去の経験からわかっているので、定員より一定数だけ多めに合格を出すのが普通です。これは合格率を上げることになります。そこで大学側としては「滑り止め」で受験したと推定できる学生をアルゴリズムで割り出し、その学生には合格を出さないという対応を始めました。今や「滑り止め」という概念は消えつつあり、そうなったのにはUSニューズのランキングが大きく影響しています。
これは受験生と大学の双方にとって不幸な状況です。受験生にとっては「滑り止め」が意味をなさなくなり、大学にとっては、たとえ「滑り止め」であっても入学してくれたかもしれない優秀な学生を失うことになるからです。
さらに、大学ランキングの大きな過ちは「入学金と授業料」がデータに含まれないことだと、キャシー・オニールは指摘しています。つまり「入学金と授業料は低いほど良い」という評価がされないのです。この理由を彼女は推測しています。つまり大学ランキングを作るときにUSニューズはハーバード大学、スタンフォード大学、プリンストン大学、イエール大学のような、誰しも認めるような一流大学を調べたのだろう。そのような大学では、学生のSATの点数が高く、滞りなく卒業し、卒業生の年収が高いため母校に高額の寄付をしている。一方、これらの大学は入学金と授業料が高いことでも有名だ。もし入学金と授業料が低いほど良いという評価を入れると、これらの一流大学がランキング上位に並ばない可能性も出てくる。これではランキングの信憑性を疑わせることになる ･･････。
大学ランキングの数学モデルは、ハーバード大学、スタンフォード大学、プリンストン大学、イエール大学などが上位に並ぶべく設計されています。つまり、モデルを作った人の 見解 が反映されているのです。
|
USニューズはランキングを拡張し、医科大学や高校までに広げています。また、このランキングを上げるためのコンサルティング会社、適切な入学募集をするためのコンサルティング会社、入学見込みの高い学生を予測するシステムを販売する会社などがあり、大学ランキングは巨大なエコシステム（生態系）の様相を呈しています。
キャシー・オニールが指摘しているように大学ランキングの最大の問題点は、多様性を否定する単一の物差しということでしょう。それが広まってしまった結果、全ての大学経営陣がそれに囚われてしまい、この物差しに向けて大学経営を最適化するようになった。まさに "破壊兵器" と呼ぶにふさわしいものです。
犯罪予測モデル
アメリカの北部、中西部から大西洋岸にかけて "ラストベルト"（Rust Belt）と呼ばれる地域があります。rust は錆の意味なので、直訳すると "錆地帯" です。この地域はアメリカの製造業や重工業の中心ですが、グローバル化による工場の海外移転、製造業の競争力低下などで経済的不振に陥っています。トランプ大統領（2017年1月に就任）の誕生の原動力の一つが、ラストベルトの白人貧困層だと言われました。本書にはそのラストベルトにある都市の事例が出てきます。
|
レディングにおける犯罪予測システムの導入は、やむにやまれぬ決断だったと言えるでしょう。しかし今や、このようなシステムの導入が大都市も含め全米に広まってきました。
プレドポル社はカリフォルニア大学ロサンジェルス校（UCLA）のジェフリー・ブランティンガム教授が創立した会社です。プレドポル社の犯罪予測システムには、人種や犯罪歴などの個人データはいっさい含まれていません。システムが照準を合わせるのは「区画」です。過去にどのような犯罪がどの区画でどの時刻に起こったというデータが基礎です。具体的な詳細は明らかにされていせんが、システムには区画の数々の特性データが入力されるのでしょう。ATMやコンビニなどの犯罪が起こりやすいポイントの存在も重要データのはずです。また、犯罪が起きる周期的なパターンにも注目していると言います。
この犯罪予測システムを使ったとしても、犯罪の実行前に警官が人々を逮捕・拘束するようなことはありません。あくまで犯罪の発生確率を区画ごとに予測するものであり、警官にその区画のパトロールを促すものです。そのような区画に警官が長く留まれば住居侵入や車上窃盗を阻止でき、地域住民のためになります。その意味で公平性は保たれていると考えられ、警察活動の効率性の観点から優れたシステムと考えられます。しかしキャシー・オニールはこの犯罪予測システムが「有害」になる危険性を次のように指摘しています。
|
自己成就予言という言葉があります。たとえ根拠のない予言であっても、人々がその予言を信じて行動することで予言が現実のものとなることを言います。ある銀行が危ないという予言がされると人々が預金をおろす行動に出て、本当にその銀行が倒産するようなことを言います。
迷惑犯罪を組み込んだ犯罪予測システムも自己成就予言に似ています。もちろん予測には数学モデルにもとづく根拠があるのでしょうが、「予測することによって予測が確実になっていく」のは大変よく似ている。考えてみると、前の項に紹介したUSニューズの大学ランキングも自己成就予言の要素があります。ランキング下位の大学は、そのことによって「教育の卓越性」が失われていき（大学経営陣が対策を打たないと）、それがランキングをさらに下げる。
キャシー・オニールは「どのような犯罪に注目するかを選択しているのは警察である」と書いています。もちろん重犯罪を除く、軽犯罪・迷惑犯罪についてです。犯罪予測モデルを数学破壊兵器にしないためには、モデルから軽犯罪を除外することが必要なのです。
個人を分類し、スコアリングする
本書に取り上げられたトピックから、「教師評価モデル」「大学ランキング」「犯罪予測モデル」の３つを紹介しましたが、本書には他にも多数の事例が出てきます。この中でも特に印象的なのは「個人を分類しスコアリングする」技術や数学モデルです。
そのもとになるのは、ビッグデータとして収集される個人の「行動データ」です。これにはネットでの検索履歴、商品の購買履歴、Webサイトの閲覧、SNSなどでの情報発信、モバイル機器の位置情報などです。これらを数学モデルで分析し、個人が分類され、あるいは個人にスコアがつけられる。行動データから性別や年齢はもちろんのこと、年収、性格まで推定できると言います。（やろうと思えば）位置情報から住所や勤務地を容易に推定できます。
ターゲティング広告はそのような行動データに基づいています。その個人が興味を惹きそうな広告を個人ごとに提示する。これは日本でも一般的ですが、これが有害になることがあります。つまり意図的に貧困層の人、困り果てている人、無知な人を狙って大量のターゲティング広告をうち、詐欺まがいの商品やサービスを購入させて "収奪" することができる（略奪型広告と書いてあります）。いわゆる「弱みにつけこむ」というやつです。
個人の信用度をスコアリングする、信用スコア（クレジット・スコア）に関する問題も提起されています。アメリカではFICOと呼ばれるクレジット・スコアが広まっています。これは個人のクレジットカード、住宅ローン、携帯電話料金などの支払い履歴から計算されるスコアです。このスコアは支払い履歴のみから計算され、計算方法が公開されています。また個人が自分のスコアに疑問や不審をもったとき、そのデータの公開を請求できます。さらに企業がスコアをマーケティングに利用することは法律で禁じられています。これらは信用格付け会社が法律で規制されているからです（日本でもクレジット業界の与信審査では同様のスコアがある）。
その一方、法律の規制を受けない個人スコアが広まっていて、本書ではこれを "eスコア" と呼んでいます。それは個人のありとあらゆる行動履歴や郵便番号などから数学モデルで算出されるもので、法の規制を受けません。これが企業活動に使われる。こういった "eスコア" は有害だと、キャシー・オニールは指摘しています。象徴的には、治安の悪いとされる地区からアクセスして中古車を調べていた人物は "eスコア" が低くなり、ローンの金利が高くなるといった例です。
個人の健康度を計ろうとする動きも非常に気になるところです。すでに保険会社では独自の健康スコアを策定し、スコアに応じて健康保険料を変えるところが現れています。キャシー・オニールはこういった動きが一般的に広まることを懸念しています。
|
血圧、血糖値、中性脂肪値、胴囲、コレステロール値など、健康を計る基礎値には事欠かないので、これらをもとに「健康スコア」が作られる可能性は高いわけです。その、すでに広まっているスコアの一つの例として、BMI（Body Mass Index。ボディマス指数）があります。
|
BMIは「体重（kg）を身長（m）の２乗で割る」という数式で計算されます。そして日本では 25 以上が「肥満」、18.5以下が「痩せ」とされる。しかしこれは肥満度をおおまかに知るための粗い代理数値です。「平均的な男性」を基準にしているので、たとえば女性は太りすぎと判断されやすくなります。また筋肉は脂肪より重いので、体脂肪率の少ない筋肉隆々のアスリートのBMIは高くなります。
エンゼルスの大谷翔平選手の身長は193cm、体重は92kgですが、シーズンオフには97kg程度のこともあるようです。体重を92kg～97kgとすると、大谷選手のBMIは24.7～26.0となり、「もう少しで肥満 ～ 肥満」ということになります（日本基準）。これはどう考えてもおかしいわけです（もちろん大谷選手のことは本書にはありません）。
「健康スコア」によって人々が健康問題に向き合えるように後押しするのは、決して悪いことではありません。重要なのはそれが「提案」なのか「命令・強制」なのかです。企業や組織が健康スコアによって何らかの強制や差別をするようになると（キャシー・オニールはそれを懸念している）、それは個人の自由の侵害になるのです。
民主主義を脅かす危険性
.jpg)
| |||
|
Cathy O'Neil
「Weapons of Math Destruction」 | |||
2010年のアメリカの中間選挙において、フェイスブックは「投票しました（I voted）」というボタンを設け、投票した人がボタンをクリックすると、友達ネットワークのニュースフィードを通してそれが拡散するようにしました。この結果、投票率が2%上昇したとフェイスブックは分析しています。
また2012年の大統領選挙（オバマ大統領が再選された）では、その３ヶ月前からフェイスブックのユーザ200万人（政治に関わる人）を対象に実験が行われました。ニュースフィードに流すニュースを選ぶアルゴリズムに手を加え、200万人に対しては政治のニュースを意図的に多く流すようにしたのです。後日、アンケートで投票行動を調べた結果、投票率は64%から67%に上昇したと推定しています。
わずか2%～3%の差ですが、これはSNSの巨大な影響力を示しています。投票率が上がることは、社会通念上は良いことです。フェイスブックの行為も善意からかもしれません。しかし投票率によって選挙の当落が左右される（ことがある）のは常識です。特に、投票率が特定の候補者や政党に影響することがある（日本でも雨天で投票率が悪いと特定の政党が有利だという話があります）。フェイスブックは膨大な個人情報を握っているわけで、例えば特定の地域の投票率が上がるように「投票しました（I voted）」を拡散させることは技術的に十分可能でしょう。フェイスブックがそういうことをやっているというのではなく、そういうリスクがあるということです。
Googleのような検索エンジンも、検索結果の上位に何をもってくるかは Googleが決めています。特定の候補、ないしは政党に有利（ないしいは不利）になる情報を上位にもってくることがアルゴリズムの工夫によって可能であり、ここにもリスクがあります。
さらにターゲッティング広告が既に一般化していることを考えると、ネットを選挙運動使うことにも危険性があります。個人の行動履歴から、その個人がどういう政治課題に関心があるかをプロファイリングできます（自然保護、治安強化、女性の地位向上 ･･････）。すると候補者は、その課題解決を前面に押し出したメールを個人に配信することができる。別の関心事項をもつ個人には別の内容のメールを送る ･･････。結局、候補者が当選後にどの公約を前面に押し出すのか、誰にも予想できません。本書はマイクロ・ターゲティングと言っていますが、ネット広告で既に行われているのだから「候補者を売り込む」のが目的の選挙でも可能です。数学モデルはこういったことを可能にし、それは民主主義を歪めていくことになるのです。
もちろん、新聞やテレビも選挙の報道をします。候補者の政見を乗せるし、特定の政党を支持する社説を掲載する新聞もある。しかしそれらはオープンであり、どういう報道がされているかを誰もが眼にでき、検証できます。つまり透明性が確保されている。しかしネット上のマイクロ・ターゲティングは、誰が誰にどういう種類の情報やメッセージを流しているかは全く分かりません。つまり不透明です。
本書の最終章は「第10章 政治 - 民主主義の土台を壊す」と題されています。そういうリスクがあることは十分に認識しておくべきだと思います。
EUのGDPRの意味
以降は、本書を読んで思ったことです。No.237「フランスのAI立国宣言」で書いたように、2018年3月末、マクロン大統領は、
| 人権と民主主義に貢献するAI 人間性のためのAI |
を前面に押し出したAI国家戦略を発表しました。これはまさに本書の主張と軌を一にするものです。フランスがキャシー・オニールを招待したのは当然だったようです（もちろんフランスの戦略は、そのことによって自国を有利にしようとするものです）。
さらに思い出したのは2018年5月25日より施行された「EU 一般データ保護規則 - GDPR（General Data Protection Regulation）」です。これは欧州経済域（EEA。EU加盟28ヶ国＋ノルウェー、アイスランド、リヒテンシュタイン）に居住する市民の個人データ、およびEEAを本拠として収集された個人データの管理と移転に関する規則で、個人データをEEA域外に移転することが原則禁止されます。さらに「データ主体に認められる８つの権利」が明文化されています。データ主体とは個人データを提供する（個人データを収集される）一般市民です。
８つの権利でも特に重要なのは「削除権」で、データ主体は自分に関する個人データを削除するよう、データ管理者に要求できます。いわゆる「忘れられる権利」です。
さらにデータ主体は「プロファイリングを含む自動処理によって個人についての決定がなされない権利」を持ちます。プロファイリングとは「個人データを自動処理することによって、個人のある側面、特に仕事の実績、経済状況、健康、嗜好、関心、行動、所在、移動などを分析・予測する」ことです。また「個人についての決定」とは法的な決定、ないしはそれと同等に個人にとって重要な決定です。本書には「教師評価システム」によって解雇された事例がありましたが（１番目に紹介した事例）、もしGDPRがアメリカにあったとしたらこのような解雇は無効になるに違いありません。
GDPRを本書の視点から見ると「数学破壊兵器の野放図な増殖を食い止めるための規制」というのが、その（一つの）意味でしょう。また、個人データを独占しているアメリカの巨大IT企業の活動を制限する意図が透けて見えます。
キャシー・オニールの本「破壊兵器としての数学 - ビッグデータはいかに不平等を助長し民主主義を脅かすか」と、フランスの「AI立国宣言」、EUのGDPR（一般データ保護規則）の３つは、一つの水脈でつながっていると思いました。
2018-08-31 17:46
nice!(0)
