シグナル&ノイズ 天才データアナリストの「予測学」
the signal and the noise – why so many predictions fail – but some don’t
この本は、ブルックリンの統計家 Nate Silver がまとめた、予測と予想についての本です。原題の副題である「why so many predictions fail – but some don’t」 ～ なぜこんなにも多くの予測は外れるのに、いくつかの予測は当たるのか? というメッセージが、先の読めない世界で経営判断を迫られる経営者の不安につけ込んできますね。シカゴ大学で統計学を修めた彼は、定量的な推定を得意としつつも、そのパラメータとして多くの定性的な要素を組み込むことで、MLB で活躍する選手を見出したり、アメリカ大統領指名選挙の結果を高い精度で予測することに成功しました。
なんといっても、1978年生まれの彼は、私と同い年。これが一番の驚きでした。
本書で紹介されているベイズ推定は、現在のビッグデータ解析に必ずと言って良いほど使われる基本的な統計手法ですが、本書では、このベイズ推定を予測手法の軸として使っています。この著者がうまいのは、定量的なパラメータから定量的な確率を推定するベイズ推定を、定性的にしか評価できない経済学や疫学・安全保障といった分野に応用し、彼なりの手法で成功しているところです。
統計的手法を得意とする人は、様々な相関係数から、指標と予測値を関連づけようとしますが、現在は意味のある物からあまり意味のないものまで無数の指標が氾濫し、情報の総量は増大しているが、その S/N 比は著しく低下していると述べています。1万個の指標があれば、偶然では99.9%起こりえないほどの強い相関も、偶然で10個は生じてしまいます。その中でいかに有用なシグナルを見つけ出し、推定に役立てていくのか。実験物理学をやってきた私には経験的に体感してきたことも多くあり、それらを体系的に理解することが出来ました。また、経済や災害・テロや疫病の脅威についても、物理学の熱分布やべき乗則、レビ―統計的なロングテイルが存在し、物理学の知識の応用範囲は幅広いな、と、改めて感じました。
また、経済学において興味深いのは、1950年から1990年代のおおよそ半世紀にわたって、多くの分野で様々な統計が取られるようになってきましたが、幾度かの石油危機があったとはいえ、(アメリカを中心とする)世界的な好景気が長く続いた特異な半世紀であったであろう事を忘れて、その傾向を2010年代に適用できるのかどうか、深く考える必要があるとも述べています。
ビッグデータ解析の有用さと、宿命的な欠陥を、多くの具体的事例から紹介しているこの本は、これからビッグデータ解析に乗り出そうとしている方には、一読の価値があります。抽象的な事柄を、具体的に書きくだしてくれているので、ビッグデータの扱い方の方向性を決める初期の段階でかなり役に立つとおもいます。極基本的な数学の知識が必要です。
英語に自信のある方は原著でどうぞ。経済用語や疫学用語など、馴染みの無い単語が多いので、章が変わるごとに少し難儀するかもしれません。
Comments are closed