数字をこねくりまわすことの恐ろしさや如何に

数字って怖いと思うんです。統計の場合は特に。
何が怖いって、数字を使うと「確からしさ」が高まるからです。
もうちょっと正確に言えば「確からしさを評価できるようになる」「確からしさが感覚的に理解しやすくなる」
とも言えます。
さらに突っ込んで言えば「確からしさがなんとなく評価できるようになる」「確からしさがなんとなく感覚的に理解しやすくなる」
とも言えます。
ここで気をつけなければならないのは、もちろん「思考の停止」。
数字だけポンと与えられると、それだけに目が行き、本当にその分析が妥当と言えるのか気配りを怠ってしまうケースに陥ります。

日常でお目にかかる統計の例として、天気予報がありますが、
明日の降水確率何パーセントという場合、過去の天候のデータから
その日の雨が降る可能性を算術的に導き出して、数字化します。

「明日は雨が降ります。自信あります！！」とか「明日はひょっとすると雨が降るかもです」
と言うヨシズミさんより、
「明日の降水確率は１００％です」とか「明日の降水確率は１０％です」
と言うヨシズミさんのほうがいいヨシズミさんです。

ここで気をつけなきゃいけないのが、「数字の導き出し方です」

ようは数字をポンと出されると、一体全体どうやってその人はその数字を出したのか、
大抵はブラックボックスです。論文や一部の詳細なニュースのように、
被験者数や率を表示しているものなら確認できるのですが、普通はそんなの出しません。
普通は数字を出した張本人を信用するわけですね。

報告者：「私が３０％と言ったのだから、君たち無条件に信用しなさいよ！」
私たち：「イー！！（ショッカーのように）」
天気予報のように、「手法が確立されていて」・「専門家が」・「給料もらって」・「責任持って頭捻って」
編み出した数字なら、ある程度信用（信頼？）できるというものですが、

そんな中、芸術ともいえる分析を見つけました。
http://totodaisuke.asablo.jp/blog/2009/08/12/4507751

ブログの筆者さんは「知ったら入りたい率」という数字を使って自社の宣伝に用いているようですが、
データ収集法・数字を拝見して思った疑問↓

１．被験者がインターネットコミュニティ「MyVoice」の登録メンバーとあるのですが、それはサンプリングとして妥当ですか？被験者がある媒体利用者（この場合は「MyVoice」）に偏っていて、広く一般の傾向とは言えない気が。

筆者さんは「この調査は無作為に抽出したものです」とは言っていないので、この結果を一般の傾向（例えば「一般成人」等の大規模な母集団の傾向）と考えてはいないようですが、本文にある「1万5千人を対象としたこの調査によると」は「1万5千人のMyVoice利用者を対象としたこの調査によると」とすべきです。

２．「認知度について」が複数回答式なのに対し、「加入したい会社について」は択一式なので、「加入したい率」　÷　「知ってる率」の計算式では、「知ってる率」の低い会社に有利では？

当然ですが「認知度について」は複数回答式なので、「全部知らない」を含めた各社の数字を足したものは１００パーセント以上になります。それに対し「加入したい会社について」は必ず１００パーセントになります。そのため、「知ってる率」で数字を稼いだ会社は上のような計算式では不利になります。

例えば、こんな結果はいかかでしょう？（この調査のパロディです）
対象者：全世界のニート１億人
「認知度について」（複数回答式）：Ａ社を知っている→９０００万人
　　　　　　　　　　　　　　　　　　　　　Ｂ社を知っている→５０００万人
　　　　　　　　　　　　　　　　　　　　　Ｃ社を知っている→１００人
「加入したい」（択一式）　　　　　　：Ａ社→１０００万人
　　　　　　　　　　　　　　　　　　　　　Ｂ社→１０００万人
　　　　　　　　　　　　　　　　　　　　　Ｃ社→３０人
　　　　　　　　　　　　　　　　　　　　　どれも入りたくない→７９９９万９９７０人
「知ったら入りたい率」　　　　　　　：Ａ社１１パーセント
　　　　　　　　　　　　　　　　　　　　　Ｂ社２０パーセント
　　　　　　　　　　　　　　　　　　　　　Ｃ社３０パーセント
Ａ社もＢ社も「加入したい」でともに１０００万人と健闘したにも関わらず、Ｃ社に「知ったら入りたい率」で
敗れてしまいました。この敗北の原因は、「加入したい」が両社とも低いというより、複数回答式の「認知度」で高い数字を稼ぎすぎてしまったと考えられます。高すぎる認知度が「知ったら入りたい率」で不利に働くという、なんとも皮肉な結果になってしまいました。

数字をこねくりまわすのは結構なのですが、誤って数字をこねくりまわすことで、妥当とは言えない結果を導いてしまうこともあります。気をつけないと。