2009年8月17日月曜日

数字をこねくりまわすことの恐ろしさや如何に

数字って怖いと思うんです。統計の場合は特に。
何が怖いって、数字を使うと「確からしさ」が高まるからです。
もうちょっと正確に言えば「確からしさを評価できるようになる」「確からしさが感覚的に理解しやすくなる」
とも言えます。
さらに突っ込んで言えば「確からしさがなんとなく評価できるようになる」「確からしさがなんとなく感覚的に理解しやすくなる」
とも言えます。
ここで気をつけなければならないのは、もちろん「思考の停止」。
数字だけポンと与えられると、それだけに目が行き、本当にその分析が妥当と言えるのか気配りを怠ってしまうケースに陥ります。

日常でお目にかかる統計の例として、天気予報がありますが、
明日の降水確率何パーセントという場合、過去の天候のデータから
その日の雨が降る可能性を算術的に導き出して、数字化します。

「明日は雨が降ります。自信あります!!」とか「明日はひょっとすると雨が降るかもです」
と言うヨシズミさんより、
「明日の降水確率は100%です」とか「明日の降水確率は10%です」
と言うヨシズミさんのほうがいいヨシズミさんです。

ここで気をつけなきゃいけないのが、「数字の導き出し方です」

ようは数字をポンと出されると、一体全体どうやってその人はその数字を出したのか、
大抵はブラックボックスです。論文や一部の詳細なニュースのように、
被験者数や率を表示しているものなら確認できるのですが、普通はそんなの出しません。
普通は数字を出した張本人を信用するわけですね。

報告者:「私が30%と言ったのだから、君たち無条件に信用しなさいよ!」
私たち:「イー!!(ショッカーのように)」
天気予報のように、「手法が確立されていて」・「専門家が」・「給料もらって」・「責任持って頭捻って」
編み出した数字なら、ある程度信用(信頼?)できるというものですが、

そんな中、芸術ともいえる分析を見つけました。
http://totodaisuke.asablo.jp/blog/2009/08/12/4507751

ブログの筆者さんは「知ったら入りたい率」という数字を使って自社の宣伝に用いているようですが、
データ収集法・数字を拝見して思った疑問↓

1.被験者がインターネットコミュニティ「MyVoice」の登録メンバーとあるのですが、それはサンプリングとして妥当ですか?被験者がある媒体利用者(この場合は「MyVoice」)に偏っていて、広く一般の傾向とは言えない気が。

筆者さんは「この調査は無作為に抽出したものです」とは言っていないので、この結果を一般の傾向(例えば「一般成人」等の大規模な母集団の傾向)と考えてはいないようですが、本文にある「1万5千人を対象としたこの調査によると」は「1万5千人のMyVoice利用者を対象としたこの調査によると」とすべきです。

2.「認知度について」が複数回答式なのに対し、「加入したい会社について」は択一式なので、「加入したい率」 ÷ 「知ってる率」の計算式では、「知ってる率」の低い会社に有利では?

当然ですが「認知度について」は複数回答式なので、「全部知らない」を含めた各社の数字を足したものは100パーセント以上になります。それに対し「加入したい会社について」は必ず100パーセントになります。そのため、「知ってる率」で数字を稼いだ会社は上のような計算式では不利になります。

例えば、こんな結果はいかかでしょう?(この調査のパロディです)
対象者:全世界のニート1億人
「認知度について」(複数回答式):A社を知っている→9000万人
                     B社を知っている→5000万人
                     C社を知っている→100人
「加入したい」(択一式)      :A社→1000万人
                     B社→1000万人
                     C社→30人
                     どれも入りたくない→7999万9970人
「知ったら入りたい率」       :A社11パーセント
                     B社20パーセント
                     C社30パーセント
A社もB社も「加入したい」でともに1000万人と健闘したにも関わらず、C社に「知ったら入りたい率」で
敗れてしまいました。この敗北の原因は、「加入したい」が両社とも低いというより、複数回答式の「認知度」で高い数字を稼ぎすぎてしまったと考えられます。高すぎる認知度が「知ったら入りたい率」で不利に働くという、なんとも皮肉な結果になってしまいました。

数字をこねくりまわすのは結構なのですが、誤って数字をこねくりまわすことで、妥当とは言えない結果を導いてしまうこともあります。気をつけないと。

2009年7月17日金曜日

異文化のせいで、ネイティブっぽくない-TOEFLのはなし-

自国の文化が、英作文の書き方に影響することがあります。

ただ、ネイティブ話者の採点者は、異文化に気づかずに、減点したり、訂正したりします。
勿論、採点者が、多文化に精通しているというのは、
大規模なテスト採点では難しいでしょう。

標準化されたテスト(standardized test)であるTOEFLの英作文セクションで、どういう内容がでてくるか、ご存知の方も多いかと思います。

家族のことと、学校のこと、教育のこと、、、英作文のお題に出てくるもの。

それらは、下記にETS (TOEFLをはじめ、標準テストを作っている非営利団体)によると、世界中の第二言語でも、容易にアクセスできるトピックだからだそうです。

"Topics dealing with education and family are quite common on standarized tests because they topics are easily accessible to L2 writers around the world." (参考:ETS (1996))

でも、これが、落とし穴。

家族や教育に関する、「あなたの意見を述べなさい」って、
文化によって、書く内容が変わってくることでしょうから。

「子供は親のいうことに従うべきかどうか?」
「制服着用についてどう思うか?賛成か反対か?」
「自分がやりたい学問を専攻すべきか、就職に役立つ学問を専攻すべきか?」

これらの質問は、「あなたの純粋な個人的意見」というよりも、「あなたのいる社会に即した、あなたの意見」を、結果として答えにもってしまいがちです。学校の存在意義が、組織・集団・上下関係重視なアジアと、個人重視な北米では、解答が大きく違ってくるでしょう。


たとえば、「マイケル・ジャクソンの年俸は高すぎると思うか?」「健康維持のためにあなたがすることは何か?」という質問に比べて、
各国文化によって、内容が変わりやすい。

TOEFLは、
「内容について、採点してるわけじゃない」はずですが、
内容を構成する、助動詞の使い方とか、言語的に影響を受けるでしょう。
そうすると、ネイティブ採点者は、「キモい書き方してるな。減点!」となる。

TOEFLの採点者は、学生でも社会人でも学校の先生でも誰でもなれます。私の友達も、採点しています。
ただし、ESL教育のプロが採点するわけではありません。

問題なのは、採点者が多文化に精通していないということではありません。常識的にみて、いくら広いアメリカとはいえ、海外事情や異文化に精通している人はそう多くありません。

問題は、ノン・ネイティブが書いた英作文が、「キモい」時に、
その「キモさ」が、文化に要因していることに気づかずに、ネイティブ英語採点者が減点していることを、
ETS社は、認めずに、同じような問題を出し続けていること。

「家族」「教育」関係の英作文で、儒教エリアの国々だと、
彼らの模範解答は、「目上の人や組織に従う内容」になりやすい。

親のいうことに従う「べき」である。
教師のいうことに従う「べき」である。
校則に従う「べき」である。
だからmust, should, have to, need to, などを使ってしまう。

これが、TOEFL英作文減点への入り口です(>_<) きをつけてね!


ここらへんの「べき」意識が、アメリカ社会は、うすいのです。もっと個人にとっての「家族」「教育」だと捉えられます。
せいぜい、「べき」ではなくて、「そうしたほうがよい」程度。
must, have to, need toより、せいぜい、shouldで軽く流す。


このあたりの違いについて述べている、面白い論文を3つあげておきます。

  • Kaplan, R. B. (1966). Cultural thought patterns in intercultural education. MA: Blackwell.

  • Kubota, R. & Lehner, A. (2004). Toward critical contrastive rhetoric. Journal of Second Language Writing 13. 7-27

  • Hinkel, E. (2009). The effects of essay topics on modal verb uses in L1 and L2 academic writing. Journal of Pragmatics 41. 667-683.

2009年7月15日水曜日

東京国際ブックフェアで考える②:「潜在力」「右脳」って何よ?

回のエントリーは実は「東京国際ブックフェアで考える②:著作権2.0の世界」にしようと思ってました。
それは次回に。

前エントリー「東京国際ブックフェアで考える①:脳科学と英語」に重複するのですが、
いくつかの幼児用教材(英語に特化しているものも、そうでないものも含む)の宣伝文句の共通項にあった
のですが、
「右脳」 の発達に着目したものがありました。
ロジックはこのようなものです。

幼児期に右脳をもっと発達させるべき→右脳が発達すると、こんなに言語(あるいは特定の能力。算数とか絵画とか)の習得に役立つ!!→わが社の教材Xは右脳発達にこんなに効果的→これは買うしかない。

まぁ、それなりに説得力のあるものだとは思います。
刺激を与えることによって、幼児は何らかの反応を示すはずなので、脳に負担がかかります。
その負担があるのと無いのとでは、なんらかの違いがあるのは間違いないでしょう。

でも、そもそもの前提なのですが、教材を買う前に最低限これだけは疑ってください。
①その能力と「右脳の発達」は結びついているのか?
 →右脳の発達がその能力の習得に結びつく?or 右脳の発達がその能力を何らかの形で促進させる?
②その教材はほんとうに「右脳の発達」を招くものなのか?
 →①が真であるとして、その教材を使った幼児と使わなかった幼児での長期的な比較は行った?
 →計量的に十分な被験者を集めて適切な実験環境で教材の効果を検証した?

では、言語の場合なのですが、
①:どうやら母語話者並になる鍵なのは右脳ではないようです。上級ドイツ語学習者(ロシア人)とドイツ語母語話者の言語刺激に対する脳波の違いを調べたところ、両者の間で決定的に違ったのは
  1)400ms(つまり1000分の400秒:4/10秒)前後で前頭葉(脳の前の方)で脳波に
やや違いがあった。
  2)100ms~200msの間で
左前頭葉の陰極にやや違いがあった。
つまり、「左」じゃん!!ということです。
しかもその差は微々たるものでした。逆にいうと実験中のドイツ語学習者はドイツでドイツ語を長期間学習している大学生です。
実験対象としては「頭を使って生きてきた人たち」「ドイツ語を恵まれた環境で学習している」人たちです。
この結果をどのように考えるかというと、
  1)学習することによって脳波のタイプを母語話者から見て「やや違う」程度まではいける
  2)上級でも「やや違う」ところまでしかいけない
  3)差を生みだしていたのは「左脳」
ってところでしょうか。ちなみに本当に左脳の脳波が母語話者と学習者の違いを生み出すのかといえば、
そのように結論するのは誤謬です。あくまで仮説として考えておいて、比較検証をしなくてはなりません。

②:長期的な比較検証を行っている教材にお目にかかるのはレアなことです。
これは別にいいと思うんです。やればなにかしらは伸びますから。ただ、本当に「効果性」「有効性」を謳うのであれば、検証は義務です。やらないとしたら(やっていないとしたら)、それは疑似科学に基づくエセ教材です。
「効果性」「有効性」は何かしらの形で数量化できるものなので(というか数量化できる複数の群を比較して「効果性」「有効性」をもとめる)、検証をやらないのにそのような宣伝文句をするのであればそれは嘘です。

ちなみに上の実験を取り上げた論文です。
Hahne, A. (2001). What's different in second language processing? Evidence from even-related brain potentials. Journal of Psycholinguistic Research, 30(3), pp. 251-266.

2009年7月14日火曜日

誘惑な英語教育

Peterさんに続いて、私も、東京国際ブックフェアに行って参りました。

どうしても、自分の研究分野、関心領域に近いので、
「英語教育」「早期教育」「こども」バイリンガル」と銘打ってる商品や会社をみるときは、厳しくなります。
インチキ理論で、高い商品を売ろうとしていることへは、どうしても、研究者として、正義感が働いてしまうんですね。

言語教育の研究自体は、営利を目的にしていないはずだけど、
巷広がる”教育”ビジネスは、営利目的でしょう。
だったら、実証効果がよくわからない部分を、もはや前提にして商品をアピールするのは、過大広告な気もします。

私や、私と同じように英語教育関係で研究してきた人なら、
すぐに見破れるような変な商品が、圧倒的に多いです。
往々にして、たいした知識のない内容に、論理のすり替えで、要は「英語できないとダメですよー」「今しかチャンスはないですよー」と煽って宣伝しているようにきこえます。

以下の商品は、要注意です。


「脳」の力、とか、最近ブームな脳をあげるところ、
・5歳まで、とか○○歳、と年齢制限にこだわるところ、
・教材単価が、やたらに高いところ(かつ、セットで買わせようとする←なぜセットにする必要があるの?単品では効果ないの?)


日本の早期英語教育は、英会話・コミュニケーション力(?)業界も、ワンダーランドです。
言語力検定を始めた財団法人もありますね。言語力、スピーチ力、コミュニケーション力、って何なのでしょうねぇ。
あと、脳と筋肉を、混同してませんか?脳を鍛える、とか。脳と言語能力の相関性、まだまだわからないところが多いのになぁ。筋トレみたく、脳トレしたら、むきむきになれるのかな。

基本的に、英語教材を勧誘してくる人は、どんな切り替えしにも食いついてきます。「食いつき検定」1級です。

「あなたの分野の研究している(ふふ、プロだぜ)」へは、「じゃあ研究教材にどうぞ(買えよ)」と食いつく。
「留学経験は既にある。現地に住んだ経験もある(だから、不要)」へは、「じゃあもっと上達しましょう(買えよ)」と食いつく。

だから、最後のカードはこうしましょう。「私、バイリンガルですよ」と。
そして、"Well, I can talk in English."
Then if I keep talking like this in English only, how would they react?

どうですか?英語での切り返しに、彼らは食いつくでしょうか?
"誘惑"な英語教育は、日本語を使って語ってる間しか、生きていない気がします。日本の産業なので。

2009年7月13日月曜日

東京国際ブックフェアで考える①:脳科学と英語

東京国際ブックフェアに行ってきました。
サイトはこちら↓↓↓(ごめんなさい、もう終わってます。来年行ってね)
第16回 東京国際ブックフェア: http://www.bookfair.jp/

和書が定価の2割、洋書も半額程度となかなかにいい買い物させてもらいました。
初めていったのですが、本好きにはたまらない企画ですあぁ~。
で、家族連れが多数いらっしゃいました。
多くの本に触れ合うなんて、教育にもいいのかもしれませんね。

と、同時になんだかなぁー、と思うことも。

「英語」「脳」「幼児」「バイリンガル」をセットにした販売が多すぎる!

あくまで創作の宣伝文句(つまり、今作った)なのですが、

   「三歳まで、子どもたちの脳は臨界期といわれる状態にありまして、その間のインプットが
    英語バイリンガル育成のためには重要なんです。弊社の商品『英語耳・デキールZ』は
    ネイティブの良質な音声データを効率の良い順序で並べてありますので、子どもたちの
    英語脳発達に非常に効果的な商品なんです。脳科学者ジョン=スミス教授(仮名)が
    開発した
画期的新教材なんです」

こういうのどっかで聞いたことあるような・・・。

その分野の研究に身をおいているから分かるのですが(だって最新の研究状況手に入るから)、
とりあえずはまだ脳科学と英語学習を結びつけるのは時期尚早です。
脳に刺激を与えるわけだから、何かしらの効果があることは確かなのですが、それが英語学習の
役に立つのかはまだ分かりません。もしマイナスの効果だったどうしましょう(汗
ですので、宣伝文句はこう受け取ったほうがいいです↓↓↓

  「ひょっとするとなにか効果あるかも。効果無くてもごめんね(汗」

参考までに補足すると、「臨界期」らしきものがあるのは分かっています。
でも、「臨界期」事態にどんな働きがあるのか、「臨界期」の前と後ではなにが違うのか、
「臨界期」は何歳から何歳まで続くのか、、、(その他もろもろ)まだ定説がありません。
議論白熱中といった状態でかれこれ三十年くらい続いています。

・・・あと、売ってた商品高い!!高すぎる!!

2009年7月12日日曜日

要約:Cameron & et al. (1993). Ethics, Advocacy and Empowerment: Issues of Method in Researching Language  

非常に興味深い論文だったので要約します。
日進月歩の学術界にあって、15年以上前の論文でそろそろ古典とも言えるものではありますが、
よいものはいつ読んでも示唆に富むのですね。

<予習>
本稿でのエシックス、アドボカシー、エンパワーメントに基づく研究のスローガンとしてそれぞれ
"Research ON informants", "Research FOR informants", "Research WITH informants"が与えられています。エンパワーメント・モデルを推奨している論文です。エンパワーメントに関しては

パウロ・フレイレ著 小沢有作訳 『被抑圧者の教育学』 亜紀書房
イヴァン・イリイチ著 小澤周三訳 『脱学校の社会』 東京創元社

に詳しいので、合わせて読むと論文の内容がすんなりと頭に入ります。

1. Introduction
  ・言語使用とは、中立的なものではなくそれ自体が社会構成の一部となっている
  ・多かれ少なかれ全ての社会調査には言語調査を含まれていることを
   調査者は理解しなくてはならない
2. Positing researcher and researched: ethics, advocacy and empowerment
  ・調査者と被調査者を結びつける3つの要素:エシックス、アドボカシー、エンパワーメント
 →エシックスの関連要因:ガイドライン順守、情報提供者の不利益の回避、
                   倫理違反と無害なごまかし(an innocuous deception)のバランス
    →アドボカシーの関連要因:客観的事実の追求とアドボカシーの両立、”the interactive  
                   methods”による情報提供者が主体となる研究の構築
    →エンパワーメントの関連要因:フーコー流の権力理解による抑圧構造の理解、”feedback
                   technique”によって情報提供者に研究成果を伝える
3. Conclusion
  ・調査者は研究環境下での権力の複雑性を留意して情報提供者と絶えず交流
   ( a constant negotiation)を行い、権力の動的な面を理解しなくてはならない
  ・調査者・情報提供者の知識構築・相互理解のためにエンパワーメント・モデル
   によって研究を行うことは重要

趣旨の要約
今までは「被調査者」について研究を行ってきたわけだが、そこから卒業して「被調査者」とともに研究を行うべきだ。

2009年7月11日土曜日

文系とか理系とか

ほんとはこの二分法ってどうでもいいんですけどね。
でもまぁ、これから受験控えてる高校生や就職活動で動いている大学生には重要な区分ですね。
前者の方々は受験科目が決まるし、後者の方々には面接で「文系っぽいこと」、「理系っぽいこと」を話さないといけないし。
理系なら面接で「いやー、ブルバギ原論なんて所詮ユークリッド空間Rnの焼き直しっすよ」
とか言わないといけないし。
・・・・・・そんなわけないか。

教育者(のはしくれ)としては、高校生たちが早い時期から文系・理系に分かれてしまって、
一度決断しようものなら、二度と違う分野の勉強をしないのには危惧を感じます。
せめて、二年の秋までは文系・理系のどちらも勉強して欲しいなあと思うのですが。
理系的思考(って言葉も本来は無意味ですが)の出来ない文系、
文系的思考(同じくこの言葉も無意味です)の出来ない理系、
どちらも役立たずと切られてしまっても仕方ないし。

話はそれますが、巷でよく言われている理系的・文系的思考ってまとめると
理系的=客観的事実を基に議論を進める
文系的=主観的事実を基に議論を進める
ってところでしょうか。これは社会人であれば二つとも身につけてて当然の素質ですね。
もっと話はそれますが、高校生の時の勉強は、特に数学の場合「暗記した公式をあてはめるだけの単なる機械的作業だ!!」
なんて批判もありますが、日本の数学のカリキュラムってよくできてますよ!
大学で数学を勉強する上で、どうしても前提として必要なものを厳選して公式学習としてカリキュラム組んでます。3年間、暗記と当てはめに鍛えられた素養で、すぐに大学レベルの数学が出来るようになってます。

と、まぁ数学科のヨイショをしたところで、本題に(前置き長っ!!)。

先日、なにか文系が読める理系的思考のための本でおすすめはないか?
と尋ねられたので、紹介も兼ねて載せておきます。
1)容易に安価で手に入る本、2)簡単に読める本がいいと言われたのでそれに合いそうなものを。

1)デカルト著、谷川多佳子訳 『方法序説』 岩波文庫
これは名著の中の名著です。もはや詳しく言うまでもないでしょうね。
哲学書ってなんか難しそう・・・って思ったら大間違い。とても平易で読みやすいです。
内容は、省察(デカルトの場合、何かについて「客観的」に考えること)をどのように行うか?そのためにはどんな方法を使えばいいか?という問題提起とそれに対するデカルト流の回答です。
要約代わりにネタをばらすと、
「ほんの少しでも疑いをかけうるものは全部、絶対的に誤りとして廃棄すべきであり、その後で、わたしの信念のなかにまったく疑いえない何かが残るかどうかをみきわめねばならない」(p.45)
「わたしたちがきわめて明晰かつ判明に捉えることはすべて真である、これを一般的な規則としてよい、ただし、わたしたちが判明に捉えるものが何かを見きわめるのには、いくらかの困難がある」(p.48)
安いし、分量も厚くはないのでまだ未読の場合には第一にお勧めします。

2)中谷宇吉郎 『雪』 岩波文庫
雪のメカニズム解明に一生を費やした中谷先生のエッセイです。
科学研究で必要不可欠な試行錯誤の過程、仮説設計の手法、結論の導き方が人工雪生成実験の描写を通じて明らかにされています。

3)松井孝典、南伸坊著 『「科学的」って何だ!』 ちくまプリマー新書
松井先生に南さんが「科学的と非科学的の違いって何?」と質問して、それに答える構成のいわゆる対談本です。一般向けに書こうとしてちょっとチャカしすぎ(例えば無限の概念や反証主義とか)なのが玉にキズですが、とても面白いです。
サクッと「科学的に考えるってどういうこと?」を知りたい方はぜひ。