「OECDの学力テストの結果から見て学力低下」ってなに？

今日の日経の夕刊に「日本、学力大幅に低下」ってでてましたけど本当なのでしょうか。
試しにOECDのサイト
http://www.oecd.org/document/5/0,2340,en_32252351_32236173_33917573_1_1_1_1,00.html
の
Download the text
http://www.oecd.org/dataoecd/58/41/33917867.pdf
のpdfで60ページ、ページ番号９０ページ
と
Download the data tables in Excel
http://www.oecd.org/dataoecd/0/48/33995376.xls
のTable2.5c
を見たのですが

ここで載ってる数学応用力平均とか
１位の香港と日本が１５点差ぐらいなのですがこのテスト実は標準偏差が各国とも100点ぐらいあるテストなのです(新聞では１行も触れてません)
。　
えーとつまり各人平均的に１００点ぐらい真中の値(平均値)からはずれてるってことですね
標準偏差１００点で２つの集団で２０点違うっていうのをグラフにすると...
こんな感じ(図はあくまでイメージ図です)

黒の分布が香港で水色が日本



この図は、クリエイティブ・コモンズ・ライセンスの下でライセンスされています。


ってこれまず最初に出る疑問として相当大きなサンプル数でないと統計的に有意じゃ無い気がするのですが....。

というわけでチェックしてみたのですが平均値の標本誤差が日本4.0 香港4.5 になっているのでこんな感じになります。斜線部がそれぞれ98%の確率で平均値が取りうる値になります。(あくまでイメージ図です)




この図は、クリエイティブ・コモンズ・ライセンスの下でライセンスされています。


うーん残念ながらサンプル数が非常に大きいので統計的に有意である可能性が高く、香港と日本の順位が入れ替わる確率は低そうです(というわけで一つ目の疑問は解けました)。
標本誤差がでているけどサンプル数がでていないので僕の知識ではここまでなのですが...。
(きちんと統計学の勉強している人なら標本誤差から正確な答えがだせると思います。)

しかし、次にこのデータをみるかぎり各国とも得点の幅の平均(標準偏差)が１００点前後もあるのに平均点の比較をすることになんか意味があるのかという疑問がでてきます。

そこで最初のPDF
http://www.oecd.org/dataoecd/58/41/33917867.pdf
のPDF 60ページ(ページ番号は90ページ)(必見！！)
を見るとますます平均値で各国間の比較をする意味が無いのではないかという疑問が強まってくるかと思います。

そこで資料をパラパラと見たところ、どうもこのテストは各国の学力比較でなく経済力と学力差が比例するとか、国によって女性の教育機会が著しく奪われているとか社会で教育の機会が階層化していないかといったことを調査するテストだったようです(はい、もちろん日本はGDPが高くて学力も高い国の筆頭です)。

ちなみにネットでは各紙こんな感じでした。
ＯＥＣＤ：１５歳の読解力低下が浮き彫り　処方せん見えず（毎日）
http://www.mainichi-msn.co.jp/shakai/edu/news/20041207k0000e040032000c.html
日本の１５歳は学力急降下 世界調査　文科省「首位レベルでない」(中日)
http://www.chunichi.co.jp/00/sya/20041207/eve_____sya_____007.shtml
学習時間足りない　日本の学力低下(産経）
http://www.sankei.co.jp/news/evening/08nat002.htm
高１学力、世界トップから脱落　数学６位　読解力１４位　ＯＥＣＤ調査(産経）
http://www.sankei.co.jp/news/evening/08iti001.htm
日本は数学６位、読解力１４位に転落　ＯＥＣＤ学力調査（朝日）
http://www.asahi.com/national/update/1207/011.html
ＯＥＣＤ学力調査、日本は読解力が14位に低下（日経）
http://www.nikkei.co.jp/news/shakai/20041207AT1G0602O07122004.html

はい、疑問は解けました。数学力が足りなくて読解力が低下しているのはマスコミ自身であったようです。

このテストの全体の平均点と標準偏差から分かるのはどこの国も国内の学力差が大きくて大変なんだなーってことぐらいじゃないでしょうか。それよりpdfhttp://www.oecd.org/dataoecd/58/41/33917867.pdf
の66ページ、GDPと数学の成績の相関関係のほうがかなり面白いです。

おいアメリカ、おまえGDP表の中で２位なのに数学の成績悪すぎだぞ！！
とか
メキシコ！おまえの数学力の低さはもう経済力のなさだけじゃ説明できないだろ！！！
とか
韓国GDPの割にがんばりすぎ!
とか突っ込みどころ満載ですし。
あと優秀な数学者が出て来るイメージのある東欧各国が軒並低位だったりとかも非常に興味をそそられます。

こんな面白い統計がネットに転がってるんだから新聞もきちんとソースのアドレスまで載せて多面的な報道すればいいのにって思います。

えーと、最後にどなたか正確なサンプル数もしくは標準誤差から検定する方法を知っていましたらお教え下さい。それでは。