#英語力ランキング批判：EF-EPI，TOEFLスコア，英語教育実施状況調査

2024年6月23日CELES2024＠富山大学
寺沢拓敬（関西学院大学） 奥住桂（埼玉大学） 浦野研（北海学園大学）

Transcript

1. 英語力ランキング批判 EF-EPI, TOEFLスコア，英語教育実施状況調査 寺沢拓敬（関西学院大学） 奥住桂（埼玉大学） 浦野研（北海学園大学） CELES2024＠富山大学 6月23日13:50-14:20 #英語力ランキング批判
2. 発表の位置づけ 論点提示型発表（非実証研究） 目的 間違ったランキング言説について... • 間違っている事実を確認（方法論的関心） • 周知することの重要性を議論（学会・学界としての集合的行動に関する運 動的関心） 発表のアウトライン • 方法論（データ分析）の面での問題点 • ケーススタディ：英語教育実施状況調査の現場での受容 • 英語教育学会・学界は，ランキングの濫用にどう応えるか マスメディアや行政，教員，さらに は研究者が，統計の間違った使い 方をして，学生や市民が真似をす る…
3. 1.2. 問題事例を確認 (1): 国際英語力ランキング EF社・英語能力指数 (通称 EF-EPI) - 世界中で受けられる英語オンラインテストの成績を 利用（流用） - 2011年頃からランキングを作成 - 例年11月に，その年のランキングが発表される。一 部のメディアが既成事実のように報道 TOEFLランキング - ETSによる年次報告書 (Data Summary) の国別ス コアを流用して，マスメディアや研究者・院生が独 自にランキング作成 - ただしETSはランキングとしての利用を認めていな い（逸脱的利用）
4. 問題事例を確認 (2): 都道府県ランキング 文部科学省「英語教育実施状況調査」 • 毎年5月頃，メディア各社が「都道府県別の英語 力」を報道 • 「英語力」の中身→「生徒の英語力の状況」とい う項目における「CEFR A1レベル相当以上の英 語力 を取得または有すると思われる生徒数」 （外部試験スコア取得者 + 調査者判断の合計） • 既成事実のように数字が独り歩き
5. 2.1． データの扱い方をめぐる問題点 問題１：データの代表性が乏しい • 非調査データを，まるで社会調査データのように扱うことはタブーとされている • 社会調査の命は，回答者がどれだけ母集団の縮図になっているか（代表性） じゃあどうすればいいの？ • 代案その1（消極的）：そもそも使わない。 ◦ 1点きざみで国際比較しなければいけない状況はほぼない。 ◦ 学術的比較のような精緻な比較を行うなら，ランダムサンプリングデータを使う（cf. Terasawa 2023） • 代案その2（積極的）：国際学力調査を実施する，あるいは既存の調査に参加する ▪ PISA2025外国語モジュールに日本は不参加・・・。
6. データの扱い方をめぐる問題点（つづき） 問題２：測定の妥当性が乏しい • 実際の測定は測りたいものからずれてはダメなのに，無関係の要因（例，「忖度度合い」）が測定値に 混入している ◦ 代案：抽出調査に変える ▪ 調査コスト・測定コストを特定の調査地（調査対象校）のみに集中的に投入する。 ▪ 忖度が生じないように自治体別の平均値は公表せず，するにしても学校カテゴリ別や地 域属性別の平均値 問題点３：「社会調査」に対する無理解 • それっぽい「統計」「調査」を使えば実態がわかるというナイーブな楽観的態度（学力調査全般） ◦ 代案：抽出調査に変える（詳細は，川口 2020）
7. 2.2. ランキング蔓延による負の効果 • 「データがあるならできるだけ参考にしたらよい」ではない。「参考にする方が害がある」ことのほうが多い • 「ツールとしての調査」論は近視眼的 ◦ 「調査を叱咤激励のツールにして，現場をコントロールしたい」とか「日本の英語教育の遅れを周知 すべし」といった理屈は，短期的な都合しか見ていない。むしろ，統計の誤用・流用によって何が犠 牲にされているかを考えるべし。 • 悪影響1：誤った「エビデンス」に基づく不適切な教育改革が進む • 悪影響2：本来必要なはずの調査に対し，リソースが割かれない • 悪影響3：学問（とくに英語教育学）に対する信頼を毀損する ◦ 調査に対する信頼性を毀損するいい加減な「エビデンス」ばかり出していると，学問分野自体に信頼 が置かれなくなる ◦ 人は，通常，当該学問を信頼しているからこそ，その分野が生み出す個々のエビデンスも信頼す る。分野に対する不信感（例，「どうせ業者の利権でしょ」「行政の政策にお墨付きを与えてるだけで しょ」）が蓄積すれば，学問的／科学的／政策的コミュニケーションは機能不全に陥る。
8. 3.1. 英語教育実施状況調査の現場での受容 （そもそも１）結果についてはあまり話題にならない - それほど関心がない - 学校や市町村レベルで公表されないから（全国学調のほうが高プレッシャー） （そもそも２）一番忙しい時期に調査がくるのでやっつけ仕事 - 回答基準日12/1 - 進路事務で一番忙しい時期
9. 3.2. 現場はどう回答しているのか 「CEFR A1レベル相当以上の英語力を有すると思われる生徒数」 - 実際に３級以上を取得した生徒数の確認（アンケート） - その中で一番学校の成績が低い生徒」より上位の生徒は全員OK？ - ２学期通知表評定で４もしくは５の生徒？ - GTECや英検IBAを公費で実施している自治体はその数？ 令和４年度公立中学校における英語教育実施状況調査（中学校・集計結果） https://www.mext.go.jp/content/20230516-mxt_kyoiku01-00029835_3.pdf
10. 3.2. 現場はどう回答しているのか 「中学校に所属する英語担当教師のうち、英語能力に関する外部試験を受験して CEFR B2レベル以上を取得している教師数」 - 同僚に毎年聞くの気まずい - 基本的に自己申告 「3-(1) 授業における、生徒の英語による言語活動の割合」 - なんとなく（英語科主任の主観） 令和４年度公立中学校における英語教育実施状況調査（中学校・集計結果） https://www.mext.go.jp/content/20230516-mxt_kyoiku01-00029835_3.pdf
11. 3.3. 「成果の上がっている」自治体 さいたま市 （88.4%：全国平均50.0%） - 「グローバル・スタディ（ GS）科」 - 学校教育法施行規則で定める 標準の授業時数よりも多く授業時数を設定 （小学校は標準210時 間に対し、本市は419時間。中学校は標準 420時間に対し本市は471時間。 - ソース：https://prtimes.jp/main/html/rd/p/000000013.000140218.html - 外部試験利用 - 全員が毎年英検 IBAを、中2がGTECを受験 - 通常一人あたり５００円の試験料がかかるが、「さいたま市教育委員会との取り決めにより」英語検 定協会が費用を負担 - ソース：https://saitamashikyouso.org/special/vol01
12. 3.3. 「成果の上がっている」自治体 さいたま市 （88.4%：全国平均50.0%） - 全国学調ではそれほどの差はない 令和５年度全国学力・学習状況調査 「教科に関する調査」の平均正答率一覧（さいたま市） https://www.city.saitama.lg.jp/006/014/008/003/012/004/p098639_d/fil/1.pdf
13. 3.3. 「成果の上がっている」自治体 福井県（83.8%：全国平均50.0%） 要因① コミュニケーションを重視した授業改善英語の授業を英語で行い、生徒が意見や考えを英語で表現するなど長年の授 業改善が背景にある。 要因② 外部検定試験ＧＴＥＣの活用 - 「聞く」「読む」「話す」「書く」の４つの技能を統合的に育成するために、令 和２年度から中学３年生はＧＴＥＣを受験してい る。その結果を分析し、教員を 対象とした研修や、授業づくりに関する動画を配信し、教員の指導改善と生徒の学習改 善につなげている。なお、外部検定試験の受験料については、平成 28年度 より、中学３年生を対象に全額補助 してい る。 （ 平成28年～令和元年 英語検定 / 令和２年度～ ＧＴＥＣ ） 要因③ 外国語指導助手（ＡＬＴ）の雇用 全中学校にＡＬＴを配置し、１・２年生で週 1.5 時間、３年生では、週１時 間のティーム ティーチングによる授業を実施している。また、授業の内外を 問わず、ＡＬＴの積極的な活用を実施している。 要因④ 小学校における外国語教育先行実施 平成 30 年度から段階的に小学校での外国語教育を実施し、 31 年度までの２年 間を準備期間としたことで、学習指導要領に沿った小学校外国語教育へのスム ーズな移行を行った。 英語教育実施状況調査の結果について（福井県教育委員会） https://www.pref.fukui.lg.jp/doc/kyousei/kyouikuiinnkai05_d/fil/1159-05.pdf （太字は発表者）
14. 4.1. ランキング系データは論文でどのように扱われるか • J-Stage で “EF Proficiency Ranking” と検索してヒットした論文 • どういう目的で引用されるか ◦ 特定の国の英語力が高い（例：北欧諸国）、または低い（例：日本等のアジア 諸国）ことを示すために使われる ◦ 研究対象となった特定の国同士の英語力を比較するため • どこで使われるか ◦ 大半は論文の導入部分
15. 4.2. ランキング系データはなぜ乱用されるのか • 研究の本論で扱われることはまずない • 言いたいことが最初にあって、それを支持するための「エビデンス」として使われる • 言いたいことと一致してさえいればよいので、エビデンスとしての質は考慮されない • 関連する先行研究でも使われているので、それに従って同じように使われる • 同様の研究が増えることで、このようなデータの質が担保されていると錯覚される
16. 4.3. ではどうすればよいのか • こういったランキングは使わなくても言いたいことは言える ◦ 「日本の英語力が低い」とわざわざ枕詞のように言わなくても日本の英語教育 について語ることはできる ◦ 英語力の国際比較自体が研究の目的でないのなら、このようなランキングで の比較は不要。逆に国際比較が目的ならこのようなランキングは問題がある ため使ってはいけない • 日本の英語力（が低いこと）について述べる必要がある場合、他のちゃんとした調 査に言及すればよい
17. 5. 提言 • 研究を行う立場で ◦ 正当な理由がない限りランキングデータを使わない • 研究教育を行う立場で ◦ 卒論／修論指導などで周知 • 業界（学界）として ◦ 不適切ランキングがどれだけ使われているか実態調査 ◦ 学会として声明を出す ◦ オープンレター ◦ ランキングの不適切な使用をメディア等で見つけたら逐一指摘する • 教員・教育行政 ◦ 結果に一喜一憂しない ◦ 「成果の上がっている自治体」の取り組みを安易に真似しない ◦ 「成果の上がっている自治体」という言説自体を疑う
18. 草の根的な啓蒙活動（オンライン）
19. 引用文献 ◦ 川口俊明 2020『全国学力テストはなぜ失敗したのか：学力調査を科学する』岩波書店 ◦ Terasawa, T. 2023 East Asia and English language speakers: a population estimation through existing random sampling surveys. Asian Englishes, 26(1), 84 - 105. https://www.tandfonline.com/doi/full/10.1080/13488678.2023.2191410