Upgrade to Pro — share decks privately, control downloads, hide ads and more …

学習指導法の効果を検証する研究デザインに関する方法論的研究 ―方法論的プラグマティズムを基盤に...

Unzai Hiroshi
October 08, 2023

学習指導法の効果を検証する研究デザインに関する方法論的研究 ―方法論的プラグマティズムを基盤にした多面的な検証方法の提案―

大会名:日本教科教育学会第49回全国大会(弘前大会)
開催日:2023年10月7〜8日
発表日:2023年10月7日
場所:弘前大学

Unzai Hiroshi

October 08, 2023
Tweet

More Decks by Unzai Hiroshi

Other Decks in Research

Transcript

  1. 研究の概要 2 研究の⽬的 学習指導法の効果を検証する研究デザインの提案 どんな研究デザイン︖ ⽅法論的プラグマティズムを認識論的基盤にした多⾯的な検証⽅法に基づく研究デザイン 学習指導法の 効果検証の観点 概要 アプローチ

    理論的裏付け その学習指導法は特定の教授・学習理論に よって裏付けられているか 関連する先⾏研究に基づく論証など 学習過程・学習活動 実際の学習過程・学習活動は意図通りか 発話・⾏動・記述分析など 平均効果 その学習指導法は学習者集団にどの程度効 果があるのか 統計的因果推論,ベイズ推定,交差遅延効果モ デルなど
  2. 研究の背景|教育研究における問題点(国外) 4 •(医学)教育研究の7つの⼤罪(Picho & Artino Jr, 2016) 1. 不⼗分な⽂献レビューの呪い 2.

    検出⼒不⾜ 3. 測定の重要性の無視 4. 誤った統計ツールの使⽤ 5. データの無慈悲な拷問とその他の疑わしい分析⼿法 6. P値の奴隷 7. 結果の報告や⽣データの管理における透明性の⽋如
  3. 研究の背景|教育研究における問題点(国内) 5 •国内の理科教育教育研究における研究⽅法の問題点(中村・原⽥・久坂・雲財・松浦,2021) ー『理科教育学研究』に掲載の過去 4 年間の論⽂における QRPs の実態を調査 ー8種類の問題のある研究実践が確認された ①妥当性の確認不⾜,②⺟集団の未定義,③出版バイアス,④誤った多重⽐較

    ⑤検定⼒不⾜,⑥HARKing,⑦過度の⼀般化,⑧記載情報の不⾜ ー再現性の危機に対応する⽅法として 4つの提案 1.理科教育学分野における過去の研究に対する積極的な追試の実施 2.問題のある研究実践を防⽌するための適切な研究⽅法の普及 3.事前登録制度の導⼊ 4.オープンサイエンスを推進と積極的なデータ公開
  4. 研究の背景|テストのガイドライン 6 •Standards for Educational & Psychological Testing(AERA et al,

    2014) ーテストと評価による基準とガイドラインを⽰した本 ーアメリカ教育研究協会(AERA),アメリカ⼼理学会(APA),アメリカ教育測定 協議会(NCME)の共同執筆 ー内容︓妥当性,信頼性,公平性,利⽤上の注意点など ー関連領域の専⾨家による合意形成・ガイドライン策定 ー多くの研究者が参照している(はず)
  5. 研究パラダイムに関するこれまでの議論 9 教育界,特に科学教育界では,他の研究パラダイムの研究を無視する傾向がある(Kincheloe & Tobin, 2009) 表⾯的で限定的 逸話的で ⽅法論的な 厳密さに⽋ける

    実証主義者 (量) 解釈主義者 (質) ポスト実証主義の 調査研究 解釈主義・構成主義の 調査研究 研究トピック ・効果の評価 ・介⼊教育プログラムの有効性 ・⼤規模な評価・調査 ⽂化、⾔語使⽤、教室や学校の⽇常的 な交流に焦点を当てた教師と⽣徒の⽣ きられた経験 研究デザイン 代表的サンプリング、定量的測定、 データを複数のプロセスから検証する 説明的なデザイン(例.実験や調査研 究) ⾃然主義的な環境における探索的デザ イン(例︓グラウンデッド・セオリー、 エスノグラフィー、現象学研究)、厚 い記述を含む進化した研究⽅法 参加者との関係 性における研究 者の役割 客観的で、バイアスのかかっていない データ収集者、研究参加者とは密接に かかわらないデータ解釈者 研究参加者の⽣きられた経験を洞察的 かつ情熱的に意味づける⼈、ストー リーテラー 質の基準 • 構造・概念の明確な定義 • 客観的かつ包括的なデータを得るた めの厳格な研究⼿法 • 測定の信頼性 知識主張の内的・外 的妥当性 • 現場での⻑時間の有意義な交流と、 データの再解析・再反省の繰り返し • 研究者のスキル、感性、誠実さに依 存 • メンバーチェック、オーディットト レイル、ピアレビュー、トライアン ギュレーション 報告のスタイル ・伝統的な科学研究のフォーマット ・三⼈称で書かれる ・厚い記述 ・伝統的な実証研究として可能 ・参加者の⽣活体験と研究者の解釈を 織り交ぜたストーリーテリング Treagust, D. F., & Won, M. (2023). Paradigms in science education research. In Handbook of research on science education (pp. 3-27). Routledge. 「量」と「質」はグローバルなアイデ ンティティ・マーカーとして機能して しまっている(Foster, 2023)
  6. ⽅法論的プラグマティズムとは︖ 10 ⽅法論的プラグマティズム RQ(リサーチクエスチョン)に最適な研究デザインや⼿法を選択するためのアプローチ 包括的原則(Foster, 2023) •RQ・状況依存性 ー本質的に良い⽅法,悪い⽅法は存在せず,それぞれの状況において,特定のRQに適した⽅法が存在する ー⽅法論的プラグマティズムを定義するには⼗分に定義されたリサーチクエスチョンを前提となる •研究⼿法

    ー質的⽅法,量的⽅法,混合法のいずれを⽤いるかは研究のニーズのみに基づき純粋にプラグマティックに決定される ー混合法の優位性を事前に約束するものではない •その他 ⽅法論的プラグマティズムはいかなる意味においても「中⽴的な」パラダイムとして描くことはできない
  7. 公共政策学における評価観点の援⽤ 12 様々な証拠を位置づける理論的枠組みとして公共政策学のプログラム評価の観点を援⽤ ー「学習指導法」と「公共政策」の類似性 ー条件の統制が難しい集団に対する介⼊ プログラムの 評価の種類 志向性 セオリー評価 プログラムセオリーに基づく因果関係の設定やデザインは適切か︖

    プロセス評価 プログラムプロセスはプログラムセオリーに基づき正しく実施されているのか︖ アウトカム評価 プログラムは対象集団に対してどのような影響を与えているのか︖ プログラム評価の主要要素(名島,2018) 理論的裏付け 学習過程・学習活動 平均効果
  8. 学習指導法の効果検証の観点 13 学習指導法の 効果検証の観点 概要 アプローチ 理論的裏付け その学習指導法は特定の教授・学習理論に よって裏付けられているか 関連する先⾏研究に基づく論証など

    学習過程・学習活動 実際の学習過程・学習活動は意図通りか 発話・⾏動・記述分析など 平均効果 その学習指導法は学習者集団にどの程度効 果があるのか 統計的因果推論,ベイズ推定, 交差遅延効果モデルなど
  9. 理論的裏付け 14 •学術的な知⾒に基づいている学習指導法であるか︖ 理科の⽂脈でいうと,動機づけの諸理論,概念変容の諸理論など 学習指導法の 効果検証の観点 概要 アプローチ 理論的裏付け その学習指導法は特定の教授・学習理論に

    よって裏付けられているか 関連する先⾏研究に基づく論証など 学習過程・学習活動 実際の学習過程・学習活動は意図通りか 発話・⾏動・記述分析など 平均効果 その学習指導法は学習者集団にどの程度効 果があるのか 統計的因果推論,ベイズ推定, 交差遅延効果モデルなど
  10. 学習過程・学習活動 15 学習指導法の 効果検証の観点 概要 アプローチ 理論的裏付け その学習指導法は特定の教授・学習理論に よって裏付けられているか 関連する先⾏研究に基づく論証など

    学習過程・学習活動 実際の学習過程・学習活動は意図通りか 発話・⾏動・記述分析など 平均効果 その学習指導法は学習者集団にどの程度効 果があるのか 統計的因果推論,ベイズ推定, 交差遅延効果モデルなど •学習者が意図通りの学習活動を実施できているか︖ 特定の教授・学習理論に基づいていたとしても,実際の学習過程や学習活動が 意図しないものであれば,再検討する必要がある
  11. 平均効果 16 学習指導法の 効果検証の観点 概要 アプローチ 理論的裏付け その学習指導法は特定の教授・学習理論に よって裏付けられているか 関連する先⾏研究に基づく論証など

    学習過程・学習活動 実際の学習過程・学習活動は意図通りか 発話・⾏動・記述分析など 平均効果 その学習指導法は学習者集団にどの程度効 果があるのか 統計的因果推論,ベイズ推定, 交差遅延効果モデルなど •学習者集団の平均的な変容はどの程度か︖ ー統計的仮説検定のロジックは背理法であるため,有意差がなかった場合には何も結論することができない ー統計的因果推論やベイズ統計に基づく分析が妥当である
  12. 学習指導法の効果を検証する研究デザイン(例) 18 学習指導法の 効果検証の観点 概要 アプローチ 理論的裏付け その学習指導法は特定の教授・学習理論に よって裏付けられているか 関連する先⾏研究に基づく論証など

    学習過程・学習活動 実際の学習過程・学習活動は意図通りか 発話・⾏動・記述分析など 平均効果 その学習指導法は学習者集団にどの程度効 果があるのか 統計的因果推論,ベイズ推定, 交差遅延効果モデルなど 実践前 実践中 実践後 ・厳密な⽂献レビュー ・RQ・構成概念の厳密な定義 ・妥当性・信頼性の⾼い評価⽅法の選択 ・統計的因果推論が可能な調査デザイン ・実践前後のデータの収集 ・実践中のデータの収集 ・発話・⾏動・記述分析 ・統計的因果推論 ・ベイズ推定 など
  13. まとめと今後の課題 19 本研究の概要 今後の課題 ー学習指導法の効果の統合の⽅法 ーメタ分析(ハッティ,2018)やメタエスノグラフィー(⿃⽥,2008)などを参考に検討する予定 学習指導法の 効果検証の観点 概要 アプローチ

    理論的裏付け その学習指導法は特定の教授・学習理論に よって裏付けられているか 関連する先⾏研究に基づく論証など 学習過程・学習活動 実際の学習過程・学習活動は意図通りか 発話・⾏動・記述分析など 平均効果 その学習指導法は学習者集団にどの程度効 果があるのか 統計的因果推論,ベイズ推定,交差遅延効果モ デルなど