条件制御能力を測定するコンピュータ適応型テストの開発

2023年 10 月 7 日
日本教科教育学会全国大会
弘前大学

Transcript

1. 条件制御能力を測定する コンピュータ適応型テストの開発 中村 大輝（宮崎大学） 2023年10月7日 日本教科教育学会全国大会 @弘前大学 全18枚+補 D1-2 本研究はJSPS科研費23K12848の 助成を受けたものです
2. 研究の背景 2 ⚫ 条件制御とは何か • 科学的実験では、独立変数の条件を１つだけ変えて、従属変数に与える影響を評価する • その際、残りの独立変数（統制変数）については実験間で一定にそろえる必要がある ⇒ 条件制御（Control of Variable） • 条件が適切に制御された実験から導かれる交絡のない証拠に基づいて考察を行うことは、 因果関係を議論する上で重要 独立変数 従属変数 統制変数
3. 条件制御能力の発達 3 ⚫ 条件制御能力の発達 • 条件制御能力の育成は理科教育における重要な目標の１つ • かつては、子供は形式的操作期に達するまで条件制御を行うことが困難だと考えられてい た（e.g., Inhelder & Piaget, 1958） • 近年の研究では、課題が学習者の信念や事前知識と一致する場合は、幼児や小学生でさえ 条件制御が可能なことが示されている（e.g., Chen & Klahr, 1999; Schwichow et al., 2022; van der Graaf et al., 2015） • 日本を含む多くの国の理科カリキュラムにおいて条件制御能力の育成が小学校段階に組み 込まれている（e.g., 文部科学省, 2018; NGSS Lead States., 2013） • 中学生から高校生にかけても線形に発達していく（Vo & Csapó, 2021; Csapó & Greiff, 2023） • 一方、課題が信念や事前知識と一致しない場合には、成人であっても条件制御は難しいこ とも明らかになっている（e.g., Tschirgi, 1980; Croker & Buchanan, 2011）
4. 条件制御の指導に関する研究知見 4 • 条件制御能力の育成に関する研究は多くの蓄積があり、それらの知見を統合することも試 みられている • Schwichow et al.（2016a）は，72の研究をメタ分析の手法を用いて量的に統合し，その 平均的な効果が g = 0.61であることを明らかにしている • しかしながら、研究によって条件制御能力の測定法が異なるため、研究間で比較・統合が 難しいことも指摘されている
5. 条件制御能力の4領域 5 ⚫ 条件制御能力には4つの下位領域が存在する（Chen & Klahr, 1999; Schwichow et al., 2016b） 領域 測定課題 コントロールされた実験 の計画（Plan） 実験を計画する コントロールされた実験 の識別（Identify） どれがコントロールされた実験かを識別する コントロールされた実験 の解釈（Interpret） 実験から何が主張できるかを解釈する 交絡実験の不確定性 の理解（Understand） 交絡実験の何が問題かを説明する ➢ これらを網羅的に測定することが重要 【解釈の問題例】 実験結果に影響を与える可能性のある変数が2つ（XとY） ある。変数Xだけを変え、変数Yはそのままにした場合、実 験から何を主張することができるか。 ⇒ 変数Xが実験結果に与える影響
6. 先行研究の課題と本研究の目的 6 ◼ 先行研究の課題 • 条件制御能力の4領域を網羅し、妥当性・信頼性の確かめられた測定器がこ れまで開発されてこなかった • 従来の測定器は問題数が多く、より少ない問題数で精度の高い測定を実現 することが課題 ◼ 本研究の目的 • 条件制御能力を網羅的に測定する効率的な測定方法を開発すること ◼ 課題解決の手立て • 4領域を網羅したコンピュータ適応型テストの開発
7. コンピュータ適応型テスト 7 ⚫ コンピュータ適応型テスト（Computer-Adaptive Testing, CAT） • 問題の正誤に応じて次の問題の難易度が動的に調整される • 従来よりも少ない問題数で効率的に測定を行うことが可能になる • 項目反応理論に基づき、各問題項目の特性をあらかじめ把握しておくことで、受験者の能 力に応じた項目を自動選択することが可能になる • PISA調査では、CATの導入により、 全体的な測定精度が4～5％改善（Yamamoto et al., 2019） Q1 Q2_難 Q2_易 Q3_難 Q3_易 Q3_中
8. 調査問題の作成 8 • 米国のAAAS Project 2061において作成された条件制御に関する多肢選択式問題を作成者 の許可を得て日本語に翻訳して使用 （George DeBoer 氏に感謝） • 問題の合計は22問（新規作成問題1問を含む）であり、3領域を網羅している No. Item ID 領域 ドメイン Grades 6–8 正答率（米国調査） Grades 9–12 正答率（米国調査） 1 CR001003 識別 物理 43% 56% 2 CR002003 識別 生物 63% 78% 3 CR004003 識別 生物 66% 83% 4 CR005004 理解 物理 53% 66% 5 CR006003 識別 化学 67% 79% 6 CR010003 解釈 物理 25% 46% 7 CR012003 理解 物理 45% 62% 8 CR013003 理解 物理 49% 65% 9 CR014003 理解 生物 51% 69% 10 CR015005 理解 化学 53% 66% 11 CR015006 理解 化学 41% 54% 12 CR016003 理解 化学 44% 54% 13 CR017002 解釈 生物 37% 58% 14 CR018002 解釈 化学 56% 68% 15 CR019002 解釈 物理 50% 64% 16 CR020003 解釈 生物 22% 34% 17 CR021003 解釈 生物 18% 39% 18 CR022002 解釈 物理 21% 38% 19 CR023005 解釈 一般 42% 60% 20 CR024005 識別 一般 44% 59% 21 CR030001 解釈 一般 57% 79% 22 OR01 識別 化学 - -
9. 問題の例：No.2 CR002003（識別） 9 ある生徒は、植物が日なたと日陰のどちらでよく育つかを調べたいと考えています。 この生徒は同じ種類の植物を2つ持っています。 1つ目の植物は砂の中に植え、日光の当たる場所に置きます。 砂の中にはミネラルと水を入れます。 光の影響を調べるために、 2つ目の植物に使用すべき条件は 次のうちどれでしょうか？
10. 問題の例：No.15 CR019002（解釈） 10 生徒グループが粘土を使ってさまざまな形の舟を作っています。作った舟はすべて同じ重さで す。水槽の水に大さじ4杯の塩を入れ、水を混ぜます。水槽の中に舟を入れ、舟が浮くか沈む かを見ます。 この実験から何がわかるでしょうか？ A) 船の浮き沈みに形が影響するかどうか。 B) 船の浮き沈みに重さが影響するかどうか。 C) 船の浮き沈みに重さや水中の塩分量が影響するかどうか。 D) 船の浮き沈みに船の形、重さ、水中の塩分量が影響するかどうか。
11. 問題の例：No.9 CR014003（理解） 11 ある農家は、土の種類と水の量がニンジンの生育に影響すると考え、それが正しいかどうかを 調べようとしています。 まず、土の種類がニンジンの生育に影響を与えるかどうかを調べます。3種類の土を使い、そ れぞれの土にニンジンの苗を10本ずつ植えました。そして、すべての植物に同じ量の水を使 用しました。 なぜ、すべての植物に同じ量の水を使うことが重要なのでしょうか？ A) 同じ量の水を使うことで、水の量による影響と土の種類による影響の両方を 知ることができるから。 B) 同じ量の水を使うことで、水の量の影響について知ることができるから。 C) 同じ量の水を使わなければ、土の種類の影響について知ることができないから。 D) 水の量の影響を調べるわけではないので、同じ量の水を使うことは重要ではない。
12. 調査の概要・分析手続き 12 ⚫ 調査の概要 • 中学生416名（中1：136名，中2：140名，中3：140名）を対象としたオンラインモニ ター調査を実施 • 2023年8月に実施 ⚫ 分析手続き • 項目反応モデルの1つである2パラメータ・ロジスティックモデルに基づき、 周辺最尤推定法によって項目パラメタを推定 𝑃𝑗 𝜃 = 1 1 + exp(−𝐷𝑎𝑗 𝜃 − 𝑏𝑗 ) , −∞ < 𝜃 < ∞ • 得られた項目パラメタに基づき、コンピュータ適応型テスト（CAT）を構築
13. 基礎集計 13 ⚫ 正答率と点双列相関 Q 領域 正答率 𝑟𝑝𝑏 Q 領域 正答率 𝑟𝑝𝑏 1 ID 63.9% .448 12 UN 62.7% .596 2 ID 75.7% .570 13 IN 63.2% .586 3 ID 82.0% .539 14 IN 68.0% .637 4 UN 67.1% .636 15 IN 62.7% .668 5 ID 79.6% .545 16 IN 63.2% .486 6 IN 45.2% .587 17 IN 40.1% .559 7 UN 61.8% .664 18 IN 43.8% .528 8 UN 62.7% .642 19 IN 50.2% .641 9 UN 66.1% .693 20 ID 51.9% .639 10 UN 59.1% .726 21 IN 62.7% .593 11 UN 62.3% .700 22 ID 65.9% .550 ⚫ 信頼性 Cronbach’s α = .916 ⚫ 局所独立性 Min, Median, Mean, Max -0.297, -0.061, -0.042, 0.409 ⚫ 一次元性
14. トレースライン（抜粋） 14
15. 項目パラメタ 15 ⚫ 項目パラメタの推定結果は以下の通り Q 領域 識別力 困難度 Q 領域 識別力 困難度 1 ID 0.99 -0.72 12 UN 1.82 -0.52 2 ID 2.35 -0.94 13 IN 1.65 -0.55 3 ID 3.10 -1.09 14 IN 2.37 -0.68 4 UN 2.39 -0.64 15 IN 2.28 -0.51 5 ID 2.42 -1.07 16 IN 1.09 0.57 6 IN 1.48 0.14 17 IN 1.39 0.37 7 UN 2.26 -0.47 18 IN 1.28 0.23 8 UN 2.15 -0.51 19 IN 1.76 -0.07 9 UN 3.00 -0.60 20 ID 1.81 -0.13 10 UN 2.89 -0.39 21 IN 1.72 -0.53 11 UN 2.71 -0.49 22 ID 1.50 -0.67 ⚫ 項目特性曲線
16. テスト情報量関数（TIF） 16 ⚫ 平均よりもやや低い能力の集団に最適なテスト構成
17. 学年間の比較 17 ⚫ 学年進行とともに得点が高くなる傾向
18. コンピューター適応型テスト 18 • 作成したオンラインテスト：https://daiki-nakamura.shinyapps.io/CV_test_JP/ • 回答に応じて示される問題の困難度が自動調整され，図2の灰色で示す能力推定の誤差が効 率的に小さくなっている
19. 補足資料 19
22. 引用文献 22 • Csapó, B., & Greiff, S. (2023). Development of the control of variables strategy in physics among secondary school students. Thinking Skills and Creativity, 49, 101371. • Chen, Z., & Klahr, D. (1999). All other things being equal: acquisition and transfer of the control of variables strategy. Child Development, 70(5), 1098–1120. • Croker, S., & Buchanan, H. (2011). Scientific reasoning in a real-world context: the effect of prior belief and outcome on children’s hypothesis-testing strategies. British Journal of Developmental Psychology, 29, 409–424. • Inhelder, B., & Piaget, J. (1958). The growth of logical thinking from childhood to adolescence. An essay on the construction of formal operational structures. London: Routledge and Kegan Paul. • Lorch, R. F., Lorch, E. P., Freer, B., Calderhead, W. J., Dunlap, E.,…Chen, H.-T. (2017). Very long-term retention of the control of variables strategy following a brief intervention. Contemporary Educational Psychology, 51, 391–403. • 文部科学省（2018）『小学校学習指導要領（平成29年告示）解説理科編』東洋館出版社. • NGSS Lead States. (2013). Next generation science standards: For states, by states. Washington, DC: The National Academy Press. • Schwichow, M., Croker, S., Zimmerman, C., Höffler, T., & Härtig, H. (2016a). Teaching the control-of-variables strategy: A meta- analysis. Developmental Review, 39, 37-63. • Schwichow, M., Christoph, S., Boone, W. J., & Härtig, H. (2016b). The impact of sub-skills and item content on students’ skills with regard to the control-of-variables strategy. International Journal of Science Education, 38(2), 216-237. • Tschirgi, J. E. (1980). Sensible reasoning: a hypothesis about hypotheses. Child Development, 51(11), 1–10. • van der Graaf, J., Segers, E., & Verhoeven, L. (2015). Scientific reasoning abilities in kindergarten: Dynamic assessment of the control of variables strategy. Instructional Science, 43(3), 381–400. • Van Vo, D., & Csapó, B. (2021). Development of scientific reasoning test measuring control of variables strategy in physics for high school students: evidence of validity and latent predictors of item difficulty. International Journal of Science Education, 43(13), 2185- 2205. • Wilkening, F., & Huber, S. (2004). Children’s intuitive physics. In U. Goswami (Ed.), The Blackwell handbook of childhood cognitive development. Blackwell Reference Online. • Yamamoto, K., H. Shin and L. Khorramdel (2019), "Introduction of multistage adaptive testing design in PISA 2018", OECD Education Working Papers, No. 209, OECD Publishing, Paris, https://doi.org/10.1787/b9435d4b-en