Web からのデータ収集と探究事例の紹介 / no94_jsai_seminar

第 5 回 情報 Ⅱ 全国指導力向上研修会
https://www.ai-gakkai.or.jp/event/ai-seminar/no94_jsai_seminar/

Transcript

1. 石原祥太郎 人工知能学会企画委員 / 日本経済新聞社 第 5 回 情報 Ⅱ 全国指導力向上研修会 2025 年 1 月 30 日 Web からのデータ収集 と探究事例の紹介
2. • 大学新聞での記者経験を経て、日本経済新聞社へ • 日経の研究開発部門で日々、情報と情報技術を活用 した問題発見・解決の探究に従事 • 社内外での講演や技術書の出版など、培った知見を 積極的に共有している 自己紹介：石原祥太郎 https://upura.github.io/ 2
3. • S1: 情報社会と情報技術 • S2: コミュニケーションのための情報技術の活用 • S3: データを活用するための情報技術の活用 • S4: コンピュータや情報システムの基本的な仕組み と活用 教員用教材から引用 情報 Ⅱ 第 1-4 章 (S) での学習内容 3
4. > 地域や学校の実態及び生徒の状況に応じて情報と情 報技術を活用した問題発見・解決の探究を通して，情 報の科学的な見方・考え方を働かせて，情報と情報技 術を適切かつ効果的に活用するための知識及び技能の 深化・総合化，思考力，判断力，表現力等の向上を図 る。数学科など他教科とも積極的に連携を図る。 教員用教材から引用 情報 Ⅱ 第 5 章「情報と情報技術を活用し た問題発見・解決の探究」 4
5. • S1: 情報社会と情報技術 • S2: コミュニケーションのための情報技術の活用 • S3: データを活用するための情報技術の活用 • S4: コンピュータや情報システムの基本的な仕組み と活用 教員用教材から引用 第 5 章は、S1-4 の学習内容を踏まえた 実践 (探究活動) 5
6. • 新聞社での事例紹介 ◦ 具体例 1：ChatGPT の登場で、新聞記者・編集 者の仕事はどう変わるか？ ◦ 具体例 2：画像を用いた記事推薦 ◦ 具体例 3：政治資金収支報告書からの情報抽出 • Web からのデータ収集の具体的な方法 本発表の概要 6
7. 7 話題 | 学習内容 S1: 情報社会 と情報技術 S2: コミュニ ケーションの ための情報技 術の活用 S3: データを 活用するため の情報技術の 活用 S4: コンピュー タや情報システ ムの基本的な仕 組みと活用 具体例 1：ChatGPT の登 場で、新聞記者・編集者 の仕事はどう変わるか？ ✅ 可能性と 課題は？ ✅ 独自の生成 AI の構築 具体例 2：画像を用いた 記事推薦 ✅ 拡張現実 との向き合い ✅ 生成 AI を用 いたシステム 具体例 3：政治資金収支 報告書からの情報抽出 ✅ 新たな ジャーナリズ ムの模索 ✅ Web から のデータ収集 や加工 Web からのデータ収集の 具体的な方法 ✅ Web から のデータ収集 や加工
8. • 新聞社での事例紹介 ◦ 具体例 1：ChatGPT の登場で、新聞記者・編集 者の仕事はどう変わるか？ ◦ 具体例 2：画像を用いた記事推薦 ◦ 具体例 3：政治資金収支報告書からの情報抽出 • Web からのデータ収集の具体的な方法 本発表の概要 8
9. 9 話題 | 学習内容 S1: 情報社会 と情報技術 S2: コミュニ ケーションの ための情報技 術の活用 S3: データを 活用するため の情報技術の 活用 S4: コンピュー タや情報システ ムの基本的な仕 組みと活用 具体例 1：ChatGPT の登 場で、新聞記者・編集者 の仕事はどう変わるか？ ✅ 可能性と 課題は？ ✅ 独自の生成 AI の構築 具体例 2：画像を用いた 記事推薦 ✅ 拡張現実 との向き合い ✅ 生成 AI を用 いたシステム 具体例 3：政治資金収支 報告書からの情報抽出 ✅ 新たな ジャーナリズ ムの模索 ✅ Web から のデータ収集 や加工 Web からのデータ収集の 具体的な方法 ✅ Web から のデータ収集 や加工
10. 関連する情報 II の学習内容 10 教員用教材から引用
11. • 収集・編集・提供・計測における新機能開発や業 務効率化に繋げる目的 • ニュースメディアとしての責任ある使い方を模索 ◦ 自動化できる業務と、人間が注力すべき業務 ◦ 何がどこまで実現できるのか、何が課題となる のか？ 独自の生成 AI の構築プロジェクト 11
12. 単語列の生成確率をモデル化したもの 言語モデルとは？ 吾輩 は 猫 で ある P(吾輩は猫である): 単語列の生成確率 P(吾輩) * P(は | 吾輩) * P(猫 | 吾輩は) * P(で | 吾 輩は猫) * P(ある | 吾輩は猫で) 12
13. 大量の文から、入力と出力の対を自動生成して、 単語列の生成確率を推定する 欧州 連合 （ EU は 13 日 ） 欧州 連合 （ ? 欧州 連合 （ ? EU … 事前学習 (自己教師あり学習) 13
14. 学習に使ったテキストの言い回しに近づく可能性 => 記事の下書きや校正など、業務効率化に繋がる 日経電子版での学習 欧州 連合 （ EU は 13 日 ） 欧州 連合 （ ? 欧州 連合 （ ? EU … 14
15. • 独自の表記規則を、全てプロンプトに記述するの は現実的でない • 事前学習済み言語モデルの生成結果を、編集者が 逐一修正していくのも手間 => 研究課題：日経電子版の記事を用いた事前学習済 みモデルで、表記規則を模倣できないか？ 日経電子版特有の言語表現を獲得したい 15
16. • 日経電子版など、日経グループの記事の収集 • 権利面の確認や HTML タグの除去や重複排除 などの前処理 • 計算資源の確保 • Transformers ライブラリを駆使したモデルの 事前学習 事前学習済みモデルの構築 16
17. • T5 をフルスクラッチで事前学習 • 事前学習済み T5 を、編集者作成の {本文, 見出し}, {本文, 3 行まとめ} の対でファインチューニング • ファインチューニングに利用していないデータで、 性能を他モデルと比較して評価 ◦ 一般的な T5 をファインチューニングしたモデル ◦ gpt-3.5-turbo に少数の事例を提供 日経電子版 T5 の構築と評価 17
18. 編集者の見出し・3 行まとめとの一致度合いで評価 日経電子版 T5 で ROUGE が最良に [石原ら24a] 表 7：3 行まとめの性能評価 18
19. • 複数候補を提示し ユーザが選択・編 集する (文字数や 含める・含めない 単語などを調整可 能) [Ishihara21] • 予測 CTR も提示 編集支援ツール 19 [石原ら24a] 図 2：スクリー ンショット
20. 議論：独自の生成 AI の構築プロジェクト 20 • 一般を上回る性能が出る活用場面を確認 • 社内共有を通じて、メリット・デメリットを考察 ◦ 誤りが生成される場合も [石原ら24a] ◦ 時系列で性能が劣化する可能性も [石原ら24b] ◦ 訓練データが暗記される現象も [Ishihara+24]
21. • 新聞社での事例紹介 ◦ 具体例 1：ChatGPT の登場で、新聞記者・編集 者の仕事はどう変わるか？ ◦ 具体例 2：画像を用いた記事推薦 ◦ 具体例 3：政治資金収支報告書からの情報抽出 • Web からのデータ収集の具体的な方法 本発表の概要 21
22. 22 話題 | 学習内容 S1: 情報社会 と情報技術 S2: コミュニ ケーションの ための情報技 術の活用 S3: データを 活用するため の情報技術の 活用 S4: コンピュー タや情報システ ムの基本的な仕 組みと活用 具体例 1：ChatGPT の登 場で、新聞記者・編集者 の仕事はどう変わるか？ ✅ 可能性と 課題は？ ✅ 独自の生成 AI の構築 具体例 2：画像を用いた 記事推薦 ✅ 拡張現実 との向き合い ✅ 生成 AI を用 いたシステム 具体例 3：政治資金収支 報告書からの情報抽出 ✅ 新たな ジャーナリズ ムの模索 ✅ Web から のデータ収集 や加工 Web からのデータ収集の 具体的な方法 ✅ Web から のデータ収集 や加工
23. 関連する情報 II の学習内容 23 教員用教材から引用
24. ニュース配信サービスの新規ユーザ向けに、新たな 興味関心の発見に繋がる記事を推薦するため、ユー ザの身近な画像を入力とする手法を検証したい 画像からのニュース記事推薦 24 "白菜", "きのこ", "豆腐", "白滝", "ねぎ", "鍋" マルチモー ダル AI 記事検索 "白菜": "手作り漬物の販売ピンチ？　 衛生管理、国際規格で厳しく" https://www.nikkei.com/article/DGXZQOU E117TN0R10C24A4000000/ ……
25. • 情報収集のために、登録してみよう • たくさんのニュースから何を読めば良いか...... • 閲覧傾向に基づくニュース推薦も、興味関心に刺 さるものが少ない...... • 閲覧習慣が定着せず、サービス離脱に...... ニュース配信サービスの新規ユーザ 25
26. 1. 画像の入力：画像アップロード機能 2. 物体名の抽出：視覚言語モデル (Gemini 1.0 Pro Vision) を利用 3. ニュース記事の検索：「日経電子版」を題材に、 全文検索システム (Elasticsearch) を利用 システム実装の詳細 26
27. 実装したシステム 27 [田邉ら24] 図 2
28. • 日常画像データセットから、オフィス・寝室・パ ン屋・キッチン・クローゼットの 5 カテゴリで 1 枚ずつ画像を利用 • 5 人の参加者が 5 枚の画像をシステムに入力し、 推薦された合計 115 記事をそれぞれが評価 実験設定 28
29. 評価観点：セレンディピティ 全てを満たす場合に「セレンディピティがある」 • 関連性「提示された物体名やニュース記事が、妥 当であると感じる」 • 新規性「提示された物体名やニュース記事を、知 らなかった」 • 意外性「提示された物体名やニュース記事を、シ ステムのおかげで発見できたと感じる」 29
30. • 物体名の抽出： デスク、ベッド、 ランプ、椅子、窓 • それぞれに対し、5 件のニュース記事 を検索し推薦 画像はデータセットから 評価の具体例（寝室カテゴリ） 30
31. • 1 記事目は全員が 3 観点が妥当で、セレンディピ ティがあると判断した • 関連性・新規性・意外性のいずれかが欠けても、 セレンディピティがないと見なす 5 記事と評価の平均値 31 [田邉ら24] 表 3
32. 0.12 の割合で、セレンディピティがある推薦を実現 有用性の評価 32 [田邉ら24] 表 4
33. • 全体的に関連性が十分に高くない ◦ 「ランプ（照明）」で高速道路の文脈の「ラン プ（相互を連結する道）」が検索される ◦ 必ずしも主題ではない記事が検索される 実装したシステムの改善点 33
34. • 新規性と意外性の定義が不明瞭で，関連性と比べ て，標準偏差が大きい • 「戦争や政治など，意図的に避けている話題が出 てきた際の評価が苦痛」 ユーザ実験の改善点 34
35. • システム実装の改善（特にニュース記事の検索に おける関連性の向上） • 大規模なユーザ実験（サービス実装も視野に） • AR/VR システムとの繋ぎ込み 今後の展望 35
36. 議論：画像を用いた記事推薦 36 • 読者との新しいコミュニケーション方法を提案し 実際にシステムを実装 • 定量・定性評価を通じて提案内容を考察 ◦ 一定割合で目的に合致する推薦を実現 ◦ システム実装などの課題と今後の展望を確認
37. • 新聞社での事例紹介 ◦ 具体例 1：ChatGPT の登場で、新聞記者・編集 者の仕事はどう変わるか？ ◦ 具体例 2：画像を用いた記事推薦 ◦ 具体例 3：政治資金収支報告書からの情報抽出 • Web からのデータ収集の具体的な方法 本発表の概要 37
38. 38 話題 | 学習内容 S1: 情報社会 と情報技術 S2: コミュニ ケーションの ための情報技 術の活用 S3: データを 活用するため の情報技術の 活用 S4: コンピュー タや情報システ ムの基本的な仕 組みと活用 具体例 1：ChatGPT の登 場で、新聞記者・編集者 の仕事はどう変わるか？ ✅ 可能性と 課題は？ ✅ 独自の生成 AI の構築 具体例 2：画像を用いた 記事推薦 ✅ 拡張現実 との向き合い ✅ 生成 AI を用 いたシステム 具体例 3：政治資金収支 報告書からの情報抽出 ✅ 新たな ジャーナリズ ムの模索 ✅ Web から のデータ収集 や加工 Web からのデータ収集の 具体的な方法 ✅ Web から のデータ収集 や加工
39. 関連する情報 II の学習内容 39 教員用教材から引用
40. • 政治団体の 1 年間の収支を記した報告書から、情 報を抽出したい ◦ 入力：紙媒体の書類がスキャンされた画像 ◦ 特徴：手書き、修正印あり、雛形は非統一 ◦ 出力：表形式 • 情報抽出手法や結果の活用可能性を検証したい 政治資金収支報告書からの情報抽出 40
41. 41 [山田ら24] 図 1
42. • 言語のみならず、画像・音声・動画など複数の種 類 (モーダル) のデータを統合的に処理 • モデルの例 ◦ Gemini (by Google Deepmind) ◦ Claude (by Anthropic) ◦ GPT-4V (by OpenAI) マルチモーダル AI 42
43. マルチモーダル AI への指示 43 [山田ら24] 表 2
44. • 複数のモデルを用い て、性能を検証 ◦ OCR との組み合 わせも調査 • 評価指標 Tree-Edit-Distance-Similarity (TEDS) ◦ 比較対象の表の構造を HTML 形式にし、類似 度を計算 (大きいほど良い) 実験 44 [山田ら24] 図 3
45. 実験結果 45 • OCR との組み合わせで、性 能が改善 • 2024 年 5 月に論文を公開し た時点の実験結果 • [山田ら24] 表 3
46. 各種政治団体における 収入グラフネットワーク • 情報抽出を半機械的に 処理することで、分析 や活用可能性の議論に 注力できる [山田ら24] 図 7 抽出結果の活用 1 46
47. 抽出結果の活用 2 47 [山田ら24] 図 4, 5
48. 抽出が不十分だった例 48 [山田ら24] 図 6
49. 議論：政治資金収支報告書からの情報抽出 49 • Web に公開されている (が乱雑な) 情報を収集し統 一的な形式に加工・分析 • データ収集の方法や活用方法を考察 ◦ マルチモーダル AI を用いた収集の可能性 ◦ 収集の半自動化による分析への注力
50. • 新聞社での事例紹介 • Web からのデータ収集の具体的な方法 ◦ 公開データセットや API の利用 ◦ データが公開されていない場合 本発表の概要 50
51. 51 話題 | 学習内容 S1: 情報社会 と情報技術 S2: コミュニ ケーションの ための情報技 術の活用 S3: データを 活用するため の情報技術の 活用 S4: コンピュー タや情報システ ムの基本的な仕 組みと活用 具体例 1：ChatGPT の登 場で、新聞記者・編集者 の仕事はどう変わるか？ ✅ 可能性と 課題は？ ✅ 独自の生成 AI の構築 具体例 2：画像を用いた 記事推薦 ✅ 拡張現実 との向き合い ✅ 生成 AI を用 いたシステム 具体例 3：政治資金収支 報告書からの情報抽出 ✅ 新たな ジャーナリズ ムの模索 ✅ Web から のデータ収集 や加工 Web からのデータ収集の 具体的な方法 ☑ ☑ ✅ Web から のデータ収集 や加工 ☑
52. 52 話題 | 学習内容 S1: 情報社会 と情報技術 S2: コミュニ ケーションの ための情報技 術の活用 S3: データを 活用するため の情報技術の 活用 S4: コンピュー タや情報システ ムの基本的な仕 組みと活用 具体例 1：ChatGPT の登 場で、新聞記者・編集者 の仕事はどう変わるか？ ✅ 可能性と 課題は？ (社内データの 活用) ✅ 独自の生成 AI の構築 具体例 2：画像を用いた 記事推薦 ✅ 拡張現実 との向き合い (社内データの 活用) ✅ 生成 AI を用 いたシステム 具体例 3：政治資金収支 報告書からの情報抽出 ✅ 新たな ジャーナリズ ムの模索 ✅ Web から のデータ収集 や加工 Web からのデータ収集の 具体的な方法 ☑ ☑ ✅ Web から のデータ収集 や加工 ☑
53. • データを用いることで、新たな視点で物事を捉えた り、新たな体験を生み出せたりする • 「KKD (勘と経験と度胸)」の否定ではなく、データ の得意分野を見つけるのが大事 • 日常の気づきや課題感を起点に、仮説を立てた上で データを探しに行くと良い (「このデータから何か 面白いことを発見して」は難しい) 「データ」という新たな武器 53
54. • 具体例 1：ChatGPT の登場で、新聞記者・編集者 の仕事はどう変わるか？ ◦ 多忙な同僚のための業務効率化？ • 具体例 2：画像を用いた記事推薦 ◦ 若者にもニュースを届けるには？ • 具体例 3：政治資金収支報告書からの情報抽出 ◦ 「政治とカネ」への向き合い方？ 私の場合は、大学新聞での経験が糧に 54
55. • 新聞社での事例紹介 • Web からのデータ収集の具体的な方法 ◦ 公開データセットや API の利用 ◦ データが公開されていない場合 本発表の概要 55
56. • 公式で提供されているデータセットや API がない か確認する ◦ 大抵は利用規約やライセンスなどが確認できる • 「スクレイピング」は最終手段 (後述) ◦ 利用規約に注意 (学術・教育的利用は許諾されて いる場合も) 正攻法は、公式提供の利用 56
57. • インターネット検索 ◦ Google 検索やデータセット検索サイト ◦ 日本語だけでなく英語でも ◦ 「転載」の場合に注意 • 有識者に聞く 公式提供の見つけ方 57
58. • Google Dataset Search https://toolbox.google.com/datasetsearch • Kaggle Datasets https://www.kaggle.com/datasets • Harvard Dataverse https://dataverse.harvard.edu/ • e-Stat https://www.e-stat.go.jp/ データセット検索 58
59. • 新聞社での事例紹介 • Web からのデータ収集の具体的な方法 ◦ 公開データセットや API の利用 ◦ データが公開されていない場合 本発表の概要 59
60. • (情報開示請求) • Web スクレイピング • データを作る データが公開されていない場合 60
61. • Web サイトから特定の情報を抽出・取集する技術 • ページにアクセス、情報を探す、参照などの処理を プログラミング言語で記述し、自動化 • UTokyo OpenCourseWare「メディアプログラミン グ入門」の「7. WebスクレイピングとWebAPI」 ◦ https://ocw.u-tokyo.ac.jp/course_11472/ Web スクレイピング 61
62. • (人間が見る) Web ページを構成する「情報ソース」 に対して、機械的にアクセス • (人間が見てメモする代わりに) HTML などを解析し 情報を参照・保存 • 🔍 日経電子版 (https://www.nikkei.com/) の情報 ソースを確認してみましょう Web スクレイピングは何をしているか 62
63. • 利用規約の確認 • 法律面 (著作権など) の確認 • アクセス頻度の調整 Web クローリングのマナー 63
64. • 協力者を募ってアンケート評価 (具体例 1 や 2 での ユーザ評価) • 生成 AI を用いた情報抽出や生成 (具体例 3 での政 治資金収支報告書の解析) • 人力でのラベル付け データを作る 64
65. • 新聞社での事例紹介 ◦ 情報と情報技術を活用した、問題発見・解決の 具体例 3 つを紹介 • Web からのデータ収集の具体的な方法 ◦ 公開データセットや API の利用方法や、データ が公開されていない場合の対応策を紹介 本発表のまとめ 65
66. • [石原ら24a] 石原祥太郎, 村田栄樹, 中間康文, 高橋寛武 (2024). 日本語ニュース記事要約支援 に向けたドメイン特化事前学習済みモデルの構築と活用. 自然言語処理, 2024, 31 巻, 4 号. • [Ishihara+24] Shotaro Ishihara and Hiromu Takahashi (2024). Quantifying Memorization and Detecting Training Data of Pre-trained Language Models using Japanese Newspaper. Proceedings of INLG 2024. • [石原ら24b] 石原祥太郎, 高橋寛武, 白井穂乃 (2024). Semantic Shift Stability: 学習コーパ ス内の単語の意味変化を用いた事前学習済みモデルの時系列性能劣化の監査. 自然言語処理, 31巻, 4号. • [山田ら24] 山田健太, 青田雅輝 (2024). マルチモーダルな深層学習手法を用いた政治資金収 支報告書の判読の試み. 2024年度日本選挙学会総会・研究会. • [田邉ら24] 田邉耕太, 石原祥太郎, 山田健太, 青田雅輝, 又吉康綱 (2024). ニュースを身近に： 日常風景からのニュース推薦. 第 210 回情報処理学会ヒューマンコンピュータインタラク ション研究会. 具体例の参考文献 66