文系出身だけどAIアプリ作ってみた！ ～社内規程の質問、生成AIでお答えします～ / 2025 BEGINNER EXPERIENCE TALK

2025年6月13日開催 Women in Data Science Tokyo @ IBM
BEGINNER EXPERIENCE TALK 資料

Speaker: 桑森 なみ香 氏
オタフクホールディングス株式会社
IT推進部 システムデザイン課
社内SE（システムエンジニア）

https://widstokyoibm2025.pages.dev/

Transcript

1. 文系出身だけどAIアプリ作ってみた！ ～社内規程の質問、生成AIでお答えします～ オタフクホールディングス IT推進部システムデザイン課 桑森なみ香
2. All Rights Reserved Copyrights©オタフクソース株式会社 All Rights Reserved Copyrights©オタフクホールディングス株式会社 アジェンダ • 会社紹介 • 規程AI開発の背景 • 規程AI開発の山 ー山① “文系的”データサイエンス！？社内規程データの加工 ー山② 若手タッグで実装へ！初めてのPythonアプリ開発 • リリースへ • これから進む道 2
3. All Rights Reserved Copyrights©オタフクソース株式会社 All Rights Reserved Copyrights©オタフクソース株式会社 3 Otafukuグループの沿革
4. All Rights Reserved Copyrights©オタフクソース株式会社 All Rights Reserved Copyrights©オタフクソース株式会社 4 ソース、酢、たれ、その他 調味料の開発・製造・販売 Otafukuグループの戦略立案、各事業会社の統括管理を行う。 経営企画部・広報部・総務部・人事部・財務部・リスクマネジメント部・IT推進部・監査室 オタフクホールディングス(株) オタフクソース(株) お好み焼関連材料の開発 食酢、調味酢、甘酒等、 醸造製品の製造・販売 調味料、加工食品などの パッケージング全般 ソース、調味酢、たれ等、調味料の 開発・製造・販売 Otafuku Sauce Malaysia Sdn.BHD. ハラール認証調味料の製造販売・輸出販売 天かすの製造・販売 お好みフーズ(株) お多福醸造(株) ＯＰＰ（株） （株）ナカガワ 大多福食品（青島）有限公司 Otafuku Foods, Inc. Otafukuグループ各社
5. All Rights Reserved Copyrights©オタフクソース株式会社 All Rights Reserved Copyrights©オタフクホールディングス株式会社 規程AI開発の背景 5
6. All Rights Reserved Copyrights©オタフクソース株式会社 All Rights Reserved Copyrights©オタフクホールディングス株式会社 さらなる付加価値・生産性向上を目指す～経営方針より 先人の言葉 蓄積された ノウハウ・知見 グループ内の システム・データ 生成AI等の先進技術を用いて 未来への新結合 社内の知見やスキル、データを活用する生成AIツールにチャレンジ 6
7. All Rights Reserved Copyrights©オタフクソース株式会社 All Rights Reserved Copyrights©オタフクホールディングス株式会社 チャレンジ取り組みの道のりは長く険しく・・・ 23/ 11 12 24/ 01 02 03 04 05 06 07 08 09 10 11 12 25/ 01 02 03 04 OkonomiｒーAI 規程AI Bot 1stステージ 規程AI Bot 2ndステージ 7
8. All Rights Reserved Copyrights©オタフクソース株式会社 All Rights Reserved Copyrights©オタフクホールディングス株式会社 お好み焼のRAGを作成したけれども・・・ お好み焼はいつ 生まれましたか？ 教師データをキーワード検索し該当箇所を抽出する ユーザーとWD、watsonx.ai の橋渡しをする 与えられた情報をLLMで取捨選択・要約し回答する ・・・つまり関西風お好み焼の原型で す。ただ、 この頃のもんじゃ焼には、 ソースはまだ使われていません。しょ うゆ味だったようですし、 水の量が 多く、焼き上がったものも、お好み焼 とはかなりちがっていました・・・ ・・・・いつの場合でも・・・・・パーティ にて 日本で生まれたこのお好み焼 に、どんな未来が待ちうけているの か、興味深いところである。 が、この 頃では、将来お好み焼がこういう処 遇のされ方をする・・・ ・・・⑷ お好み焼 ① 歴史 戦前、一銭 洋食は子供のおやつ、という程度に しか考えられていませんでしたが、 食糧不足に悩まされた戦後に、豚肉 やキャベツ等の具を加えることで、 食事として 成立しました。名前も一 銭洋食からお好み焼へと変わったの がこの頃です② 名前の由来 だれが、 いつ、どこで命名したものかは、今と なっては調べようがありませ ん。・・・・・ うーん、質問と関係あるのは１つだけ だな。要約すると「お好み焼は戦後に 食事として成立しました。」かな。 「お好み焼」「いつ」「生まれた」で検索。一番近いの はこの３つです。 ① ② ③ 質問と関係のないデータばかり ヒットしてしまう 質問と関係のない回答を生成し てしまう チャットボットサービス （Watson Assistant） 検索データベース (Watson Discovery) 大規模言語モデル＝LLM （watsonx.ai）
9. All Rights Reserved Copyrights©オタフクソース株式会社 All Rights Reserved Copyrights©オタフクホールディングス株式会社 反省を生かして 規程を扱う方針に変更 精度の向上・安定 精緻化された文書データを ターゲットを定めて投入 想定QAを 事前に人事と策定 精度評価しやすく 手当規程 就業規則 勤怠マニュアル 9
10. All Rights Reserved Copyrights©オタフクソース株式会社 All Rights Reserved Copyrights©オタフクホールディングス株式会社 ・・・(手当の日割額・払戻額)第3条: 次の手当は、条件に当てはまる場合、 次項により手当を支給または控除す る。調整手当、係長手当、営当、休日 調整手当は欠勤がある場合、・・ ・・・・(通勤手当)第6条:通勤手当は、 就業に関し、社員の住居と勤務場所 を、最も合理的で経済的な経路を通 勤するのに必要な交通の手段であっ て、1ヶ月当たりの運賃等を・・ ・・・(目的)第1条:この規程は給与規 程に基づき、諸手当の支給について 定めたものである。なお定時社員の うち、準社員については・・・・ 規程AI開発のプロセス 大規模言語モデル＝LLM （watsonx.ai) 与えられた情報をLLMで取捨選択・要約し回答 質問に関連するのは「第6条 通勤手当」の 条項だけ。 要約すると「２km以上であれば支給される。 計算式～である」だな。 ベクトルデータベース（Elasticsearch) Gradioでチャットボットの アプリケーションを構築 格納した規程文書をベクトル検索し該当チャンクを５つ抽出 自転車で通勤する時 の通勤手当は？ 「通勤手当」に関連する 条項はこれ！ ① ② ③ 1. LLM単体での生成精度を上げる 2. 検索精度を上げる 3. アプリ画面開発 10
11. All Rights Reserved Copyrights©オタフクソース株式会社 All Rights Reserved Copyrights©オタフクホールディングス株式会社 規定AI開発の山① “文系的”データサイエンス！？ 社内規程データの加工 11
12. All Rights Reserved Copyrights©オタフクソース株式会社 All Rights Reserved Copyrights©オタフクホールディングス株式会社 規程そのまま投入しても正しく答えてくれない！ 社内規程データの加工 ・・・・扶養（社会保険）家族が同居する住宅の世帯主である場合で、本人が借主となってい る賃貸物件はA円を支給する。また本人名義の自己所有物件はB円する •単身で居住する住宅の世帯主である場合、もしくは扶養しない家族が同居する住宅の 世帯主である場合で、本人が借主となっている賃貸物件はC円を支給する。また本人名 義の自己所有物件はD円を支給する。 •扶養（社会保険）家族が居住する住宅の世帯主でかつ本人が単身で家族と別居する場合 、本人が借主となっている賃貸物件はE円支給する。また、本人名義の自己所有物件はF 円を支給する。…… 複雑な表データ 解釈が難しい文章 誤った回答を生成 え、分からん 12
13. All Rights Reserved Copyrights©オタフクソース株式会社 All Rights Reserved Copyrights©オタフクホールディングス株式会社 ① 表データの加工 例） 住宅手当 誤った回答を生成 1つの項目に2つ以上の 条件が含まれている 複雑な表データは、LLMには正しく解釈できない 13
14. All Rights Reserved Copyrights©オタフクソース株式会社 All Rights Reserved Copyrights©オタフクホールディングス株式会社 ① 表データの加工 居住する住宅を、本人名義で賃貸もしくは所有をし ている社員は、条件に当てはまる場合、次の住宅手 当を支給する。 •扶養（社会保険）家族が同居する住宅の世帯主であ る場合で、本人が借主となっている賃貸物件はA円 を支給する。また本人名義の自己所有物件はB円を 支給する •単身で居住する住宅の世帯主である場合、もしくは 扶養しない家族が同居する住宅の世帯主である場 合で、本人が借主となっている賃貸物件はC円を支 給する。また本人名義の自己所有物件はD円を支給 する。 ・・・・ 全て文章へ書き下し 14
15. All Rights Reserved Copyrights©オタフクソース株式会社 All Rights Reserved Copyrights©オタフクホールディングス株式会社 ② データクレンジング 居住する住宅を、本人名義で賃貸している社員 は、扶養する家族が同居する住宅の世帯主であ る場合で、本人が借主となっている賃貸物件はA 円支給する。 家族が、「同居する住宅」 の世帯主である場合？ 人にとって解釈が難しい文章は、LLMも正しく解釈できない 本人が、「家族が同居する住宅」の 世帯主の場合？ 世帯主である配偶者と同居している 場合、住宅手当は貰える 世帯主である配偶者と同居している 場合、住宅手当は貰えない 15
16. All Rights Reserved Copyrights©オタフクソース株式会社 All Rights Reserved Copyrights©オタフクホールディングス株式会社 ② データクレンジング このまま投入して質問すると・・・ 世帯主である夫と賃貸に同居していますが、 住宅手当はいくら貰えますか？ 家族が同居する住宅の世帯主である場合、 本人が借主となっている賃貸物件はA円 を支給されます。 本当は本人が世帯主でないため支給されないが、 「支給される」という誤った回答を生成 扶養（社会保険）家族が同居する住宅の世帯主であ る場合で、本人が借主となっている賃貸物件は～ 住宅手当の条項を参照 家族と本人どっちが世帯主？？ 16
17. All Rights Reserved Copyrights©オタフクソース株式会社 All Rights Reserved Copyrights©オタフクホールディングス株式会社 ② データクレンジング 扶養（社会保険）家族が同居する住宅の世帯主である場合で、本人が借主となっている賃貸物件は～ 世帯主が本人で、本人と扶養（社会保険）家族が同居する住宅に対 して、本人が借主となっている賃貸物件は～ 「世帯主」「同居」が明確になるよう編集 質問者が世帯主でないため、住宅手当は 受け取ることができません。 本人が世帯主の場合のみ 支給だな！ 正しい回答へ 17
18. All Rights Reserved Copyrights©オタフクソース株式会社 All Rights Reserved Copyrights©オタフクホールディングス株式会社 ③ 『文脈』をテキストデータとして追加 ・・・なお、複数の住宅を賃貸もしくは 所有している場合は、本人もしくは配 偶者の居住する住宅一方にのみ 支給するものとし、手当額は高い方を 支給する。 人にとって「読めば当たり前」でも、LLMには正確に理解できない いくつか家を持ってたら、 一番高い家の分だけ 貰えるんだな。 18
19. All Rights Reserved Copyrights©オタフクソース株式会社 All Rights Reserved Copyrights©オタフクホールディングス株式会社 ③ 『文脈』をテキストデータとして追加 このまま投入して質問すると・・・ 扶養家族が引っ越しますが、私は単身で現在の住居に残ります。 両方の物件は私を世帯主として私名義で借りていますが、 住宅手当はどうなりますか? 扶養（社会保険）家族が居住する住宅に対しては、 A円が支給されます。 あなたが単身で居住する住宅に対しては、B円が 支給されます。 本当は、扶養家族が居住する住宅にのみ支給されるが、 「本人の住居・家族の住居両方支給される」という誤った回答を生成 扶養（社会保険）家族が同居する住宅の 世帯主である場合で、本人が借主とな っている賃貸物件は～ 扶養しない家族が同居する住宅の世帯 主である場合で、本人が借主となって いる賃貸物件は～ 住宅手当の条項を参照 一方にのみ？？知らん！ 19
20. All Rights Reserved Copyrights©オタフクソース株式会社 All Rights Reserved Copyrights©オタフクホールディングス株式会社 ③ 『文脈』をテキストデータとして追加 なお、複数の住宅を賃貸もしくは所有している場合は、本人もしくは配偶者の居 住する住宅一方にのみ支給するものとし、手当額は高い方を支給する。 なお、転勤による単身赴任や扶養家族が家族の都合で引っ越すなどで別居す る場合、複数の住宅を本人名義で賃貸もしくは所有している場合は、 まず家族が居住する住宅に対する住宅手当を確認し、次に本人が居住する住 宅に対する住宅手当を確認し、 住宅手当が複数支給されることはなく、より高い金額の住宅手当だけが支給 される。 比較する必要があるケース・支給条件を比較する手順・ 複数の住居には支給しないことを明記 20
21. All Rights Reserved Copyrights©オタフクソース株式会社 All Rights Reserved Copyrights©オタフクホールディングス株式会社 社内規程データの加工 人にもLLMにも “やさしい”文章を 暗黙の了解は 丁寧に説明を データサイエンスだが、問われるのは「国語力」 シンプルでいいね！ ちょっと説明くどくない・・・？ このくらい丁寧に明示して くれなきゃ分からん！ 21
22. All Rights Reserved Copyrights©オタフクソース株式会社 All Rights Reserved Copyrights©オタフクホールディングス株式会社 規定AI開発の山② 若手タッグで実装へ！ 初めてのPythonアプリ開発 22
23. All Rights Reserved Copyrights©オタフクソース株式会社 All Rights Reserved Copyrights©オタフクホールディングス株式会社 初めてのPythonアプリ開発 オタフク若手2人×IBM CSM船渡さまとの共創 船渡さん・近藤さん・桑森の写真を載せる 気軽に話し合える体制で アプリ構築へ 23
24. All Rights Reserved Copyrights©オタフクソース株式会社 All Rights Reserved Copyrights©オタフクホールディングス株式会社 初めてのPythonアプリ開発 もくもく会？？ 24
25. All Rights Reserved Copyrights©オタフクソース株式会社 All Rights Reserved Copyrights©オタフクホールディングス株式会社 もくもく会の実施 実際に画面を見せ合いながら開発 を進めることで、理解が早く進む 初歩的な質問も すぐ聞きやすい ⇒オンラインMtgを繋げながら、 一緒に“黙々と”作業を進める会 お互いに作業ベースのため Mtgに対する負荷が少ない 25
26. All Rights Reserved Copyrights©オタフクソース株式会社 All Rights Reserved Copyrights©オタフクホールディングス株式会社 ① まずは写経によるコード理解から 写経？書き写すだけでしょ？ 26
27. All Rights Reserved Copyrights©オタフクソース株式会社 All Rights Reserved Copyrights©オタフクホールディングス株式会社 ① まずは写経によるコード理解から コードを部分毎に書き写して、実行 →その部分が何をしているのか理解 実行しても分からなかったことを聞く 理解できたことを確認する 『もくもく会』にて ちょっとした事でも聞ける →躓きなく理解が進む 27
28. All Rights Reserved Copyrights©オタフクソース株式会社 All Rights Reserved Copyrights©オタフクホールディングス株式会社 ② もくもく会での開発風景 貰ったサンプルコードが実行 できない 元のコードへ組み込んだが、 何故かエラーが出る 社内常識を上手くLLMのプロンプト に組み込みたい 教師データと別で検索させて、プロンプ トに組み込むと良いのでは？ 画面を見てもらいながら一緒に改修 仮想環境構築し忘れているかも？ サンプルコード提供 【サンプルコードを実行】 【仮想環境構築して、黙々と作業】 【別作業】 【別作業】 28
29. All Rights Reserved Copyrights©オタフクソース株式会社 All Rights Reserved Copyrights©オタフクホールディングス株式会社 初めてのPythonアプリ開発 その他にも・・・ 若手同士で取り組むことにより、 初めてでも無事に実装出来た！ チャットで随時 質問できる環境 柔軟なMtg設定 29
30. All Rights Reserved Copyrights©オタフクソース株式会社 All Rights Reserved Copyrights©オタフクホールディングス株式会社 規程AI、新入社員へリリース 30
31. All Rights Reserved Copyrights©オタフクソース株式会社 All Rights Reserved Copyrights©オタフクホールディングス株式会社 規程AI、新入社員の感想は？ • 新入社員にアンケート ・規程が分かりやすく端的に表示される 点が良い ・文章の表現が固く分かりづらいときが ある 応答時間の遅さが大きな課題に ・平均25秒かかる ・時には1分以上回答が出力されないこ とも・・・ 31
32. All Rights Reserved Copyrights©オタフクソース株式会社 All Rights Reserved Copyrights©オタフクホールディングス株式会社 色々なご支援を頂きました 23/11 12 24/01 02 03 04 05 06 07 08 09 10 11 12 25/01 02 03 04 OkonomiーAI 規程AI Bot 1stステージ 規程AI Bot 2ndステージ 24年1～2月 精度が向上せず、大苦戦 生成精度が上がらず、取り組み の行く末に暗雲が・・・ 3-6月 CSM小野さんによる精度 向上 ベクトル検索へ変更 8月 技術営業井上さん参画でさらに精度 向上！ Referenceデータチューニング 11月 CSM小野さん、 李さん、 船渡さんからスキトラ 自分たちでも開発出来るように・・・ Pythonのコードが読めるようになってきた！ 25年1-2月 CSM船渡さんと“もくもく会” MVPのコードを自分で改修で きるようになった！ 追加質問&パターンで、また精 度が… 複雑な質問に対して再度正解を 出させるために何度も検証… 井上さんのご支 援で・・・ データ加工と私たちが開発に取り組んだ時期 10月 IBMのエンジニアチームによる MVP完成！ ※MVP＝必要最小限で開発された製品 取り組み全体を通して、営業 野副さん にお世話になりました。 32
33. All Rights Reserved Copyrights©オタフクソース株式会社 All Rights Reserved Copyrights©オタフクホールディングス株式会社 これから進む道 33
34. All Rights Reserved Copyrights©オタフクソース株式会社 All Rights Reserved Copyrights©オタフクホールディングス株式会社 まだ「社内ＳＥ」としてのキャリアは描き切れていないが、 目の前の課題に取り組む中で得意分野を見つけたい これから進む道 AIツールの展開 社内データ整備 様々な担当を経験する 中で専門性を持つ 若手主体の取り組みも！ 現場ならでは・若手ならでは の視点で、課題解決を 生成AI等の社内活用を進める 34
35. All Rights Reserved Copyrights©オタフクソース株式会社 All Rights Reserved Copyrights©オタフクホールディングス株式会社 ご清聴ありがとうございました！ 35