一歩踏み出す技術活用 日常業務を見直す試み / snaqme-chuo-tech-2024.08.20

2024年8月20日(火) 「CHUO_Tech #4 LLM活用について語ろう！」 登壇資料
https://chuo-tech.connpass.com/event/324549/

Transcript

1. confidential confidential 一歩踏み出す技術活用 日常業務を見直す試み 株式会社スナックミー CTO & co-founder 三好 隼人
2. confidential confidential 三好隼人 東京理科大学工学部建築学科終了。 新卒第1号としてリノベーションであるハプティック株 式会社（現グッドルーム株式会社）に入社。設計・現場 監督など経験。 その後エンジニアにジョブチェンジするために、セブに 半年間留学。2014年にギークス株式会社入社。新規事業 のフロントからインフラまで担当後、PjMとしてプロ ジェクトを管理。入社8ヶ月でMVPを受賞。 2015年9月、株式会社スナックミーをCEO服部、COO三 田村と創業。 CTO 自己紹介 @miyoshihayato
3. confidential confidential 事業概要
4. confidential confidential ORIGINALITY 創意工夫の末にうまれた、 私たちらしい独創的なおやつに なっているか。 CRAZY やってる本人が熱狂しているか。 NICHE たとえ数は少なくても、 一部の人が熱狂するようなおやつか。 MEANINGFUL 社会的意義があるか。 誰かに貢献するおやつになっているか。 EXPERIENCEFUL 面白さは体験に宿る。 これまでのおやつ体験をアップデートで きているか。
5. confidential confidential スナックミースタンド おやつ定期便 1,880円 (税込・送料330円) 事業内容 グッドジャーキー https://store.snaq.me/products/goodjerqy 3袋 1,830円(税込・送料込み) プロテインバー https://store.snaq.me/products/clrbar 5本入 1,450円(税込・送料330円) 10本入 2,980円（税込・送料330円）
6. confidential confidential • データ分析 • 商品開発 • パーソナライズされたおやつの選定 • お届けを重ねるごとに より好みに近づくBOX • BOXを開封する時の わくわく感 • おやつへのフィードバック • リクエスト • 好き嫌いの登録 定期便お届け頻度 • ２週間に１回 • ４週間に１回 データを活かした商品開発 ユーザーからの評価データ を活かし、１ヶ月程度で新 商品の企画開発が可能。 『おやつ体験』 商品開発サイクル
7. confidential confidential 7 おもしろい！ 失敗を恐れずにチャレンジすることを奨励する文化 やってみよ！ つぎにいかそう！ 難易度や工数じゃなく「それって面白い？」を軸に、 ”ワクワクファースト”で行動します。 おもしろいほうがやる気が出るし、お客様に喜んでいただけるから。 ごちゃごちゃ言ってないで”オーナーシップ”を持ってまずやってみよう 失敗したっていい。学びがあれば儲けもの。 失敗を恐れずどんどん”チャレンジ”していきましょう。 みんなやさしいから失敗したって大丈夫だよ！ スナックミーで働く人たちの価値観
8. confidential confidential 課題提起
9. confidential confidential 企業での請求書処理は依然として紙が主流で、仕分け・保管・増加 する取引に伴う処理の煩雑さが大きな課題。 数が増えれば増えるとほ比例して大変になる 電子帳簿法の導入により一部電子化が進んでいるが、多くの請求書 や納品書は未だに紙のまま。 納品書・請求書の管理が大変 製造業において マクロを用いた処理が主流。計算処理には優れているが、データの 自動化や構造化はできず、手動作業が残る。 現状
10. confidential confidential 製造業において • 請求額かいくらなのか表記が企業によってバラバラ • 手書きによる判別 • 前回請求分に対する相殺 • 軽減税率の場合 表記がバラバラ
11. confidential confidential 文字・数字の取得は可能だが、構造化できないので 難易度は高め 他はライブラリを探しているが、なかなかうまくいかず Tesseractのトライから始める OCRについて
12. confidential confidential ChatGPTの登場
13. confidential confidential 通常の対話モードと異なり、ChatGPTがJSON形式の構造化データを 出力。これは主に、開発者がプログラムやAPIとやり取りする際に利 用する形式で、データを扱いやすくするため。 jsonがkey valueの関係のためデータの意味が明確になり、プログラ ムによる処理が容易。 jsonのため、ChatGPTの出力を他のシステムで利用しやすい JSON Mode ChatGPTの活用 • keyごとにプロンプトできるが取得するデータがズレる • 再現性が低い 苦戦ポイント
14. confidential confidential 特定の機能やアクションを呼び出すために利用。これは、AIがただ 単にテキストを生成するだけでなく、特定のタスクを実行するため の関数を直接呼び出すことが可能。 事前に定義された関数やその引数をJSON形式で返すことができ、 それをプログラムが解釈して適切なアクションを実行 AIはより動的でインタラクティブな応答を提供でき。ユーザーの要 求に応じて、ただ情報を提供するだけでなく、直接アクションを起 こすことが可能 Function calling ChatGPTの活用
15. confidential confidential JSON ModeではなくFunction callingに決めた理由は • 確実に構造がずれずにデータを取得したい JSON Modeはズレる場合が多く扱いにくかった Function callingの採用 ChatGPTの活用 今月 (2024年8月)に Structured Outputsが公開により スキーマの設定が容易になり型を含めて扱いやすくなりました 今後はこちらを採用していく可能性があります
16. confidential confidential 請求書は様々な情報(小計や個々の商品額など)があり、 請求日と支払額を取得したい場合不要なデータが多い そのため、正しくChatGPTが判断できるために前処理が必要 活用したことが「Cloud Vision」 請求書を正しく読み込むために OCRの選定 Cloud Visionとは 画像内のテキストを検出し、構造化された形式で抽出するための機 能。Cloud VisionにはDocument Text Detectionというのがあり、こ れはOCRの高度なバージョンであり、複雑なドキュメント構造を保 持しながらテキストを抽出可能
17. confidential confidential Cloud Visionで読み取ルガ、ChatGPTが誤認識するケース存在するため 例えば前回御請求額を請求額と判断したり、合計を読み間違えたりなどあり、マスクをする必要が出てきた 前提 前処理
18. confidential confidential マスク後にテキスト領域の検出と区別 セグメンテーション: Cloud VisionのDocument Text Detectionを使っ て、ドキュメント中の段落やテキストブロックを検出し、凸包を 使ってそれぞれのブロックを囲むことで、ドキュメント全体のレイ アウトを解析。これにより、文書の構造を理解し、内容をより効率 的に処理可能。 ゾーン分類: 凸包を使って、ドキュメント内の異なる領域（タイト ル、本文、脚注など）を囲み、ゾーンごとに分類可能。これによ り、特定のゾーンのみを処理対象とする自動化タスクや、レイアウ トの自動整理が可能。 凸包 アノテーション
19. confidential confidential 簡易アーキテクチャ 請求書・納品書データ読み込み OCR処理 データの構造化 マスターデータなど データ修正
20. confidential confidential 誰がどう推進したか
21. confidential confidential • 2月 2024年: ◦ 完全未経験から開発をスタート。Pythonの学習を週末に行う。 ◦ ChatGPTを使い、参考書の課題に取り組みながらPythonの基礎を習得。 • 3月 2024年: ◦ Python学習を継続。基本的なプログラミングスキルを磨き、ChatGPTを活用しながらコードを書く練習を行う。 • 4月 2024年: ◦ 請求書処理に正式に取り組み始める。ChatGPTを使いながらコード生成を行い、プロジェクトを進める。 ◦ 必要に応じてGoogle検索を活用し、技術的な情報を収集。 • 5月 2024年: ◦ 請求書処理のコードのブラッシュアップを継続。問題解決に向けてChatGPTと外部リソースを駆使。 • 6月 2024年: ◦ 主要な処理フローが完成。一通りの機能が形になる。 • 7月 2024年: ◦ テストや調整を行い、最終的な仕上げを進める。請求書処理の自動化システムが完成。 このステップを経て、未経験から実際の業務改善を実現しました。 エンジニアは一切関与せず、経理・総務が一人で実施
22. confidential confidential • 短期間で形にできる可能性: ◦ プログラミング学習を短時間で実践的に進めることができる。 ◦ ChatGPTのサポートにより、理解のスピードが格段に向上。 • コード生成のサポート: ◦ コードを1から書く必要がなく、ChatGPTが大枠を作成してくれる。 ◦ 実践的なコードに触れることで、学習が効率的に進む。 • 問題解決のサポート: ◦ コードの問題点に直面した際、プロンプトで具体的な指示を出すことで修正案を提案してもらえる。 ◦ 修正の内容を理解しやすく、プログラミングスキルが向上。 • 技術的な用語・概念の提案: ◦ API、凸包、マスク、座標などの専門用語や概念を提案してもらいながら、理解を深めることができる。 ◦ 自分のペースで学習を進めることが可能。 • 自己完結型の対応: ◦ 上記のサポートを活用することで、一人でも対応が可能になり、プロジェクトを進められるようになる。 ChatGPTを活用することで
23. confidential confidential まとめ • 未経験でも挑戦する価値 ◦ 未経験から始めても、現代の技術やツールを活用すれば、短期間で実用的なスキルを身につけられる。 ◦ 言語は、学習リソースが豊富で、サポートツールも進化しており、初心者でもアクセスしやすい。 • ツールの力を借りることの重要性 ◦ ChatGPTのようなAIツールを活用することで、1からすべてを学ばなくても、必要な知識やスキルをすぐに適用 ◦ プログラミングや技術的な課題に対する解決策をリアルタイムで得られるため、学習の速度と効率が大幅に向上 • 問題解決力の強化 ◦ 実際のプロジェクトを通じて問題に直面し、ChatGPTや外部リソースを駆使して解決することで、単なる学習を超えた実 践的なスキルが身につく。 ◦ これは技術者にとっても貴重な経験であり、日常業務にも応用可能な問題解決力の強化につながる。 • 技術の民主化 ◦ 高度な技術やツールが、エンジニアだけでなく、あらゆる業務の従事者に開かれていることを実感。 ◦ これにより、業務の効率化や改善が、特別なスキルセットを持たない人々でも実現可能に。 • 自己学習の重要性 ◦ 最先端の技術やツールにアクセスできる時代では、自己学習を続けることが新しいチャンスや成果につながる。 ◦ 自分のペースで学び、実際の業務に適用していくことで、持続的な成長とキャリアの発展が期待できる。
24. confidential confidential おまけ
25. confidential confidential Join Us! エンジニア採用サイト コーポレートサイト 私たちと一緒におやつと、世界を面白くしませんか？ お気軽にご連絡ください！ https://engineers.snaq.me/ http://snaqme.com/