Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
エンジニアが知っておきたい生成AIの今と、これからの付き合い方
Search
SORACOM
PRO
November 11, 2023
Technology
0
1.7k
エンジニアが知っておきたい生成AIの今と、これからの付き合い方
2023年11月11日開催『
オープンセミナー2023@広島
』で、ソラコム松下(max)が発表した資料です。
SORACOM
PRO
November 11, 2023
Tweet
Share
More Decks by SORACOM
See All by SORACOM
【SORACOM UG】SORACOM におけるユーザーコミュニティの重要性とこれから
soracom
PRO
2
82
AWS Lambda と Amazon SQS で「わかった気になれる」FreeRTOS 入門
soracom
PRO
2
270
IoT とは?IoTプラットフォーム「SORACOM」の役割
soracom
PRO
0
250
Technical Writing Meetup vol.35
soracom
PRO
2
190
AI でアップデートする既存テクノロジーと、クラウドエンジニアの生きる道
soracom
PRO
2
830
ロボットアームを遠隔制御の話 & LLMをつかったIoTの話もしたい
soracom
PRO
1
560
【SORACOM UG ビギナーズ】IoT とは?IoTプラットフォーム「SORACOM」の役割
soracom
PRO
1
420
時系列データ向け基盤モデル「Chronos (by Amazon.com)」で行う未来予測
soracom
PRO
0
3k
ソラカメチーム紹介資料(エンジニア向け)
soracom
PRO
0
640
Other Decks in Technology
See All in Technology
障害対応指揮の意思決定と情報共有における価値観 / Waroom Meetup #2
arthur1
2
110
「視座」の上げ方が成人発達理論にわかりやすくまとまってた / think_ perspective_hidden_dimensions
shuzon
2
16k
Redmine 6.0 新機能評価ガイド
vividtone
0
210
隣接領域をBeyondするFinatextのエンジニア組織設計 / beyond-engineering-areas
stajima
1
190
ライブラリでしかお目にかかれない珍しい実装
mikanichinose
2
320
エンジニアが一生困らない ドキュメント作成の基本
naohiro_nakata
2
130
ジョブマッチングサービスにおける相互推薦システムの応用事例と課題
hakubishin3
3
620
リンクアンドモチベーション ソフトウェアエンジニア向け紹介資料 / Introduction to Link and Motivation for Software Engineers
lmi
4
300k
[JAWS-UG金沢支部×コンテナ支部合同企画]コンテナとは何か
furuton
3
340
Microsoft Intune アプリのトラブルシューティング
sophiakunii
1
390
Oracle Cloud Infrastructureデータベース・クラウド:各バージョンのサポート期間
oracle4engineer
PRO
28
12k
国土交通省 データコンペ参加者向け勉強会
takehikohashimoto
0
380
Featured
See All Featured
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
131
33k
A Modern Web Designer's Workflow
chriscoyier
693
190k
5 minutes of I Can Smell Your CMS
philhawksworth
202
19k
GraphQLとの向き合い方2022年版
quramy
43
13k
Java REST API Framework Comparison - PWX 2021
mraible
PRO
28
8.2k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
126
18k
The Illustrated Children's Guide to Kubernetes
chrisshort
48
48k
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
4
360
Art, The Web, and Tiny UX
lynnandtonic
297
20k
Speed Design
sergeychernyshev
24
600
Making the Leap to Tech Lead
cromwellryan
133
8.9k
Bash Introduction
62gerente
608
210k
Transcript
エンジニアが知っておきたい 生成 AI の今と、これからの付き合い方 Nov. 11, 2023 オープンセミナー2023@広島 株式会社ソラコム テクノロジー・エバンジェリスト
松下 享平 (Max / @ma2shita)
WiJG?, Public domain, via Wikimedia Commons 株式会社ソラコム テクノロジー・エバンジェリスト 松下 享平
(まつした こうへい) "Max" • 静岡県民 🗻 新幹線通勤族 🚅 • 講演や執筆を中心に活動、登壇数600以上/累計 • 経歴: 東証二部ハードウェアメーカーで情シス、 EC 事業、IoT 事業開発を経て2017年より現職 • 好きな言葉「論よりコード」 • AWS ヒーロー (2020年受賞) • X(旧Twitter): @ma2shita • 最近 Pixel 8 に変えました ← NEW!!
@SORACOM_PR fb.com/soracom.jp イベントの振り返りに! ハッシュタグ #OSH2023 #SORACOM フォローや チャンネル登録を是非! youtube.com/c/SORACOM_Japan instagram.com/soracom.official
Pixel シリーズ「消しゴムマジック」
十分に発達した科学技術は、 魔法と見分けがつかない。 ― クラークの三法則、第三法則より
エンジニアが知っておきたい 生成 AI の今と、これからの付き合い方 (40分) • IoT と SORACOM の
生成 AI への取り組み状況 • 生成 AI の振り返り • 私たちは次に何をしたらよいのか?
株式会社ソラコム 概要 商号 株式会社ソラコム / SORACOM, INC. 代表取締役社長 玉川 憲
拠点 日本、英国、米国(シアトル) 事業概要 IoT 向けの通信プラットフォームの提供 ビジョン 世界中のヒトとモノを繋げ、共鳴する社会へ 「日本発」グローバルで使える IoT プラットフォームへ
https://www.youtube.com/watch?v=sy40qlTH3Ss
株式会社Luup 車載IoTデバイスを通じて、電動キッ クボードの位置からリアルタイムの 在庫情報を管理。利便性を高め、 日本初の政府特例を受けたシェアリ ングサービスを提供。 利用したSORACOMサービス:SORACOM Air サービス 導入事例
出典: 株式会社Luup. “広島市で、電動キックボードや電動アシスト自転車のシェアリングサービス「LUUP」の提供を開始しました”. News 一覧. 2022-8-3. https://luup.sc/news/2023-08-03-hiroshima-start/, (参照 2023-11-10).
クラウド センサー/デバイス “モノ” ネットワーク 現場をデジタル化 現場とクラウドをつなげる デジタルデータの活用 モノやコトをデジタル化 人手に頼らずデータを集める、現場を動かす IoT
とは?
SORACOM は IoT の「つなぐ」を簡単に IoT デバイス クラウドサービス ✓ 遠隔操作 ✓
メンテナンス ✓ 蓄積・見える化 ✓ アラート通知 センサ キット IoT 通信 IoT SIM LPWA パートナー デバイス パートナークラウド (AWS / Microsoft / Google) Wi-Fi / 有線 3G / LTE / 5G LTE-M 通信 デバイス クラウド型 カメラサービス 衛星通信
ソラコムにおける生成 AI への取り組み状況 1. 研究と新規開発 松尾研究所と共同で「IoT × GenAI Lab」を設立 ➢
生成 AI 研究、新規プロダクト開発、顧客向けプロサービス 提供を行うチームを設立 2. 情報発信や共有 ➢ IoT 技術の勉強会「IoT-Tech Meetup」で “ChatGPT × IoT” を テーマに開催 <https://soracom.connpass.com/> 3. プラットフォームへの実装と提供 IoTデータの分析を生成 AI で行える 「SORACOM Harvest Intelligence」を提供 ➢ 時系列データを対象にしたプロンプト支援で、トレンドや 異常・欠損などの洞察がワンクリックで得られる 株式会社松尾研究所 経営企画マネージャー 上田 雄登 氏 株式会社スマートドライブ主催 「Mobility Transformation 2023」(2023/9/23) より SORACOM Harvest Intelligence / プロンプト一覧 (2023年11月現在)
“AI” における生成 AI (GenAI) の位置づけ 生成 AI (Generative AI; GenAI)
• 機械学習(ML) における分類「識別モデル」と「生成モデル」のうち、生成に着目した呼称。 • 具体的には画像を生成するモデルや、自然言語を扱う大規模言語モデル(LLM)を指す。 出典: 西脇 文彦. “生成AIが実現している機能の6類型”. DIAMOND ハーバード・ビジネス・レビュー. 2023-06-09. https://dhbr.diamond.jp/articles/-/9676, (参照 2023-08-10). 従来の ML や深層学習(DL)と異なる点 これまでは「学習」と「推論(生成)」の2つの作業が 一体化していることが多かった。 生成 AI は学習済みモデル(基盤モデル)が提供され、 利用者による学習作業が不要で、成果が得られる状態。
識別と生成 出典: キカガク 谷口. “【初心者向け】Stable Diffusion や Midjourney を支える技術 画像生成入門
1”. キカガクブログ. 2022-10-06. https://blog.kikagaku.co.jp/image-generation-course1, (参照 2023-08-10). これまでの機械学習は、識別(図左側)による問題解決が主だった 例) 画像を入力 → これは何?= 分類を出力
基盤モデル = “常識” 株式会社スマートドライブ主催「Mobility Transformation 2023」(9/23) より 基盤モデルとは 大量かつ多様なデータで訓練され、 多様な用途におけるタスクに適応
できるモデル※1 ※1 Stanford University Human-Centered Artificial Intelligence, Machine Learning Reflections on Foundation Models 人間の経験や知識の如く 「常識を獲得」
大規模言語モデル(Large Language Model; LLM) とパラメーター数 【LLM とは】入力単語群を基に 「次の単語を予測する」仕組み LLM の評価指標「パラメーター数」
• パラメーターの数 = モデルの容量 • 言語や用途に特化している場合もある ため単純比較はできないが、予測精度 の評価目安にはなる 出所: 松尾豊. “AIの進化と日本の戦略”. 自民党AIの進化と実装に関するプロジェクトチーム(第2回). 2020-02-17. https://note.com/akihisa_shiozaki/n/n4c126c27fd3d, (参照 2023-08-10). IoT とは、遠くのモノや現場で起こっているコトを デジタル化する技術です。その用途は、 …その用途は、製造業における 初期入力 出力 = 生成 この文章に続く単語は “これ” だな、 常識的に考えて。 …その用途は、製造業における機械の監視や、 …その用途は、製造業における機械の監視や、地域防災を さらに入力
例: line-corporation/japanese-large-lm text = generator( "おはようございます、今日の天気は", max_length=30, do_sample=True, pad_token_id=tokenizer.pad_token_id, num_return_sequences=5,
) 出所: “36億パラメータの日本語言語モデルを公開しました”. LINE Engineering. 2020-08-14. https://engineering.linecorp.com/ja/blog/3.6-billion-parameter-japanese-language-model, (参照 2023-08-10). コードの抜粋 # 下記は生成される出力の例 # [{'generated_text': 'おはようございます、今日の天気は雨模様ですね。梅雨のこの時期の 朝は洗濯物が # {'generated_text': 'おはようございます、今日の天気は晴れ。 気温は8°C位です。 朝晩は結構冷え込む # {'generated_text': 'おはようございます、今日の天気は曇りです。 朝起きたら雪が軽く積もっていた。 # {'generated_text': 'おはようございます、今日の天気は☁のち☀です。 朝の気温5°C、日中も21°Cと # {'generated_text': 'おはようございます、今日の天気は晴天ですが涼しい1日です、気温は午後になり低 出力の抜粋
日本国内の主だった LLM ※1 “Language Models are Few-Shot Learners”. arXiv:2005.14165. 2020-07-22.
https://arxiv.org/abs/2005.14165, (参照 2023-08-10). ※2 James Vincent. “OpenAI CEO Sam Altman on GPT-4: ‘people are begging to be disappointed and they will be’”. The Verge.. 2023-01-18. https://www.theverge.com/23560328/openai-gpt-4-rumor-release-date-sam-altman-interview, (参照 2023-08-10). LLM 名 パラメーター数 特化言語 提供元 公開時期 GPT-3 1,750億 汎用 OpenAI 2020年11月 ※1 GPT-4 (非公開) 汎用 OpenAI 2023年3月 ※2 OpenCALM 68億 日本語 サイバーエージェント 2023年5月 ※3 rinna 36億 日本語 rinna 2023年5月 ※4 japanese-large-lm 36億 日本語 LINE 2023年8月 ※5 Weblab-10B 100億 日・英 松尾研究室 2023年8月 ※6 ※4 “rinna、日本語に特化した36億パラメータのGPT言語モデルを公開”. rinna ニュース. 2020-05-17. https://rinna.co.jp/news/2023/05/20230507.html, (参照 2023-08-10). ※3 “サイバーエージェント、最大68億パラメータの日本語LLM(大規模言語モデル)を一般公開 ―オープンなデータで学 習した商用利用可能なモデルを提供―”. サイバーエージェント プレスリリース. 2020-05-17. https://www.cyberagent.co.jp/news/detail/id=28817, (参照 2023-08-10). ※5 “36億パラメータの日本語言語モデルを公開しました”. LINE Engineering. 2020-08-14. https://engineering.linecorp.com/ja/blog/3.6-billion-parameter-japanese-language-model, (参照 2023-08-10). ※6 “100億パラメータサイズ・日英2ヶ国語対応の大規模言語モデル“Weblab-10B”をオープンソースで公開しました。”. 松尾研究所 プレスリリース. 2020-08-18. https://weblab.t.u-tokyo.ac.jp/100億パラメータサイズ・日英2ヶ国語対応の大規模/, (参照 2023-08-10). • 他にも「NEC の LLM (NEC)」がある。海外では「Llama 2 (Meta)」「Claude 2 (Anthropic)」「Falcon LLM (Technology Innovation Institute)」が公開されている • 最新リストを追うならば Open LLM Leaderboard(Hugging Face) をチェック
LLM 実装の1つ「ChatGPT」 • LLM の直接実装では「文章の続きを書く」ことができるが、ニーズが少なかった • ChatGPT が注目された背景は「会話型インターフェイス」にしたことで、誰でも 使える =
LLM 利用の民主化を実現 出所: 松尾豊. “AIの進化と日本の戦略”. 自民党AIの進化と実装に関するプロジェクトチーム(第2回). 2020-02-17. https://note.com/akihisa_shiozaki/n/n4c126c27fd3d, (参照 2023-08-10). LLM GPT-3 GPT-3.5 GPT-4 ChatGPT 会話型 インターフェイス
生成 AI のユースケース 出所: 松尾豊. “AIの進化と日本の戦略”. 自民党AIの進化と実装に関するプロジェクトチーム(第2回). 2020-02-17. https://note.com/akihisa_shiozaki/n/n4c126c27fd3d, (参照
2023-08-10).
《LLM は、何でも知ってる》 聞き出す技術が必要
LLM を使いこなす「プロンプトエンジニアリング」 LLM は「LLM が知っている事を基に、予測を生成する」 ➢ LLM が知っていることを引き出す手法が、プロンプトエンジニアリング(PE)
プロンプトエンジニアリングを学ぶ Prompt Engineering Guide https://www.promptingguide.ai/ 日本語: https://www.promptingguide.ai/jp プロンプトエンジニアリング自体の基礎から、 LLM 全般に対するテクニックを解説
※英語版が最新 Best practices for prompt engineering with OpenAI API https://help.openai.com/en/articles/6654000-best-practices-for- prompt-engineering-with-openai-api OpenAI が提供する API を使いこなす 8 つの Tips だが、他の LLM 向けにも通ずる内容
プロンプトエンジニアリングは発展期 1/2 出所: AIDB. “GPT-4に選択肢を与えるとき、順序を入れ替えるだけで性能に大きな変化があることが明らかに”. AIDB. 2020-08-30. https://aiboom.net/archives/54690, (参照 2023-08-31).
GPT-4に選択肢を与えるとき、順序を入れ替えるだけで、性能に大きな変化がある ことが明らかに 選択肢の順序が変更されることで、モデルの性能に 13%から75%もの大きな変動が生じたという点 丁寧な精査も必要だが、コンピューターの原則 GIGO Garbage In, Garbage Out を意識することで、より良い結果が得られる
プロンプトエンジニアリングは発展期 2/2 出所: Cheng Li, Jindong Wang, Yixuan Zhang, Kaijie
Zhu, Wenxin Hou, Jianxun Lian, Fang Luo, Qiang Yang, Xing Xie. “Large Language Models Understand and Can be Enhanced by Emotional Stimuli”. arXiv:2307.11760. 2023-07-14. https://arxiv.org/abs/2307.11760, (参照 2023-11-10). 参照: AIDB, https://x.com/ai_database/status/1720257299212873914?s=20 2023-11-3. (参照 2023-11-10). 大規模言語モデルは感情的刺激を理解し、 それによって強化されうる
「常識の獲得」によるパラダイムシフト LLM ができることは「次の単語を予測して生成」 ChatGPT は GPT を基にした会話型 I/F プロンプトエンジニアリングで LLM
の活用が大きく変わる
生成 AI との付き合い方 Copilot ー よき友 Whisper 等 ChatGPT 以外のプロダクト利用、
GPTs(GPT Builder) 等 Function Calling、Assistant API、RAG Azure OpenAI Service、Amazon Bedrock 等 私たち自身の生産性を上げる Embed ー 土壌 私たちの製品に革新を組み込む
【再掲】
まずは、やってみよう!
【再掲】
IoT の「つなぐ」を簡単に You Create. We Connect.