Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
今だからこそ振り返る、生成AIの基礎とこれからの使い道 ― デバイスから生成AIを使うには
Search
SORACOM
PRO
November 29, 2024
Technology
0
19
今だからこそ振り返る、生成AIの基礎とこれからの使い道 ― デバイスから生成AIを使うには
第 5 回ナノコン応用コンテストのゲスト登壇にて、ソラコム松下(max)が登壇した資料です。
※URL限定公開です。再配布はソラコム松下の許諾を得るようにしてください。
SORACOM
PRO
November 29, 2024
More Decks by SORACOM
See All by SORACOM
SORACOM のアーキテクチャと挑戦のフィールド
soracom
PRO
1
670
Technical Writing Meetup vol.39
soracom
PRO
2
690
【SORACOM UG】SORACOM におけるユーザーコミュニティの重要性とこれから
soracom
PRO
2
410
AWS Lambda と Amazon SQS で「わかった気になれる」FreeRTOS 入門
soracom
PRO
2
530
IoT とは?IoTプラットフォーム「SORACOM」の役割
soracom
PRO
0
340
Technical Writing Meetup vol.35
soracom
PRO
2
280
AI でアップデートする既存テクノロジーと、クラウドエンジニアの生きる道
soracom
PRO
2
970
ロボットアームを遠隔制御の話 & LLMをつかったIoTの話もしたい
soracom
PRO
1
700
【SORACOM UG ビギナーズ】IoT とは?IoTプラットフォーム「SORACOM」の役割
soracom
PRO
1
540
Other Decks in Technology
See All in Technology
AI×医用画像の現状と可能性_2024年版/AI×medical_imaging_in_japan_2024
tdys13
1
1.3k
プロダクト組織で取り組むアドベントカレンダー/Advent Calendar in Product Teams
mixplace
0
690
The future we create with our own MVV
matsukurou
0
1.8k
When Windows Meets Kubernetes…
pichuang
0
290
Building Scalable Backend Services with Firebase
wisdommatt
0
110
知っててうれしい SQL について
greendrop
0
120
大規模言語モデルとそのソフトウェア開発に向けた応用 (2024年版)
kazato
2
530
Copilotの力を実感!3ヶ月間の生成AI研修の試行錯誤&成功事例をご紹介。果たして得たものとは・・?
ktc_shiori
0
290
カップ麺の待ち時間(3分)でわかるPartyRockアップデート
ryutakondo
0
120
Accessibility Inspectorを活用した アプリのアクセシビリティ向上方法
hinakko
0
160
チームが毎日小さな変化と適応を続けたら1年間でスケール可能なアジャイルチームができた話 / Building a Scalable Agile Team
kakehashi
1
200
Visual StudioとかIDE関連小ネタ話
kosmosebi
1
340
Featured
See All Featured
The Power of CSS Pseudo Elements
geoffreycrofte
74
5.4k
Designing on Purpose - Digital PM Summit 2013
jponch
116
7.1k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
160
15k
Bash Introduction
62gerente
610
210k
The Straight Up "How To Draw Better" Workshop
denniskardys
232
140k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
280
13k
Testing 201, or: Great Expectations
jmmastey
41
7.2k
The Cost Of JavaScript in 2023
addyosmani
46
7.2k
The World Runs on Bad Software
bkeepers
PRO
66
11k
Thoughts on Productivity
jonyablonski
68
4.4k
Building an army of robots
kneath
302
44k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
666
120k
Transcript
今だからこそ振り返る、生成AIの基礎とこれからの使い道 ― デバイスから生成AIを使うには Nov. 29, 2024 株式会社ソラコム テクノロジー・エバンジェリスト 松下 享平
(Max / @ma2shita)
株式会社ソラコム テクノロジー・エバンジェリスト 松下 享平 (まつした こうへい) "Max" • 静岡県民 新幹線通勤族
• 講演や執筆を中心に活動、登壇数600以上/累計 • 経歴: 東証二部ハードウェアメーカーで情シス、 EC 事業、IoT 事業開発を経て2017年より現職 • 好きな言葉「論よりコード」 • X(旧Twitter): @ma2shita • 好きな SORACOM サービス: • SORACOM Funnel • Pixel 9 Pro にしました WiJG?, Public domain, via Wikimedia Commons NEW!! UPDATE!!
ソラコムが提供するグローバル IoT プラットフォーム
ソラコムにおける生成 AI への取り組み状況 研究と新規開発 ⚫ 2023年7月 社内利用の ChatGPT Plus 契約費用の全額補助
⚫ 2023年7月 松尾研究所と共同で「IoT × GenAI Lab」を設立 生成 AI 利用の IoT 向けアプリケーション ⚫ 2023年7月 蓄積済の IoT データを、生成 AI で分析ができる SORACOM Harvest Intelligence ⚫ 2024年7月 ローコードで IoT デバイスと生成 AI をつなげられる SORACOM Flux 株式会社松尾研究所 経営企画マネージャー 上田 雄登 氏 株式会社スマートドライブ主催 「Mobility Transformation 2023」(2023/9/23) より SORACOM Harvest Intelligence / プロンプト一覧 (2024年11月現在)
生成 AI を取り巻くエコシステム セキュリティとガバナンス プライバシー保護、ガードレール、透明性 継続的デリバリー 評価、モニタリング、デプロイ モデル強化 RAG、 ファインチューニング
ユーティリティ ライブラリ・フレームワーク、 インテグレーション コミュニティ インターフェイス プロンプト、 AI エージェント 基盤モデル LLM、SLM、 目的特化 コンサルテーション LLM: 大規模言語モデル SLM: 小規模言語モデル RAG: 検索強化生成
生成 AI (LLM) 【LLM】 入力情報から「次の情報を予測」 これまでの機械学習(ML)や 深層学習(DL)と異なる点 IoT とは、遠くのモノや現場で起こっているコトを デジタル化する技術です。その用途は、
…その用途は、製造業における 初期入力 出力 = 生成 この文章に続く単語は “この” 確率が高い …その用途は、製造業における機械の監視や、 …その用途は、製造業における機械の監視や、地域防災を さらに入力 《これまで》 ⚫ 学習フェーズと推論フェーズ ⚫ 専門知識が必須 《生成AI》 ✓ 学習フェーズが不要 ― すぐ結果が得られる ✓ 専門知識が不要 ― 誰でも使える
生成 AI が活きるユースケースと要素技術 マルチモーダル情報の認識 ✓ 人以外からのデータ入力 ✓ 物体認識、 OCR、文字起こし マルチモーダル
AI SLM (小規模言語モデル) ✓ 独立動作 ― オフラインファースト ✓ プロンプトジェネレーター ― クラウド・LLM への前処理 オフライン・ LLM 協調 UX 物理世界へのフィードバック ✓ 操作のアシスト ✓ 機器間の協調動作 デジタルツイン RAG (検索強化生成) ファインチューニング データ加工・処理の自動化 ✓ 読み替え、整形や名寄せ ✓ 他データとの “意味による” 結合 時系列データへの適用 ✓ トレンドの言語化 ✓ 欠落データ発見や補完 ✓ 未来予測 時系列基盤モデル
マルチモーダル AI と “常識”
※ 情報は「個人情報テストデータジェネレーター」による架空の個人情報です データ加工・処理の自動化
※ 情報は「個人情報テストデータジェネレーター」による架空の個人情報です データ加工・処理の自動化
IoT と AI の関係 ― 生成 AI の判断材料 “データ” の強化
人力 《入力 “何を入れたら”》 プロンプト 《出力 “何が出てくるか”》 生成データ 生成 AI IoT デバイス プロンプト + データ 人の代わりに 入力 支援・操作 生成 AI の出力が 現場の新たな入力に IoT
出典: 株式会社ソラコム. “三菱電機とソラコム・松尾研究所「IoT × GenAI Lab」が、 IoTと生成AIを応用した空調機器制御の実証実験を実施”. プレスリリース. 2024-07-11. https://soracom.com/ja/news/20240711-iot-genai-poc-report,
(参照 2024-08-13). 複数のデータを基に意思決定、作業 • センサーから得られた環境データ • 外部の天気情報から得られた環境データ • 空調機器の設定温度 • 空調利用位置検知システムの情報(画像/ 室内の温度のヒートマップ等) • 感性情報(オフィス勤務者からの快適性についての定期的なフィードバック) 生成 AI の効果 ― IoT × GenAI Lab の取り組み
https://docs.m5stack.com/en/module/Module-llm (参照 2024-11-10) 出所: Don Reisinger. “MS、小型AIモデル「Phi-3-mini」を発表--性能は「GPT-3.5」に匹敵”. ZDNET Japan. 2024-04-24.
https://japan.zdnet.com/article/35218152/, (参照 2024-11-06). 出所: IoTNEWS編集部. “セレンス、マイクロソフトと協業し車載向けの組込み型SLMモデル「CaLLM Edge」を 発表”. IoTNews. 2024-11-21. https://iotnews.jp/maas-case/258367/, (参照 2024-11-21). 出所: MONOist. “ラズパイ5にAIキットが登場、処理性能は13TOPS”. MONOist. 2024-06-05. https://monoist.itmedia.co.jp/mn/articles/2406/05/news086.html, (参照 2024-11-10).
ハードウェア単体 = クラウド非依存の 生成 AI 環境が整い始めている
Run microsoft/Phi-3.5-mini-4k-instruct locally input_text = """¥ Convert the following plain
text to Table format of Markdown. Show only a Result(Solution) of the conversion. Column are "#", "Name", "Height", "Weight". Automatically assign sequential numbers. --- Kohei MATSUSHITA 173cm 64kg Kazunto GODA 177.5cm 68kg --- """ from transformers import AutoModelForCausalLM, AutoTokenizer # モデルとトークナイザーのロード model_name = "microsoft/Phi-3-mini-4k-instruct" tokenizer = AutoTokenizer.from_pretrained(model_name) model = AutoModelForCausalLM.from_pretrained(model_name) # テキストをトークン化 inputs = tokenizer(input_text, return_tensors="pt") input_ids = inputs["input_ids"] attention_mask = inputs["attention_mask"] # テキスト生成 output = model.generate(input_ids, attention_mask=attention_mask, max_new_tokens=128) # 生成結果をデコードして表示 generated_text = tokenizer.decode(output[0], skip_special_tokens=True) print(generated_text) プロンプトと データ 実装 run.py 1: 2: 3: 4: 5: 6: 7: 8: 9: 10: 11: 12: 13: 14: 15: 16: 17: 18: 19: 20: 21: 22: 23:
Run microsoft/Phi-3.5-mini-4k-instruct locally ※動画の一部を スキップしています
エッジデバイス上での生成 AI 実装の課題 部材価格、調達と互換性 ⚫ 高単価部品、採用時から EOL 対策設計 消費電力、電源確保 ⚫
省電力化との両立が困難 LLMOps の実装 ⚫ 継続的デリバリー、セキュリティとガバナンス
通信でクラウドの力を「ハードウェアに組み込む」 CPU や マイコン 通信 モジュール ファームウェア スピーカー マイク 翻訳エンジン
翻訳エンジン CPU や マイコン ファームウェア スピーカー マイク クラウドと組み合わせて「製品」 ハードウェアの限界 = 機能の限界
ポケトーク株式会社 「POCKETALK Ⓡ 」 外国語での双方向コミュニケーショ ンを実現するAI通訳機。 グローバル通信搭載で、電源を入れ れば、世界中ですぐに利用可能。 導入事例 利用したSORACOMサービス:SORACOM
Air (plan01s / planX1)チップ型SIM(eSIM)搭載 サービス * 対応言語の詳細は製品ウェブサイトをご確認ください 協力パートナー:JENESIS株式会社
ChatGPT を組み込んだ製品例 本体から直接 ChatGPT API を呼び出し 本体とスマートフォンは BLE で接続 スマートフォンのアプリから
ChatGPT API を呼び出し 出所: “ChatGPTで無限に広がる会話体験!進化したキャラクター召喚装置Gatebox”. Makuake. 2023-03-11. https://www.makuake.com/project/gatebox/, (参照 2023-11-13). 出所: “PLAUD NOTE ChatGPT連携AIボイスレコーダー|議事録を即時に作成”. Makuake. 2023-10-25. https://www.makuake.com/project/plaud_note/, (参照 2023-11-13).
機能の数と、使いこなせる人の数は反比例 使いこなせる人の数 少 多 機能の数 少 多 スマートフォン 専用機 《ボタン等》
= お客様に 学習してもらう量
アイデア EM-Service • エネルギー消費データを解析し、最適な消費プランや 削減方法を提案 鬼殺し 〜飲み促しシステム〜 • プレイヤーの反応や飲酒量の履歴を学習し、個々に最 適化されたゲームルールや罰ゲームの提案
BalanceAlert • ユーザーの支出履歴を分析し、使いすぎを防止するた めのカスタマイズされた予算提案
None
IoT の「つなぐ」を簡単に You Create. We Connect.