Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
今だからこそ振り返る、生成AIの基礎とこれからの使い道 ― デバイスから生成AIを使うには
Search
SORACOM
PRO
November 29, 2024
Technology
0
66
今だからこそ振り返る、生成AIの基礎とこれからの使い道 ― デバイスから生成AIを使うには
第 5 回ナノコン応用コンテストのゲスト登壇にて、ソラコム松下(max)が登壇した資料です。
※URL限定公開です。再配布はソラコム松下の許諾を得るようにしてください。
SORACOM
PRO
November 29, 2024
More Decks by SORACOM
See All by SORACOM
IoT でできること・取り組み方「後付け IoT」「組み込み IoT」と、IoTやSORACOMの仲間が共に学び交流するコミュニティ「SORACOM UG」
soracom
PRO
0
260
APIファーストで実現する運用性の高い IoT プラットフォーム: SORACOMのアプローチ
soracom
PRO
0
1.4k
IoTシステムの運用効率化に取り組もう! ― 回線管理とデバイス設定を自動化するための SORACOM API とプラットフォーム機能の活用
soracom
PRO
0
110
SORACOM のアーキテクチャと挑戦のフィールド
soracom
PRO
1
950
Technical Writing Meetup vol.39
soracom
PRO
2
940
【SORACOM UG】SORACOM におけるユーザーコミュニティの重要性とこれから
soracom
PRO
2
570
AWS Lambda と Amazon SQS で「わかった気になれる」FreeRTOS 入門
soracom
PRO
2
750
IoT とは?IoTプラットフォーム「SORACOM」の役割
soracom
PRO
0
440
Technical Writing Meetup vol.35
soracom
PRO
2
390
Other Decks in Technology
See All in Technology
mnt_data_とは?ChatGPTコード実行環境を深堀りしてみた
icck
0
190
2025advance01
minamizaki
0
130
超簡単!RAGアプリケーション構築術
oracle4engineer
PRO
0
120
それでもぼくらは貢献をつづけるのだ(たぶん) @FOSS4GLT会#002
furukawayasuto
1
270
Oracle Database オプティマイザ・ヒントの活用
oracle4engineer
PRO
1
140
新卒から4年間、20年もののWebサービスと向き合って学んだソフトウェア考古学 - PHPカンファレンス新潟2025 / new graduate 4year software archeology
oguri
2
350
技術書典18結果報告
mutsumix
2
180
ゴリラ.vim #36 ~ Vim x SNS ~ スポンサーセッション
yasunori0418
1
310
Rebase エンジニアリング組織の現状とこれから
rebase_engineering
0
140
LT:組込み屋さんのオシロが壊れた!
windy_pon
0
320
継続戦闘能⼒
sansantech
PRO
0
210
オープンソースのハードウェアのコンテストに参加している話
iotengineer22
0
500
Featured
See All Featured
Code Review Best Practice
trishagee
68
18k
Automating Front-end Workflow
addyosmani
1370
200k
Designing for Performance
lara
608
69k
A designer walks into a library…
pauljervisheath
205
24k
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
194
16k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
PRO
180
53k
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
45
7.3k
RailsConf 2023
tenderlove
30
1.1k
Intergalactic Javascript Robots from Outer Space
tanoku
271
27k
How GitHub (no longer) Works
holman
314
140k
Imperfection Machines: The Place of Print at Facebook
scottboms
267
13k
Done Done
chrislema
184
16k
Transcript
今だからこそ振り返る、生成AIの基礎とこれからの使い道 ― デバイスから生成AIを使うには Nov. 29, 2024 株式会社ソラコム テクノロジー・エバンジェリスト 松下 享平
(Max / @ma2shita)
株式会社ソラコム テクノロジー・エバンジェリスト 松下 享平 (まつした こうへい) "Max" • 静岡県民 新幹線通勤族
• 講演や執筆を中心に活動、登壇数600以上/累計 • 経歴: 東証二部ハードウェアメーカーで情シス、 EC 事業、IoT 事業開発を経て2017年より現職 • 好きな言葉「論よりコード」 • X(旧Twitter): @ma2shita • 好きな SORACOM サービス: • SORACOM Funnel • Pixel 9 Pro にしました WiJG?, Public domain, via Wikimedia Commons NEW!! UPDATE!!
ソラコムが提供するグローバル IoT プラットフォーム
ソラコムにおける生成 AI への取り組み状況 研究と新規開発 ⚫ 2023年7月 社内利用の ChatGPT Plus 契約費用の全額補助
⚫ 2023年7月 松尾研究所と共同で「IoT × GenAI Lab」を設立 生成 AI 利用の IoT 向けアプリケーション ⚫ 2023年7月 蓄積済の IoT データを、生成 AI で分析ができる SORACOM Harvest Intelligence ⚫ 2024年7月 ローコードで IoT デバイスと生成 AI をつなげられる SORACOM Flux 株式会社松尾研究所 経営企画マネージャー 上田 雄登 氏 株式会社スマートドライブ主催 「Mobility Transformation 2023」(2023/9/23) より SORACOM Harvest Intelligence / プロンプト一覧 (2024年11月現在)
生成 AI を取り巻くエコシステム セキュリティとガバナンス プライバシー保護、ガードレール、透明性 継続的デリバリー 評価、モニタリング、デプロイ モデル強化 RAG、 ファインチューニング
ユーティリティ ライブラリ・フレームワーク、 インテグレーション コミュニティ インターフェイス プロンプト、 AI エージェント 基盤モデル LLM、SLM、 目的特化 コンサルテーション LLM: 大規模言語モデル SLM: 小規模言語モデル RAG: 検索強化生成
生成 AI (LLM) 【LLM】 入力情報から「次の情報を予測」 これまでの機械学習(ML)や 深層学習(DL)と異なる点 IoT とは、遠くのモノや現場で起こっているコトを デジタル化する技術です。その用途は、
…その用途は、製造業における 初期入力 出力 = 生成 この文章に続く単語は “この” 確率が高い …その用途は、製造業における機械の監視や、 …その用途は、製造業における機械の監視や、地域防災を さらに入力 《これまで》 ⚫ 学習フェーズと推論フェーズ ⚫ 専門知識が必須 《生成AI》 ✓ 学習フェーズが不要 ― すぐ結果が得られる ✓ 専門知識が不要 ― 誰でも使える
生成 AI が活きるユースケースと要素技術 マルチモーダル情報の認識 ✓ 人以外からのデータ入力 ✓ 物体認識、 OCR、文字起こし マルチモーダル
AI SLM (小規模言語モデル) ✓ 独立動作 ― オフラインファースト ✓ プロンプトジェネレーター ― クラウド・LLM への前処理 オフライン・ LLM 協調 UX 物理世界へのフィードバック ✓ 操作のアシスト ✓ 機器間の協調動作 デジタルツイン RAG (検索強化生成) ファインチューニング データ加工・処理の自動化 ✓ 読み替え、整形や名寄せ ✓ 他データとの “意味による” 結合 時系列データへの適用 ✓ トレンドの言語化 ✓ 欠落データ発見や補完 ✓ 未来予測 時系列基盤モデル
マルチモーダル AI と “常識”
※ 情報は「個人情報テストデータジェネレーター」による架空の個人情報です データ加工・処理の自動化
※ 情報は「個人情報テストデータジェネレーター」による架空の個人情報です データ加工・処理の自動化
IoT と AI の関係 ― 生成 AI の判断材料 “データ” の強化
人力 《入力 “何を入れたら”》 プロンプト 《出力 “何が出てくるか”》 生成データ 生成 AI IoT デバイス プロンプト + データ 人の代わりに 入力 支援・操作 生成 AI の出力が 現場の新たな入力に IoT
出典: 株式会社ソラコム. “三菱電機とソラコム・松尾研究所「IoT × GenAI Lab」が、 IoTと生成AIを応用した空調機器制御の実証実験を実施”. プレスリリース. 2024-07-11. https://soracom.com/ja/news/20240711-iot-genai-poc-report,
(参照 2024-08-13). 複数のデータを基に意思決定、作業 • センサーから得られた環境データ • 外部の天気情報から得られた環境データ • 空調機器の設定温度 • 空調利用位置検知システムの情報(画像/ 室内の温度のヒートマップ等) • 感性情報(オフィス勤務者からの快適性についての定期的なフィードバック) 生成 AI の効果 ― IoT × GenAI Lab の取り組み
https://docs.m5stack.com/en/module/Module-llm (参照 2024-11-10) 出所: Don Reisinger. “MS、小型AIモデル「Phi-3-mini」を発表--性能は「GPT-3.5」に匹敵”. ZDNET Japan. 2024-04-24.
https://japan.zdnet.com/article/35218152/, (参照 2024-11-06). 出所: IoTNEWS編集部. “セレンス、マイクロソフトと協業し車載向けの組込み型SLMモデル「CaLLM Edge」を 発表”. IoTNews. 2024-11-21. https://iotnews.jp/maas-case/258367/, (参照 2024-11-21). 出所: MONOist. “ラズパイ5にAIキットが登場、処理性能は13TOPS”. MONOist. 2024-06-05. https://monoist.itmedia.co.jp/mn/articles/2406/05/news086.html, (参照 2024-11-10).
ハードウェア単体 = クラウド非依存の 生成 AI 環境が整い始めている
Run microsoft/Phi-3.5-mini-4k-instruct locally input_text = """¥ Convert the following plain
text to Table format of Markdown. Show only a Result(Solution) of the conversion. Column are "#", "Name", "Height", "Weight". Automatically assign sequential numbers. --- Kohei MATSUSHITA 173cm 64kg Kazunto GODA 177.5cm 68kg --- """ from transformers import AutoModelForCausalLM, AutoTokenizer # モデルとトークナイザーのロード model_name = "microsoft/Phi-3-mini-4k-instruct" tokenizer = AutoTokenizer.from_pretrained(model_name) model = AutoModelForCausalLM.from_pretrained(model_name) # テキストをトークン化 inputs = tokenizer(input_text, return_tensors="pt") input_ids = inputs["input_ids"] attention_mask = inputs["attention_mask"] # テキスト生成 output = model.generate(input_ids, attention_mask=attention_mask, max_new_tokens=128) # 生成結果をデコードして表示 generated_text = tokenizer.decode(output[0], skip_special_tokens=True) print(generated_text) プロンプトと データ 実装 run.py 1: 2: 3: 4: 5: 6: 7: 8: 9: 10: 11: 12: 13: 14: 15: 16: 17: 18: 19: 20: 21: 22: 23:
Run microsoft/Phi-3.5-mini-4k-instruct locally ※動画の一部を スキップしています
エッジデバイス上での生成 AI 実装の課題 部材価格、調達と互換性 ⚫ 高単価部品、採用時から EOL 対策設計 消費電力、電源確保 ⚫
省電力化との両立が困難 LLMOps の実装 ⚫ 継続的デリバリー、セキュリティとガバナンス
通信でクラウドの力を「ハードウェアに組み込む」 CPU や マイコン 通信 モジュール ファームウェア スピーカー マイク 翻訳エンジン
翻訳エンジン CPU や マイコン ファームウェア スピーカー マイク クラウドと組み合わせて「製品」 ハードウェアの限界 = 機能の限界
ポケトーク株式会社 「POCKETALK Ⓡ 」 外国語での双方向コミュニケーショ ンを実現するAI通訳機。 グローバル通信搭載で、電源を入れ れば、世界中ですぐに利用可能。 導入事例 利用したSORACOMサービス:SORACOM
Air (plan01s / planX1)チップ型SIM(eSIM)搭載 サービス * 対応言語の詳細は製品ウェブサイトをご確認ください 協力パートナー:JENESIS株式会社
ChatGPT を組み込んだ製品例 本体から直接 ChatGPT API を呼び出し 本体とスマートフォンは BLE で接続 スマートフォンのアプリから
ChatGPT API を呼び出し 出所: “ChatGPTで無限に広がる会話体験!進化したキャラクター召喚装置Gatebox”. Makuake. 2023-03-11. https://www.makuake.com/project/gatebox/, (参照 2023-11-13). 出所: “PLAUD NOTE ChatGPT連携AIボイスレコーダー|議事録を即時に作成”. Makuake. 2023-10-25. https://www.makuake.com/project/plaud_note/, (参照 2023-11-13).
機能の数と、使いこなせる人の数は反比例 使いこなせる人の数 少 多 機能の数 少 多 スマートフォン 専用機 《ボタン等》
= お客様に 学習してもらう量
アイデア EM-Service • エネルギー消費データを解析し、最適な消費プランや 削減方法を提案 鬼殺し 〜飲み促しシステム〜 • プレイヤーの反応や飲酒量の履歴を学習し、個々に最 適化されたゲームルールや罰ゲームの提案
BalanceAlert • ユーザーの支出履歴を分析し、使いすぎを防止するた めのカスタマイズされた予算提案
None
IoT の「つなぐ」を簡単に You Create. We Connect.