AIミーティング 2024-05-08

AIミーティング 2024/05/08「IBM watsonx.ai で設備制御向けのオン・オフの JSON 生成のプロンプトを作った話」の登壇資料です。

◆スライド内の素材は以下を使用させていただいております。ありがとうございます！

・シルエットデザイン http://kage-design.com/
・human pictogram 2.0 http://pictogram2.com
・ICOOON MONO http://icooon-mono.com/
・Adobe Stock https://stock.adobe.com/jp

Transcript

1. AIミーティング 2024/05/08 IBM watsonx.ai で設備制御向けのオン・オフの JSON 生成のプロンプトを作った話 ワンフットシーバス 田中正吾
2. 私の話はスライドを後ほど共有します。 話す内容に注力いただいて大丈夫です！
3. 10 分くらいで話します！
4. 田中正吾（たなかせいご） 屋号：ワンフットシーバス 2004年よりフリーランス。以後、FLASH制作を 中心にインタラクティブコンテンツを主に行い現 在に至る。 最近ではWEBフロントエンドをベースにしなが らも、情報とインターフェースが合わさるアプ ローチという視点でIoTやMixed Realityといった 技術も取り入れながら活動しています。
5. 以前の登壇の知見を発展させた形 20240214_AIミーティング「IBM watsonx.ai の AI スタジオまわりで AI モデルを試してみる」 https://speakerdeck.com/1ftseabass/ai-meeting-20240214
6. Meta Quest 3 による xR からの声から行う 設備制御（照明・エアコン） https://twitter.com/1ft_seabass/status/1773633863396344150
7. こんな感じで設備制御できる
8. Unity 実際の仕組み Meta Quest 3 で音声を取得して Whisper API で文字起こしをしつつ IBM Cloud Code Engine で作った watson.ai API 連携プログラムで帰ってきたオンオフの値を設備制御に命令するイメージ Whisper API IBM Cloud Code Engine ＋ watsonx.ai マイク入力 文字起こし 質問 回答(JSON) Node-RED エアコン 照明 スマートライト社 設備制御
9. いろいろ学んだところ
10. Watson Machine Leaning が下地に動いている API として使うときは、ここにつないでいく意識
11. こんな構成
12. 文献があってとてもありがたい！ watsonxのAPIを呼び出せるようになるまで #ibmcloud - Qiita https://qiita.com/katahiro/items/3258cd42226ed82268ac
13. 日本語だとすぐトークン超過しちゃう！ ノリノリで試すと月初 3 日で超過だったかなあ
14. 無料評価版はとてもありがたいが より試すために Essentials にしました IBM watsonx | 料金体系 https://www.ibm.com/jp-ja/watsonx/pricing
15. このあたりが詳しい 結果として Essencial で優しく使って追加料金はかかってないです（個人的感想です） https://www.ibm.com/docs/ja/watsonx/saas?topic=learning-watson-machine-plans
16. プロンプトの作り方の話 IBM watsonx プロンプト・ラボで granite-8b-japanese モデルに質問してオンやオフの JSON データを取得するメモ https://www.1ft-seabass.jp/memo/2024/04/08/watsonx-granite-8b-japanese-model-sample-prompt-json-data/
17. ➔ クラウド各社がカスタマイズした LLM やローカル LLM など色々出てきているので今回のようにシステムに組み込 むの楽しい ➔ システムに組み込むときは JSON データでの受け取りが やっぱりほしくなるがプロンプトだけでがんばるのは結構 骨が折れる まとめ