スマートスピーカー（AIアシスタント）以外のVoice関連の話をしてみる / #AR_Fukuoka #VUIFukuoka

Transcript

1. 2021年2月24日 (水) xTech ゆるっとLT: VUI Fukuoka and AR_Fukuoka @オンライン 　　豊田 陽介 ( @youtoy ) スマートスピーカー（AIアシスタント） 以外のVoice関連の話をしてみる
2. 豊田陽介（@youtoy） 自己紹介 普段は、某通信会社の研究所勤務 話題のものをたくさん 購入している気がする IT系イベント主催・登壇・運営、多数参加 子ども向けの活動いろいろ（IT系以外も） プライベートでの活動 ガジェット好き その他 主催テーマ： ビジュアルプログラミング、IoT、 ロボットトイ、メカトロなど
3. VUI関連の活動など スマートスピーカー Advent Calendar 2020 で書いた記事 ⇒ IFTTT で Alexa・Google Assistant を利用して IFTTT Pro の新機能 　（クエリー・フィルター）との組み合わせも試す - Qiita ヒーローズ・リーグ（旧 Mashup Awards）のVUI部門 ⇒ オーガナイザー（2018〜2020） 今週の土曜 「VoiceLunchJP#07」 ⇒ ハンズオンっぽい感じの内容の 　 ファシリテーター
4. VUI関連で作ったものの一部 ビジュアルプログラミングで Alexaスキル ＋ toio 連携 Alexaスキル ＋ ラズパイ ＋ micro:bit連携 Alexa Gadgets Toolkit の Custom Interfaces Espalexa Alexaスキル ＋ M5StickC ＆ micro:bit連携 Voiceflow Node.js・Python・ MakeCode C・MakeCode Node.js・V oiceflow
5. スマートスピーカー・ AIアシスタントの話を 出していたものの
6. それらが絡まない話
7. 今日の話題 声（や音全般）＋ 機械学習 1 2 ビジュアルプログラミング＋ スマホの音声系機能
8. Teachable Machine （by Google） 1つ目のトピック
9. 声（や音全般）＋ 機械学習 Googleさん提供の「Teachable Machine」 ⇒ ブラウザ上で学習ができて推論のお試しも
10. 声より音色がメインの 事例ですが...
11. Teachable Machine（音）を使った事例 https://www.youtube.com/watch?v=Ve6TyzzmXck
12. 音のインタフェースは...
13. 展示で年齢によらず楽しんでもらえた！ 2020年10月開催の Maker Faire Tokyo 2020 にて 中高生以上の学生さん や大人の方にも！
14. 音を対象にしたTeachable Machine 音を学習させる操作を する部分 機械学習モデルの 作成操作をする部分 音の識別を試せる 部分（モデルが できた後）
15. 音の学習は、 サイト上でボタン押下 ⇒ マイクでの録音 という流れ
16. Web上で音を識別する部分を試す 作成された機械学習モデルの推論をそのままサイト上でお試し
17. モデルデータを独自のプログラムで動かす •Teachable Machine の FAQ より 　https://teachablemachine.withgoogle.com/faq 手軽なのは JavaScriptベース のもの ⇒ p5.js ＋ p5.js の Web 　 エディタが一番手軽かも？
18. 手軽なお試し（p5.js Web Editorで試す） 機械学習モデルの クラウドへのアップ オンラインエディタで実行 （ソースコードの変更などもOK） モデルの URL は 書き換えを！
19. クラウドアップ時のURLへアクセスすると Web上でのお試しや、モデルデータのダウンロードが可能 ⇒ 学習させるデータの追加はできなそうだけど...
20. プロジェクトのファイルの保存/アップ 左上のメニューから、プロジェクトのダウンロード・アップが
21. 注意点というかコツ などに関わる部分
22. Teachable Machineの利用での注意点 •Teachable Machine の FAQ「希望どおりに動作しないのはなぜですか？」より 　https://teachablemachine.withgoogle.com/faq
23. 音の学習・モデル利用の話の一部は記事に
24. ビジュアルプログラミング でスマホアプリ＋VUI 2つ目のトピック
25. デモ動画：声の機械学習利用＋音声合成 https://www.youtube.com/watch?v=Ywu-fy5S16M Androidアプリ
26. ブロックベースのプログラミング UI を作る画面
27. Webサイト上での機械学習もできる 学習 推論 ⇒ 機械学習のモデルはダウンロードして Androidアプリへ
28. 細かな話はQiitaの記事（前後編）に モデルのデータを作る部分 Androidアプリ開発の部分
29. 将来的な話として...
30. Alexa連携用の機能が検討されてるっぽい App Inventor の AIプロジェクトの概要に関するプレゼンより ⇒ https://www.youtube.com/watch?v=mwE0gBH5ai0
31. 終わり！