スマートスピーカー（AIアシスタント）以外のVoice関連の話をしてみる / #AR_Fukuoka #VUIFukuoka

2021年2月24日 (水) xTech ゆるっとLT: VUI Fukuoka and AR_Fukuoka @オンライン　　豊田
陽介 ( @youtoy ) スマートスピーカー（AIアシスタント）以外のVoice関連の話をしてみる

豊田陽介（@youtoy）自己紹介普段は、某通信会社の研究所勤務話題のものをたくさん購入している気がする IT系イベント主催・登壇・運営、多数参加子ども向けの活動いろいろ（IT系以外も）プライベートでの活動ガジェット好きその他
主催テーマ：ビジュアルプログラミング、IoT、ロボットトイ、メカトロなど

VUI関連の活動などスマートスピーカー Advent Calendar 2020 で書いた記事 ⇒ IFTTT で Alexa・Google
Assistant を利用して IFTTT Pro の新機能　（クエリー・フィルター）との組み合わせも試す - Qiita ヒーローズ・リーグ（旧 Mashup Awards）のVUI部門 ⇒ オーガナイザー（2018〜2020）今週の土曜「VoiceLunchJP#07」 ⇒ ハンズオンっぽい感じの内容の　ファシリテーター

VUI関連で作ったものの一部ビジュアルプログラミングで Alexaスキル＋ toio 連携 Alexaスキル＋ラズパイ＋
micro:bit連携 Alexa Gadgets Toolkit の Custom Interfaces Espalexa Alexaスキル＋ M5StickC ＆ micro:bit連携 Voiceﬂow Node.js・Python・ MakeCode C・MakeCode Node.js・V oiceﬂow

スマートスピーカー・ AIアシスタントの話を出していたものの

それらが絡まない話

今日の話題声（や音全般）＋機械学習 1 2 ビジュアルプログラミング＋スマホの音声系機能

Teachable Machine （by Google） 1つ目のトピック

声（や音全般）＋機械学習 Googleさん提供の「Teachable Machine」 ⇒ ブラウザ上で学習ができて推論のお試しも

声より音色がメインの事例ですが...

Teachable Machine（音）を使った事例 https://www.youtube.com/watch?v=Ve6TyzzmXck

音のインタフェースは...

展示で年齢によらず楽しんでもらえた！ 2020年10月開催の Maker Faire Tokyo 2020 にて中高生以上の学生さんや大人の方にも！

音を対象にしたTeachable Machine 音を学習させる操作をする部分機械学習モデルの作成操作をする部分音の識別を試せる部分（モデルができた後）

音の学習は、サイト上でボタン押下 ⇒ マイクでの録音という流れ

Web上で音を識別する部分を試す作成された機械学習モデルの推論をそのままサイト上でお試し

モデルデータを独自のプログラムで動かす •Teachable Machine の FAQ より　https://teachablemachine.withgoogle.com/faq 手軽なのは JavaScriptベースのもの
⇒ p5.js ＋ p5.js の Web 　エディタが一番手軽かも？

手軽なお試し（p5.js Web Editorで試す）機械学習モデルのクラウドへのアップオンラインエディタで実行（ソースコードの変更などもOK）モデルの URL は
書き換えを！

クラウドアップ時のURLへアクセスすると Web上でのお試しや、モデルデータのダウンロードが可能 ⇒ 学習させるデータの追加はできなそうだけど...

プロジェクトのファイルの保存/アップ左上のメニューから、プロジェクトのダウンロード・アップが

注意点というかコツなどに関わる部分

Teachable Machineの利用での注意点 •Teachable Machine の FAQ「希望どおりに動作しないのはなぜですか？」より　https://teachablemachine.withgoogle.com/faq

音の学習・モデル利用の話の一部は記事に

ビジュアルプログラミングでスマホアプリ＋VUI 2つ目のトピック

デモ動画：声の機械学習利用＋音声合成 https://www.youtube.com/watch?v=Ywu-fy5S16M Androidアプリ

ブロックベースのプログラミング UI を作る画面

Webサイト上での機械学習もできる学習推論 ⇒ 機械学習のモデルはダウンロードして Androidアプリへ

細かな話はQiitaの記事（前後編）にモデルのデータを作る部分 Androidアプリ開発の部分

将来的な話として...

Alexa連携用の機能が検討されてるっぽい App Inventor の AIプロジェクトの概要に関するプレゼンより ⇒ https://www.youtube.com/watch?v=mwE0gBH5ai0

終わり！

スマートスピーカー（AIアシスタント）以外のVoice関連の話をしてみる / #AR_Fuku...