たぶん世界初…？Google Assistant搭載〇〇〇を作ってみた

「スマートスピーカーを遊びたおす会」で発表したスライドです。

■デモ動画
https://youtu.be/nQVJRvZ0TEE

Transcript

1. たぶん世界初…？ Google Assistant搭載 〇〇〇を作ってみた 田中 みそ （田中 大樹）
2. 自己紹介 田中 みそ (田中 大樹) Qiita: miso_develop Twitter: miso_develop Facebook: 田中みそ GitHub: miso-develop
3. 自己紹介 田中 みそ (田中 大樹) Qiita: miso_develop Twitter: miso_develop Facebook: 田中みそ GitHub: miso-develop
4. リリースしたアプリ/スキル  クロマチックチューナー（Google Assistant/Alexa）  指定の音の正弦波を流す楽器のチューニングアプリ  相対音感クイズ（Google Assistant/Alexa）  Cの次に鳴るコードが何のコードか当てるクイズアプリ  マルバツゲーム（Alexa）  まんまマルバツゲームのスキル  ギタースケール辞典（Alexa）  知りたいギタースケールをキーと一緒に話しかけると スケール音を教えてくれるスキル
6. Google Homeでつくるスマートホーム
8. もっと自分に合ったスマートスピーカーが あるんじゃないか…？
9. Google Assistant搭載 バナナパンツ
10. つくりかた（ハードウェア）
11. つくりかた（ハードウェア）  バナナパンツ … 1,382円  Raspberry Pi Zero W … 1,296円  スピーカー(Speaker pHAT) … 1,566円  マイク(USB) … 145円  モバイルバッテリー … 1,399円  SDカード … 618円  ケーブル、コネクタ … 約1,000円  合計 … 約7,406円 いるもの
12. Raspberry Pi Zero W Speaker pHAT モバイルバッテリー micro SD USBマイク USB L字変換コネクタ USBケーブル USB延長ケーブル
17. 完 成
18. つくりかた（ソフトウェア）
19. つくりかた（ソフトウェア）  Google Assistant SDK  Google Assistant Library  Google Assistant Service ラズパイZeroは Library非対応 ServiceはgRPCが使えれば どの言語でもOK （主要言語は大体対応） Serviceはウェイクワード が使えない…！
20. つくりかた（ソフトウェア）  Snowboy  好きなウェイクワードを登録して使えるサービス  様々なプログラミング言語に対応
21. つくりかた（ソフトウェア）  Snowboyでウェイクワードを検出  「OK バナナ」 ↓  Google Assistantをマイクオープン  それぞれNode.jsパッケージを使用して実装  snowboy  https://github.com/kitt-ai/snowboy  google-assistant  https://github.com/endoplasmic/google-assistant
22. つくりかた（ソフトウェア）  Snowboy  Webページからオリジナルウェイクワードを登録し、 定義ファイルをDLして参照  感度やマイク音量を変数でいじれるので調整  ウェイクワード検知でGoogle Assistantを マイクオープンさせる
23.  Google Assistant SDK  GCPコンソールでGoogle Assistant SDKを 有効化し、認証ファイルをDLして参照  初回起動時に接続アカウント指定  Google Assistantの音声検知イベントを拾って ローカルコマンドを実行 つくりかた（ソフトウェア）
24. つくりかた（ソフトウェア） ハマりどこ  突然マイクが死ぬ  録音デバイスの優先順位定義configを作成  突然Speaker pHATのLEDが死ぬ  ↑の定義configを削除すると直る  マイクは何故か再び死ぬことはなかった  google-assistantが、ラズパイZeroじゃ スペックが低いっぽくて動かない  Issueでも上がっててプルリクまで投げられてるけど マージされてない修正を適用したらとりあえずいけた
25. 性能評価
26. 性能評価  マイク  Snowboyは感度調節できるけど認識がイマイチ…  タイピング音に良く反応する  Google Assistantの認識は本家と遜色ない
27.  スピーカー  音量はわりと出る  バナナパンツとしては十分  音質は見た目通りな感じ  音楽聴くには微妙だけど、音声のやりとりには十分 性能評価
28. 性能評価  動作（速度、安定性）  反応はそこそこ遅い  所詮バナナ  応答の音声再生が不安定  改善の余地はありそうだけど反応速度と トレードオフっぽいかも
29.  Google Assistant性能  天気とかは普通に聞ける  ピカチュウトークは利用できない  「使用中のアカウントではピカチュウを利用できません」  バナナパンツとしては妥当  自作アプリや個人リリースのアプリは普通に使える  IFTTT連携も問題なし 性能評価
30. 性能評価  消費電力（稼働時間）  待機時： 約0.61Wh（約120mAh）  音楽再生時： 約1.02Wh（約200mAh）  ピーク時： 約1.53Wh（約300mAh）
31. 性能評価  消費電力（稼働時間）  待機時： 約0.61Wh（約120mAh）  音楽再生時： 約1.02Wh（約200mAh）  ピーク時： 約1.53Wh（約300mAh）  今回使用したモバイルバッテリーの容量は6700mA  待機状態を単純計算で56時間稼働  実際はロスが発生し一般的なモバイルバッテリーのロス率は4割ほどらしい  となると33.6時間ほど  丸一日は持ちそう  一ヶ月ノンストップ稼働した場合の電気代は20円～25円ほど
32. 課題  音声出力動作の安定化  音声データの通信、復元部をいじってみる  LEDをカラフルにチカチカさせたい  Speaker pHATはカッコイイけどGPIO全部埋まっちゃう  Speaker pHATをやめてスピーカー部を自分で実装  マイク感度を改善  USBマイクじゃなくてGPIO実装  小型化  ついでに電源もGPIO給電にすればもっと小型化できそう
33. さいごに  ウェアラブル音声アシストって案外いいですね  1部屋1台 → 1人1台  場所にとらわれない  今あるもの  ヘッドフォン  音楽聴く時以外も着けてるのはきつい  首掛けスピーカー  いい感じっぽいけど、常に着けてる感はなさそう  スマートウォッチ  やっぱこれが本命
34. おわり ご清聴ありがとうございました