Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
たぶん世界初…?Google Assistant搭載〇〇〇を作ってみた
Search
田中みそ
June 26, 2018
Programming
3
1.9k
たぶん世界初…?Google Assistant搭載〇〇〇を作ってみた
「スマートスピーカーを遊びたおす会」で発表したスライドです。
■デモ動画
https://youtu.be/nQVJRvZ0TEE
田中みそ
June 26, 2018
Tweet
Share
More Decks by 田中みそ
See All by 田中みそ
LINE x IoT 入門ハンズオン
miso
0
160
M5ATOMでNintendo Switchを自動化してみた
miso
0
390
ngrokを使ったLINE Bot開発を超絶楽ちんにする「linegrok」のご紹介
miso
0
380
opnizのご紹介
miso
0
770
ルービックキューブスクランブラーが欲しかったので作ってみた
miso
0
700
MineCraftのレッドストーンを現実世界まで拡張してみた
miso
0
140
TypeScriptでIoT開発できるらしいDeviceScriptのご紹介
miso
0
580
ngrokを使ったLINE Bot開発を超快適にする「linegrok」のご紹介
miso
0
450
ひとりopniz Meetup vol.1「opnizとは(迫真)」
miso
0
480
Other Decks in Programming
See All in Programming
On-the-fly Suggestions of Rewriting Method Deprecations
ohbarye
1
2.7k
生成AIを使ったQAアプリケーションの作成 - ハンズオン補足資料
oracle4engineer
PRO
3
240
プロダクト横断分析に役立つ、事前集計しないサマリーテーブル設計
hanon52_
2
450
趣味全開のAITuber開発
kokushin
0
200
「理解」を重視したAI活用開発
fast_doctor
0
120
メモリウォールを超えて:キャッシュメモリ技術の進歩
kawayu
0
1.9k
KawaiiLT 登壇資料 キャリアとモチベーション
hiiragi
0
120
Vibe Codingをせずに Clineを使っている
watany
17
6.3k
gen_statem - OTP's Unsung Hero
whatyouhide
1
210
[NG India] Event-Based State Management with NgRx SignalStore
markostanimirovic
1
160
PHP で学ぶ OAuth 入門
azuki
1
200
Qiita Bash
mercury_dev0517
2
200
Featured
See All Featured
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
119
51k
Put a Button on it: Removing Barriers to Going Fast.
kastner
60
3.8k
Bootstrapping a Software Product
garrettdimon
PRO
307
110k
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
9
760
Learning to Love Humans: Emotional Interface Design
aarron
273
40k
The Power of CSS Pseudo Elements
geoffreycrofte
75
5.8k
Fashionably flexible responsive web design (full day workshop)
malarkey
407
66k
Statistics for Hackers
jakevdp
798
220k
Why Our Code Smells
bkeepers
PRO
336
57k
Designing for humans not robots
tammielis
252
25k
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
19
1.1k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
29
2.5k
Transcript
たぶん世界初…? Google Assistant搭載 〇〇〇を作ってみた 田中 みそ (田中 大樹)
自己紹介 田中 みそ (田中 大樹) Qiita: miso_develop Twitter: miso_develop Facebook:
田中みそ GitHub: miso-develop
自己紹介 田中 みそ (田中 大樹) Qiita: miso_develop Twitter: miso_develop Facebook:
田中みそ GitHub: miso-develop
リリースしたアプリ/スキル クロマチックチューナー(Google Assistant/Alexa) 指定の音の正弦波を流す楽器のチューニングアプリ 相対音感クイズ(Google Assistant/Alexa)
Cの次に鳴るコードが何のコードか当てるクイズアプリ マルバツゲーム(Alexa) まんまマルバツゲームのスキル ギタースケール辞典(Alexa) 知りたいギタースケールをキーと一緒に話しかけると スケール音を教えてくれるスキル
None
Google Homeでつくるスマートホーム
None
もっと自分に合ったスマートスピーカーが あるんじゃないか…?
Google Assistant搭載 バナナパンツ
つくりかた(ハードウェア)
つくりかた(ハードウェア) バナナパンツ … 1,382円 Raspberry Pi Zero W
… 1,296円 スピーカー(Speaker pHAT) … 1,566円 マイク(USB) … 145円 モバイルバッテリー … 1,399円 SDカード … 618円 ケーブル、コネクタ … 約1,000円 合計 … 約7,406円 いるもの
Raspberry Pi Zero W Speaker pHAT モバイルバッテリー micro SD USBマイク
USB L字変換コネクタ USBケーブル USB延長ケーブル
None
None
None
None
完 成
つくりかた(ソフトウェア)
つくりかた(ソフトウェア) Google Assistant SDK Google Assistant Library
Google Assistant Service ラズパイZeroは Library非対応 ServiceはgRPCが使えれば どの言語でもOK (主要言語は大体対応) Serviceはウェイクワード が使えない…!
つくりかた(ソフトウェア) Snowboy 好きなウェイクワードを登録して使えるサービス 様々なプログラミング言語に対応
つくりかた(ソフトウェア) Snowboyでウェイクワードを検出 「OK バナナ」 ↓ Google Assistantをマイクオープン
それぞれNode.jsパッケージを使用して実装 snowboy https://github.com/kitt-ai/snowboy google-assistant https://github.com/endoplasmic/google-assistant
つくりかた(ソフトウェア) Snowboy Webページからオリジナルウェイクワードを登録し、 定義ファイルをDLして参照 感度やマイク音量を変数でいじれるので調整 ウェイクワード検知でGoogle
Assistantを マイクオープンさせる
Google Assistant SDK GCPコンソールでGoogle Assistant SDKを 有効化し、認証ファイルをDLして参照
初回起動時に接続アカウント指定 Google Assistantの音声検知イベントを拾って ローカルコマンドを実行 つくりかた(ソフトウェア)
つくりかた(ソフトウェア) ハマりどこ 突然マイクが死ぬ 録音デバイスの優先順位定義configを作成 突然Speaker pHATのLEDが死ぬ
↑の定義configを削除すると直る マイクは何故か再び死ぬことはなかった google-assistantが、ラズパイZeroじゃ スペックが低いっぽくて動かない Issueでも上がっててプルリクまで投げられてるけど マージされてない修正を適用したらとりあえずいけた
性能評価
性能評価 マイク Snowboyは感度調節できるけど認識がイマイチ… タイピング音に良く反応する Google Assistantの認識は本家と遜色ない
スピーカー 音量はわりと出る バナナパンツとしては十分 音質は見た目通りな感じ 音楽聴くには微妙だけど、音声のやりとりには十分
性能評価
性能評価 動作(速度、安定性) 反応はそこそこ遅い 所詮バナナ 応答の音声再生が不安定
改善の余地はありそうだけど反応速度と トレードオフっぽいかも
Google Assistant性能 天気とかは普通に聞ける ピカチュウトークは利用できない 「使用中のアカウントではピカチュウを利用できません」
バナナパンツとしては妥当 自作アプリや個人リリースのアプリは普通に使える IFTTT連携も問題なし 性能評価
性能評価 消費電力(稼働時間) 待機時: 約0.61Wh(約120mAh) 音楽再生時: 約1.02Wh(約200mAh)
ピーク時: 約1.53Wh(約300mAh)
性能評価 消費電力(稼働時間) 待機時: 約0.61Wh(約120mAh) 音楽再生時: 約1.02Wh(約200mAh)
ピーク時: 約1.53Wh(約300mAh) 今回使用したモバイルバッテリーの容量は6700mA 待機状態を単純計算で56時間稼働 実際はロスが発生し一般的なモバイルバッテリーのロス率は4割ほどらしい となると33.6時間ほど 丸一日は持ちそう 一ヶ月ノンストップ稼働した場合の電気代は20円~25円ほど
課題 音声出力動作の安定化 音声データの通信、復元部をいじってみる LEDをカラフルにチカチカさせたい Speaker pHATはカッコイイけどGPIO全部埋まっちゃう
Speaker pHATをやめてスピーカー部を自分で実装 マイク感度を改善 USBマイクじゃなくてGPIO実装 小型化 ついでに電源もGPIO給電にすればもっと小型化できそう
さいごに ウェアラブル音声アシストって案外いいですね 1部屋1台 → 1人1台 場所にとらわれない
今あるもの ヘッドフォン 音楽聴く時以外も着けてるのはきつい 首掛けスピーカー いい感じっぽいけど、常に着けてる感はなさそう スマートウォッチ やっぱこれが本命
おわり ご清聴ありがとうございました