Share
Embed
Googleアシスタントについて
VoiceUI Nagoya #1 - connpass - https://voiceui-nagoya.connpass.com/event/151291/
sichien
December 07, 2019
Transcript
39 slides
-
My Profile 一円 真治 - Shinji Ichien Twitter: @1coin178 Yahoo
Japan Corporation FE Enginner 発売中 -
Googleアシスタント とは • 2016年のGoogle I/Oで発表 • 2016年のGoogle I/Oで発表 • Google社のAIアシスタント
• 多様なデバイスで利用可能 スマホ、スピーカー、車、TV、時 計、イヤホン • 単独で結構賢い -
Duplex on the Web 電話代行タスクから Web上のタスクまで拡張 できること • レンタカー予約
• 映画のチケット予約 ユーザは複数の画面遷移、 form入力の手間が省ける -
次世代アシスタント への進化 Googleアシスタントのモデルを 100GB -> 0.5GBまで縮小 モバイルデバイスに インストールが可能に オフライン
+ 高速応答を実現 ストレスフリーな連続会話 日常のタスクを簡素化する アシスタントへ Pixel4, 次期Pixel Buds, Nest mini, Nest Wifiに搭載(?) -
App Actions Google アシスタントから Androidアプリをディープリンクで起動 アプリの複数の操作タスクを 音声コマンドでショートカット - ex)「Hey Google,
start my run in Nike Run Club」 アプリ起動 + ランニング開始 -
App Actions Google アシスタントから Androidアプリをディープリンクで起動 アプリの複数の操作タスクを 音声コマンドでショートカット - ex)「Hey Google,
start my run in Nike Run Club」 アプリ起動 + ランニング開始 -
アプリの呼び出し方 • アプリ名:「アクション」 ◦ Alexa・Clova はスキル • 呼び出し方: ◦ 「Ok,
Google. <アクション名>につないで」 • インストールが不要。呼び出すだけ。 • Explicit/Implicit Invocation -
標準開発環境 Actions on Google • Googleアシスタントを 機能拡張する開発者向けの プラットフォーム • アプリの設定管理,シミュレータ
などの機能がある。 リリース管理も。 • Webツール Dialogflow • 自然言語対話 プラットフォーム • アプリの会話フローの構築や会 話文からフレーズの抽出、会話 分析が可能 • Webツール • FirebaseのFaaS • アプリのバックエンド処理を担う • 他のFirebase機能との • 連携に強み • Node.jsが実行可能 プログラミング不要 プログラミング不要 -
AoG Client Libraryについて • Dialogflowからのリクエストを扱いやすく • Intentに対応するバックエンドでの処理の実装を簡単に • Actions on
Googleの機能利用をサポート • GUI • 位置情報取得 • ログイン etc.. • 利用可能言語 言語 主なバックエンド実行環境 -
AoG Client Library for Node.js の使い方【1/3】 • npmでインストール ◦ npm
install actions-on-google --save ◦ npm install firebase-functions --save const { dialogflow } = require('actions-on-google') const functions = require('firebase-functions') const app = dialogflow() exports.endpoint = functions.https.onRequest(app) app.intent('Default Welcome Intent', conv => { conv.ask('アプリが起動しました。何か話してください ') }) app.intent('Good Bye', conv => { conv.close('会話を終了します。さようなら ') }) -
• npmでインストール ◦ npm install actions-on-google --save ◦ npm install
firebase-functions --save • 会話に対する処理のハンドルに DialogflowApp クラスを利用。 const { dialogflow } = require('actions-on-google') const functions = require('firebase-functions') const app = dialogflow() exports.endpoint = functions.https.onRequest(app) app.intent('Default Welcome Intent', conv => { conv.ask('アプリが起動しました。何か話してください ') }) app.intent('Good Bye', conv => { conv.close('会話を終了します。さようなら ') }) AoG Client Library for Node.js の使い方【2/3】 -
• npmでインストール ◦ npm install actions-on-google --save ◦ npm install
firebase-functions --save • 会話に対する処理のハンドルに DialogflowApp クラスを利用。 • DialogflowからのIntentに対する処理を定義 app.intent(‘Intent名’), conv => { // 会話に対する処理 }) 応答メソッド 説明 conv.ask 応答 + 返答待ち conv.close 応答 + アプリ終了 const { dialogflow } = require('actions-on-google') const functions = require('firebase-functions') const app = dialogflow() exports.endpoint = functions.https.onRequest(app) app.intent('Default Welcome Intent', conv => { conv.ask('アプリが起動しました。何か話してください ') }) app.intent('Good Bye', conv => { conv.close('会話を終了します。さようなら ') }) AoG Client Library for Node.js の使い方【3/3】 -
まとめ これまでの感想 • Googleアシスタントの可能性は広がっている • 日本未対応が多い... •
マネタイズやインセンティブが弱い... • ユーザを引きつける1つの入口となりうる • 2AppのApp Actions, Interactive canvasは要注目 -
参考記事 • Google Developers Japan: I/O 2019 の Actions on
Google: ウェブ、モバイル、スマートホーム デベロッパー 向けの新ツール - https://developers-jp.googleblog.com/2019/05/io-2019-actions-on-google.html • Bringing you the next-generation Google Assistant - https://www.blog.google/products/assistant/next-generation-google-assistant-io/ -
Google I/O 2019 session • Google Developers Blog: Check out
the Google Assistant talks at I/O 2019 - https://developers.googleblog.com/2019/04/check-out-google-assistant-talks-at-io.html • Assistant at Google I/O 2019 - YouTube - https://www.youtube.com/playlist?list=PLOU2XLYxmsIK5JcIMUhrPH7T0lHBrKbER -
機能ごとのドキュメント・サンプルコード • App Actions ◦ Extend your Android app
▪ https://developers.google.com/actions/app/ ◦ actions-on-google/appactions-fitness-kotlin ▪ https://github.com/actions-on-google/appactions-fitness-kotlin ◦ Implement built-in intents for App Actions ▪ https://developers.google.com/actions/appactions/bii-integrations • How-to ◦ Build a How-to Action with markup | Actions on Google Web Content | Google Developers - https://developers.google.com/actions/content-actions/how-to ◦ HowTo - schema.org - https://schema.org/HowTo • How-to Video template ◦ Create a How-to Video Action using templates | Actions on Google Templates | Google Developers - https://developers.google.com/actions/templates/how-to • FAQs ◦ Build an FAQ Action with markup | Actions on Google Web Content | Google Developers - https://developers.google.com/actions/content-actions/faq • Mini-Apps ◦ 米Google、検索と Google Assistant でインタラクティブなライブコンテンツを提供する Mini-apps を発表 #io19 #io19jp ::SEM R (#SEMR) - http://www.sem-r.com/news-2019/20190513030247.html -
機能ごとのドキュメント・サンプルコード • Interactive canvas ◦ https://developers.google.com/actions/web/ ◦ Build
Interactive Games for the Google Assistant (Google I/O'19) - YouTube - https://www.youtube.com/watch?v=J8lsvvJ21Ok&list=PLOU2XLYxmsILVTiOlMJdo7RQS55jYhsMi&in dex=55&t=0s ◦ https://github.com/actions-on-google/dialogflow-interactive-canvas-nodejs