Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Copilot体験の実装に役立ちそうなSemantic interpreter論文 / Sem...
Search
r-kagaya
July 05, 2023
Technology
0
570
Copilot体験の実装に役立ちそうなSemantic interpreter論文 / Semantic Interpreter for copilot implementation
r-kagaya
July 05, 2023
Tweet
Share
More Decks by r-kagaya
See All by r-kagaya
Devin入門 〜月500ドルから始まるAIチームメイトとの開発生活〜 / Introduction Devin 〜Development With AI Teammates〜
rkaga
5
1.8k
デザインパターンで理解するLLMエージェントの作り方 / How to develop an LLM agent using agentic design patterns
rkaga
15
5.9k
Automated Promptingを目指すその前に / Before we can aim for Automated Prompting
rkaga
0
220
音声AIエージェントの世界とRetell AI入門 / Introduction to the World of Voice AI Agents and Retell AI
rkaga
5
1.4k
Amazon Bedrockで行うモデル評価入門 / Introduction to Model Evaluation in Amazon Bedrock
rkaga
3
1.9k
時系列基盤モデルの世界
rkaga
6
4k
TypeScriptでもLLMアプリケーション開発 / LLM Application In Typescript
rkaga
6
2.1k
ログラスの継続的なプロンプト改善のためのLLMOpsの今 / LLMOps at loglass now
rkaga
2
1.6k
GPTsをMVPに使うアジャイルな社内LLMツール開発 / Agile in-house LLM tool development using GPTs as MVPs
rkaga
5
2.5k
Other Decks in Technology
See All in Technology
LangGraph × Bedrock による複数の Agentic Workflow を利用した Supervisor 型のマルチエージェントの実現/langgraph-bedrock-supervisor-agent
ren8k
4
490
20250304_赤煉瓦倉庫_DeepSeek_Deep_Dive
hiouchiy
2
160
AI-Driven-Development-20250310
yuhattor
3
340
AIエージェント開発のノウハウと課題
pharma_x_tech
10
5.9k
スクラムというコンフォートゾーンから抜け出そう!プロジェクト全体に目を向けるインセプションデッキ / Inception Deck for seeing the whole project
takaking22
4
390
プロダクト開発者目線での Entra ID 活用
sansantech
PRO
0
300
Log Analytics を使った実際の運用 - Sansan Data Hub での取り組み
sansantech
PRO
0
270
エンジニアリング 💰Moneyジャー / Engineering Money-ger
kenchan
2
280
完璧を捨てろ! “攻め”のQAがもたらすスピードと革新/20250306 Hiroki Hachisuka
shift_evolve
0
190
やっぱり余白が大切だった話
kakehashi
PRO
3
390
アジリティを高めるテストマネジメント #QiitaQualityForward
makky_tyuyan
1
750
クラウド関連のインシデントケースを収集して見えてきたもの
lhazy
10
2.2k
Featured
See All Featured
GraphQLの誤解/rethinking-graphql
sonatard
69
10k
Docker and Python
trallard
44
3.3k
Optimizing for Happiness
mojombo
377
70k
Art, The Web, and Tiny UX
lynnandtonic
298
20k
Done Done
chrislema
182
16k
Mobile First: as difficult as doing things right
swwweet
223
9.5k
Chrome DevTools: State of the Union 2024 - Debugging React & Beyond
addyosmani
4
400
Java REST API Framework Comparison - PWX 2021
mraible
29
8.4k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
32
2.2k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
47
5.3k
How to Ace a Technical Interview
jacobian
276
23k
Measuring & Analyzing Core Web Vitals
bluesmoon
6
270
Transcript
1 Copilot体験の実装に役立ちそうな Semantic interpreter論文 2023.07.05 @r-kagaya LLM Meetup Tokyo #3
2 自己紹介 株式会社ログラスのソフトウェアエンジニア イネーブルメントチームの一員としてプロダクト組織の横断 課題に取り組んだ後、現在は生成AI/LLMチームの立ち上 げとLLMを用いた機能開発にトライ中 略歴 新卒で入社したヤフー株式会社でID連携システムの開発に携わった 後に、2022年に株式会社ログラスに入社 r-kagaya
@r-kagaya
3 最初にデモ
4 デモ
5 Copilot??
6 Copilot体験 (正直定義は深く考えず使ってます) ・AIアシスタントのような、何となくイメージに近そうな体験を備えたサービスは少しづつ増 えてきている ・システム側が意図を読み取って代わりにタスクをこなしてくれる体験? ・自然言語での指示は一つのパターン ・MS/Googleの二社が先行。LindyやAdeptなども良さげ ・価値の一つとして想定されるのは、利用ハードルの低下 ・Notionですら使いこなし術がバズるのに、いわんやBtoB
SaaSは
7 Copilot体験 Microsoft 365 Copilot https://xtech.nikkei.com/atcl/nxt/column/18/01679/060700115/ ・言わずと知れた代表格
8 Copilot体験 Google Duet AI https://support.google.com/docs/answer/13676332?hl=en https://it.impress.co.jp/mwimgs/7/1/-/img_7100b73084d5c6fec3acd de77e6e88b0137770.jpg ・Google Workspaceアプリに導入される
・Help me write(Googleドキュメント)で文章を自動で生成してくれたりする
9 Copilot体験 Windows Copilotも https://japan.cnet.com/article/35206022/ ・OpenAIのGPTベース ・Windowsデスクトップ常駐の対話型AI ・設定変更や各種操作、PDF文章要約といった作業を自然言語で指示可能 ・つまり進化したイルカ
10 Copilot体験 ThoughtSpot Sage https://www.thoughtspot.com/jp/product/sage ・検索形式でデータ抽出・分析が可能 ・SageがGPT-3を統合した新サービス(らしい)
11 どう作る?
12 どう作る? ミニミニミニ版を作ってみた時は 機能概要 ・経営データの集計・分析を行うレポート機能 ・レポートの生成を自然言語で行えるようにした ・ex: 2023年1月から3月の実績を教えて 内部的には ・スロットフィリング的なことをやってる
・レポート生成に必要な情報を自然言語から抽 出 ・抽出した情報を元にレポート生成
13 どう作る? 今ならFunction calling? "function_call": { "name": "genGraphFromReportData", arguments: {
"period": "[2022/04, 2022/05, 2022/06]", "amount": ["100", "200", "300"], "graph_type": "bar" } } ・想定ユースケースをひたすらFunction Calling ・レスポンスのfunction_callを見て、アプリケー ションコードを書く
14 どう作る? 良さげな論文 Natural Language Commanding via Program Synthesis https://www.itmedia.co.jp/news/articles/2306/14/news067.html
15 Semantic Interpreter
16 Semantic Interpreter Semantic Interpreter概要 ・ユーザーが入力した自然言語でPowerPointを動かす手法についての論文 ・OpenAIのtext-davinci-003モデルを利用 ざっくり流れ ・ユーザーが操作内容を入力 ・ex:
「キーポイントをすべて太くする」 ・自然言語 ⇔ Office Domain Specific Language(ODSL)への変換をLLMが担う ・Officeアプリケーション上におけるアクション表現に特化したドメイン固有言語 ・LLMフレンドリーな言語設計 ・ODSLを、アプリケーションAPI(Office-JS2など)で書かれたプログラムに変換・実行 参考: https://www.itmedia.co.jp/news/articles/2306/14/news067.html https://aiboom.net/archives/52746
17 Semantic Interpreter DSL設計 https://arxiv.org/abs/2306.03460 ・汎用プログラミング言語(JavaScript、C++など)ではなく、専用のDSLを設計 ・理由: スコープが広すぎる、安全なコードを担保するのが難しい、etc ・同じことを複数の方法で出来るようにしない方がいい ・ユーザーが簡単なundo操作で元に戻せるもの、不正な状態になる可能性がない操作に限定
・データ構造と抽象化 ・エンティティ ・ユーザーがアプリケーションで操作したい主要なデータ構造、has-a関係を持てる ・ex: slide → shape → textRange ・ステートメント ・エンティティに対する操作、関数 ・Select, Insert, format, delete
18 Semantic Interpreter 全体フロー https://arxiv.org/abs/2306.03460 ・プロンプト生成 ・カテゴリ分類 ・セマンティック検索 ・ODSL生成 ・ODSL
Interpreter ・アプリケーションコード生成
19 Semantic Interpreter ODSL https://arxiv.org/abs/2306.03460
20 ちなみにプロンプト https://arxiv.org/abs/2306.03460 ・エンティティと追加コンテキストが必 要か判定 ・エンティティやコンテキストの有無を 元にプロンプトを出しわけてるっぽい
21 ちなみにプロンプト https://arxiv.org/abs/2306.03460 ・ODSLを生成 ・エンティティ等の値に応じて、few shotのサンプルは動的に変化
22 まとめ • Copilotな体験は(少しづつ and ほぼMS/Googleだが)増えつつある ◦ システム側が意図を読み取って代わりにタスクをこなしてくれる体 験? ◦
一つのパターンが自然言語の指示 • 価値の一つとして、ユーザーの利用ハードルの低下はありそう • 参考になるアプローチとして「Semantic Interpreter」を紹介 • プロンプト構築部分などの工夫も書かれてるので興味あればぜひ ◦ https://arxiv.org/abs/2306.03460 • 読み終わらず/資料準備追いつかずだったが、色々書いてて面白い
23