Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Copilot体験の実装に役立ちそうなSemantic interpreter論文 / Sem...
Search
r-kagaya
July 05, 2023
Technology
1
610
Copilot体験の実装に役立ちそうなSemantic interpreter論文 / Semantic Interpreter for copilot implementation
r-kagaya
July 05, 2023
Tweet
Share
More Decks by r-kagaya
See All by r-kagaya
テストから始めるAgentic Coding 〜Claude Codeと共に行うTDD〜 / Agentic Coding starts with testing
rkaga
17
6.2k
コードの90%をAIが書く世界で何が待っているのか / What awaits us in a world where 90% of the code is written by AI
rkaga
54
35k
CursorとDevinが仲間!?AI駆動で新規プロダクト開発に挑んだ3ヶ月を振り返る / A Story of New Product Development with Cursor and Devin
rkaga
6
3k
データと事例で振り返るDevin導入の"リアル" / The Realities of Devin Reflected in Data and Case Studies
rkaga
3
4.5k
AIコーディングエージェントを 「使いこなす」ための実践知と現在地 in ログラス / How to Use AI Coding Agent in Loglass
rkaga
4
2.5k
AIコーディングワークフローの試行 〜AIエージェント×ワークフローでの自動化を目指して〜
rkaga
3
5.9k
Devin入門と最近のアップデートから見るDevinの進化 / Introduction to Devin and the Evolution of Devin as Seen in Recent Update
rkaga
11
6.9k
Devin入門 〜月500ドルから始まるAIチームメイトとの開発生活〜 / Introduction Devin 〜Development With AI Teammates〜
rkaga
7
5k
デザインパターンで理解するLLMエージェントの作り方 / How to develop an LLM agent using agentic design patterns
rkaga
17
7.4k
Other Decks in Technology
See All in Technology
Wasmで社内ツールを作って配布しよう
askua
0
160
Datasets for Critical Operations by Dataform
kimujun
0
130
「手を動かした者だけが世界を変える」ソフトウェア開発だけではない開発者人生
onishi
15
7.9k
少人数でも回る! DevinとPlaybookで支える運用改善
ishikawa_pro
5
1.9k
興味の胞子を育て 業務と技術に広がる”きのこ力”
fumiyasac0921
0
420
Unson OS|48時間で「売れるか」を判定する AI 市場検証プラットフォーム
unson
0
140
【CEDEC2025】現場を理解して実現!ゲーム開発を効率化するWebサービスの開発と、利用促進のための継続的な改善
cygames
PRO
0
510
2025新卒研修・HTML/CSS #弁護士ドットコム
bengo4com
2
3.3k
「育てる」サーバーレス 〜チーム開発研修で学んだ、小さく始めて大きく拡張するAWS設計〜
yu_kod
1
210
From Live Coding to Vibe Coding with Firebase Studio
firebasethailand
1
330
OpenTelemetry の Log を使いこなそう
biwashi
5
1.1k
AIに全任せしないコーディングとマネジメント思考
kikuchikakeru
0
300
Featured
See All Featured
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
34
3.1k
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
29
9.6k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
139
34k
How to Ace a Technical Interview
jacobian
278
23k
4 Signs Your Business is Dying
shpigford
184
22k
A better future with KSS
kneath
238
17k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
229
22k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
130
19k
What's in a price? How to price your products and services
michaelherold
246
12k
Building Applications with DynamoDB
mza
95
6.5k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
234
17k
Improving Core Web Vitals using Speculation Rules API
sergeychernyshev
18
1k
Transcript
1 Copilot体験の実装に役立ちそうな Semantic interpreter論文 2023.07.05 @r-kagaya LLM Meetup Tokyo #3
2 自己紹介 株式会社ログラスのソフトウェアエンジニア イネーブルメントチームの一員としてプロダクト組織の横断 課題に取り組んだ後、現在は生成AI/LLMチームの立ち上 げとLLMを用いた機能開発にトライ中 略歴 新卒で入社したヤフー株式会社でID連携システムの開発に携わった 後に、2022年に株式会社ログラスに入社 r-kagaya
@r-kagaya
3 最初にデモ
4 デモ
5 Copilot??
6 Copilot体験 (正直定義は深く考えず使ってます) ・AIアシスタントのような、何となくイメージに近そうな体験を備えたサービスは少しづつ増 えてきている ・システム側が意図を読み取って代わりにタスクをこなしてくれる体験? ・自然言語での指示は一つのパターン ・MS/Googleの二社が先行。LindyやAdeptなども良さげ ・価値の一つとして想定されるのは、利用ハードルの低下 ・Notionですら使いこなし術がバズるのに、いわんやBtoB
SaaSは
7 Copilot体験 Microsoft 365 Copilot https://xtech.nikkei.com/atcl/nxt/column/18/01679/060700115/ ・言わずと知れた代表格
8 Copilot体験 Google Duet AI https://support.google.com/docs/answer/13676332?hl=en https://it.impress.co.jp/mwimgs/7/1/-/img_7100b73084d5c6fec3acd de77e6e88b0137770.jpg ・Google Workspaceアプリに導入される
・Help me write(Googleドキュメント)で文章を自動で生成してくれたりする
9 Copilot体験 Windows Copilotも https://japan.cnet.com/article/35206022/ ・OpenAIのGPTベース ・Windowsデスクトップ常駐の対話型AI ・設定変更や各種操作、PDF文章要約といった作業を自然言語で指示可能 ・つまり進化したイルカ
10 Copilot体験 ThoughtSpot Sage https://www.thoughtspot.com/jp/product/sage ・検索形式でデータ抽出・分析が可能 ・SageがGPT-3を統合した新サービス(らしい)
11 どう作る?
12 どう作る? ミニミニミニ版を作ってみた時は 機能概要 ・経営データの集計・分析を行うレポート機能 ・レポートの生成を自然言語で行えるようにした ・ex: 2023年1月から3月の実績を教えて 内部的には ・スロットフィリング的なことをやってる
・レポート生成に必要な情報を自然言語から抽 出 ・抽出した情報を元にレポート生成
13 どう作る? 今ならFunction calling? "function_call": { "name": "genGraphFromReportData", arguments: {
"period": "[2022/04, 2022/05, 2022/06]", "amount": ["100", "200", "300"], "graph_type": "bar" } } ・想定ユースケースをひたすらFunction Calling ・レスポンスのfunction_callを見て、アプリケー ションコードを書く
14 どう作る? 良さげな論文 Natural Language Commanding via Program Synthesis https://www.itmedia.co.jp/news/articles/2306/14/news067.html
15 Semantic Interpreter
16 Semantic Interpreter Semantic Interpreter概要 ・ユーザーが入力した自然言語でPowerPointを動かす手法についての論文 ・OpenAIのtext-davinci-003モデルを利用 ざっくり流れ ・ユーザーが操作内容を入力 ・ex:
「キーポイントをすべて太くする」 ・自然言語 ⇔ Office Domain Specific Language(ODSL)への変換をLLMが担う ・Officeアプリケーション上におけるアクション表現に特化したドメイン固有言語 ・LLMフレンドリーな言語設計 ・ODSLを、アプリケーションAPI(Office-JS2など)で書かれたプログラムに変換・実行 参考: https://www.itmedia.co.jp/news/articles/2306/14/news067.html https://aiboom.net/archives/52746
17 Semantic Interpreter DSL設計 https://arxiv.org/abs/2306.03460 ・汎用プログラミング言語(JavaScript、C++など)ではなく、専用のDSLを設計 ・理由: スコープが広すぎる、安全なコードを担保するのが難しい、etc ・同じことを複数の方法で出来るようにしない方がいい ・ユーザーが簡単なundo操作で元に戻せるもの、不正な状態になる可能性がない操作に限定
・データ構造と抽象化 ・エンティティ ・ユーザーがアプリケーションで操作したい主要なデータ構造、has-a関係を持てる ・ex: slide → shape → textRange ・ステートメント ・エンティティに対する操作、関数 ・Select, Insert, format, delete
18 Semantic Interpreter 全体フロー https://arxiv.org/abs/2306.03460 ・プロンプト生成 ・カテゴリ分類 ・セマンティック検索 ・ODSL生成 ・ODSL
Interpreter ・アプリケーションコード生成
19 Semantic Interpreter ODSL https://arxiv.org/abs/2306.03460
20 ちなみにプロンプト https://arxiv.org/abs/2306.03460 ・エンティティと追加コンテキストが必 要か判定 ・エンティティやコンテキストの有無を 元にプロンプトを出しわけてるっぽい
21 ちなみにプロンプト https://arxiv.org/abs/2306.03460 ・ODSLを生成 ・エンティティ等の値に応じて、few shotのサンプルは動的に変化
22 まとめ • Copilotな体験は(少しづつ and ほぼMS/Googleだが)増えつつある ◦ システム側が意図を読み取って代わりにタスクをこなしてくれる体 験? ◦
一つのパターンが自然言語の指示 • 価値の一つとして、ユーザーの利用ハードルの低下はありそう • 参考になるアプローチとして「Semantic Interpreter」を紹介 • プロンプト構築部分などの工夫も書かれてるので興味あればぜひ ◦ https://arxiv.org/abs/2306.03460 • 読み終わらず/資料準備追いつかずだったが、色々書いてて面白い
23