Upgrade to Pro — share decks privately, control downloads, hide ads and more …

LLMを型安全に使うTips

Sponsored · Your Podcast. Everywhere. Effortlessly. Share. Educate. Inspire. Entertain. You do you. We'll handle the rest. →
Avatar for NakamuraTakumi NakamuraTakumi
May 17, 2024
Programming
150
0

 LLMを型安全に使うTips

#TSKaigi_学生LT
TypeScriptでOpenAIのGPTなどのLLMを、型安全に扱うための手法を紹介します

Avatar for NakamuraTakumi

NakamuraTakumi

May 17, 2024

More Decks by NakamuraTakumi

See All by NakamuraTakumi
MCPで実現するAIエージェント駆動のNext.jsアプリデバッグ手法
Avatar for NakamuraTakumi nyatinte
8
1.5k

Other Decks in Programming

See All in Programming
Creating Composable Callables in Contemporary C++
Avatar for Björn Fahller rollbear
0
130
ECSアプリログをFireLensでコスト削減しようとしたけど諦めた話 in Fargate×Node.js
Avatar for アキキー | Akihisa Ikeda akihisaikeda
2
4.2k
技術記事、AIに書かせるか、自分で書くか？ 〜それでも私が自分の手で書く理由〜 / #QiitaConference
Avatar for Junichi Ito jnchito
2
1.4k
LLM本来の能力を解き放つサンドボックス技術とAI民主化への適用
Avatar for Yuku Kotani yukukotani
3
4k
Javaの型とAI時代に型が大事な理由 / java types and type in AI era
Avatar for Naoki Kishida kishida
2
140
jQueryをバージョンアップする前に使いたいjQuery Migrate
Avatar for Atsushi Matsuo matsuo_atsushi
0
500
Oxcを導入して開発体験が向上した話
Avatar for Yuji Yamaguchi yug1224
4
310
その問い、本当に正しいですか？AI時代のエンジニアに必要な哲学と認知科学 / ai-philosophy-cognitive-science
Avatar for MinoDriven minodriven
9
5.1k
ユニットテストの先へ：テスト技法で要求・仕様を整理するJava開発実践 / Beyond_Unit_Testing_Practical_Java_Development_Techniques_for_Organizing_Requirements_and_Specifications
Avatar for SHIMANE, Yoshikazu shimashima35
0
400
CSC307 Lecture 17
Avatar for Javier Gonzalez-Sanchez javiergs
PRO
0
320
OSもどきOS
Avatar for Sora Arakawa arkw
0
570
Lemonade + Foundry Toolkit でお手軽アプリ開発
Avatar for 瀬尾佳隆 seosoft
1
340

Featured

See All Featured
Test your architecture with Archunit
Avatar for Yoan thirion
1
2.3k
ピンチをチャンスに：未来をつくるプロダクトロードマップ #pmconf2020
Avatar for Aki / @LoveIdahoBurger aki_iinuma
128
56k
Sam Torres - BigQuery for SEOs
Avatar for Tech SEO Connect techseoconnect
PRO
0
290
Dominate Local Search Results - an insider guide to GBP, reviews, and Local SEO
Avatar for Greg Gifford greggifford
PRO
0
190
What does AI have to do with Human Rights?
Avatar for Per Axbom axbom
PRO
1
2.2k
What's in a price? How to price your products and services
Avatar for Michael Herold michaelherold
247
13k
Optimising Largest Contentful Paint
Avatar for Harry Roberts csswizardry
37
3.7k
Typedesign – Prime Four
Avatar for Hannes Fritz hannesfritz
42
3.1k
Six Lessons from altMBA
Avatar for Skipper Chong Warson skipperchong
29
4.3k
Code Review Best Practice
Avatar for Trisha Gee trishagee
74
20k
How to Build an AI Search Optimization Roadmap - Criteria and Steps to Take #SEOIRL
Avatar for Aleyda Solis aleyda
1
2.1k
HU Berlin: Industrial-Strength Natural Language Processing with spaCy and Prodigy
Avatar for Ines Montani inesmontani
PRO
0
410

Transcript

  1. Takumi Nakamura (@nyatinte) 2024/5/17 #TSKaigi_学生LT LLMを型安全に使う Tips

  2. About Me GitHub: nyatinte X: nyatinte にゃちんてと読みます Takumi Nakamura (@nyatinte)

    （にゃちんて） 横浜市立大学データサイエンス学部4年 フリーランスでWebエンジニアをやっています 最近は生成AIのスタートアップで働いています TypeScript歴3年目突入 TSKaigiにも参加していました！

  3. LLM + TypeScriptで アプリを作りたい

  4. TypeScriptについて 教えて TypeScriptは JavaScriptの… かしこまりました。 TypeScriptは… 出力の不安定さ ユーザー LLM

  5. 私5月11日にTSKaigiというTypeScriptのカン ファレンスに参加しました。 TypeScriptに関するノウハウを得ることが でき、とても有意義な時間を過ごすできまし た。 また、参加者の人々と交流することで、モ チベーションが高めることができました。 LLMを使った擬似アプリをTSで実装したい 「LLMを利用した日本語添削ツール」 添削

    型変換 誤字を含む日本語文章

  6. Level1 工夫なしで実装する

  7. None

  8. 型と出力フォーマットの差が 生じた時に気付けない 型アサーション（as）

  9. Level2 TypeChat

  10. None

  11. Zodスキーマでレスポンスを定義 ↑を解析し、型の文字列に レスポンスのバリデーション失敗 時に、自動でリトライ

  12. Zod　スキーマ宣言とバリデーション

  13. 送信されるプロンプト

  14. 送信されるプロンプト Zodスキーマの 情報が含まれる

  15. TypeChatの限界 変換タスクに特化している 型に変換はできるが、文章の校閲までは行えない OpenAIとAzure OpenAIのサポートはあるが、他のLLMのサポートは微妙 createFetchLanguageModelを使えば実現はできるが、型付きSDKの恩恵 を受けられない AnthropicのClaude3 Opusなどの強力なモデルが登場しているので痛い

  16. 出典: Chatbot Arena Leaderboard（2024/05/14） https://chat.lmsys.org/

  17. Level3

  18. 求められる機能 型と出力フォーマットは常に一致する LLMの出力はバリデーションされ、安全に扱える リトライ機能 特定のLLMに依存しない 変換タスク以外もこなすことができる

  19. 型と出力フォーマットを一致させる

  20. zod-to-ts Zodスキーマでレスポンスを定義 スキーマが文字列に変換される

  21. None

  22. 型と出力フォーマットの 一致 リトライ機構 レスポンスの バリデーション

  23. 求められる機能 型と出力フォーマットは常に一致する → zod-to-ts LLMの出力はバリデーションされ、安全に扱える → zod リトライ機能 → ts-retryなど

    特定のLLMに依存しない → OK 変換タスク以外もこなすことができる → OK

  24. Thank you for listening!