Lock in $30 Savings on PRO—Offer Ends Soon! ⏳

社内LLMハッカソン2024発表資料

 社内LLMハッカソン2024発表資料

Kasai Kou

June 18, 2024
Tweet

More Decks by Kasai Kou

Other Decks in Technology

Transcript

  1. 2 目次
 1. プロダクトとしての背景/機能 
 2. 技術的側面
 2.1. フロントエンド/サーバーサイド 


    2.2. 使用した AWS サービス 
 2.3. LLM 周り
 物理シミュレーション 燃焼工学 切削加工 パワー半導体 (発表者かさいの学部卒業審査時のイメージ図) 深層学習
  2. 1 プロダクトとしての背景/機能
 スライド準備
 「これだけしっかり説明したら 大丈夫でしょう?」
 「このスライドならこんな質問 とんできそうだな〜」 
 いざ発表
 「発表緊張するけどスライド

    しっかりまとめたからやりやす いね」
 質問タイム
 「(想定外な角度で質問され た、どうするのこれ?)」 
 「(その質問ワタシに聞かれて も困りますが?)」
 みんなこれを回避したい 5
  3. 3.1 技術的側面 - フロントエンド/サーバーサイド
 それぞれ似たような選定をした
 特殊なことはやっていない
 フロントエンド
 • next.js (TS)

    で実装 
 • S3 バケットに配置して CSR で動かすことを 想定
 サーバーサイド
 • nest.js (TS) で実装 
 • Docker コンテナ上で動かすことを想定 
 GraphQL を用いて通信を行う 13
  4. 3.2 技術的側面 - 使用したAWSサービス
 サーバーは ECS on Fargate + ALB

    構成 デプロイは ecspresso を使用 Fargate を Public Subnet に置きつつもVPC 内か らの inbound のみに絞るセキュリティグループを引 いたため、 ECR へアクセスするための VPC Endpoint を使用した ecspresso: https://github.com/kayac/ecspresso 17
  5. 3.2 技術的側面 - LLM 周り
 Amazon Bedrock を使用
 Amazon Bedrock

    の claude 3 haiku を使用 
 • 現状スループットが最速
 • このために展開先リージョンが us-east-1 になっている
 • 東京リージョンでの利用可能待ってます!
 
 YAML による出力を指示 
 • ある程度構造化することで1回のリクエストで複数の 要求を行うことができる
 • YAML オブジェクトの指定時に文章の指示を入れる ことで指示内容に対して忠実になる
 • エスケープシーケンスなどのフォーマット特有の考慮 もれが JSON よりも少ない
 21
  6. 3.2 技術的側面 - LLM 周り
 次のような YAML 形式でレビュー及び想定質問を提案してください。 questions: -

    | (ペルソナが持っているスキル)から考えられる150字程度の質問 - | (ペルソナが持っているスキル)から考えられる150字程度の質問 review: - | 発表原稿に対する 200 字程度のレビュー 指示に使用しているプロンプト(抜粋) 22