Upgrade to Pro — share decks privately, control downloads, hide ads and more …

生成系 AI でプロダクトの価値を高めるには

Takahiro Kubo
November 16, 2023

生成系 AI でプロダクトの価値を高めるには

自社のサービスや業務から、どのように生成系 AI に適したユースケースを発見すればよいのかのガイドです。 プレゼンテーションの内容を参照することで、自社の状況を把握し、生成系 AI でプロダクトの価値を上げるための 3 ステップを開始することができます。

ML Enablement Workshop
https://github.com/aws-samples/aws-ml-enablement-workshop

LLM Token Counter
https://huggingface.co/spaces/icoxfog417/llm-token-counter

Takahiro Kubo

November 16, 2023
Tweet

More Decks by Takahiro Kubo

Other Decks in Business

Transcript

  1. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
    © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
    生成系 AI でプロダクトの価値を
    高めるには
    Machine Learning Developer Relations
    Takahiro Kubo
    アマゾン ウェブ サービス ジャパン合同会社

    View full-size slide

  2. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
    本セッションのゴール
    自社の状況を把握し、生成系 AI でプロダクトの価値を
    上げるための 3 ステップを開始すること。
    Amazon Bedrock などサービスの詳細はこの後で!

    View full-size slide

  3. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 3
    自己紹介
    アマゾン ウェブ サービス ジャパン合同会社
    Machine Learning Developer Relations
    久保隆宏 (Kubo Takahiro)
    ミッション
    「機械学習を実用するなら AWS 」という認知を拡大すること。
    10 年以上の業務コンサルタント経験、また研究開発していたテーマをプロダクトと
    してリリースした経験をもとにお話しします。

    View full-size slide

  4. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
    本日のアジェンダ
    1. 自社の現状を分析する
    2. 生成系 AI を価値創出に活かす 3 ステップ
    3. 今日から始めるチャレンジ

    View full-size slide

  5. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
    本日のアジェンダ
    1. 自社の現状を分析する
    2. 生成系 AI を価値創出に活かす 3 ステップ
    3. 今日から始めるチャレンジ

    View full-size slide

  6. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 6
    組織の状況を知るための分類
    研究や実証実験の
    プレスリリースの数
    製品化した回数
    どれだけ新しい技術
    のキャッチアップに
    慣れているか
    どれだけ自社独自の
    強みを蓄積できてい
    るか

    View full-size slide

  7. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 7
    製品化、研究の先進的事例
    3 週間で画像生成機能を 1 億ユーザーの
    サービスに提供
    いち早く長いコンテキストを扱える
    基盤モデルを開発

    View full-size slide

  8. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 8
    研究や実証実験の
    プレスリリースの数
    製品化した
    回数
    組織の状況をステップアップさせるには製品化が不可欠
    スタート
    ゴール
    社内でも社外でも
    使える形にしないと
    「使われるか」わか
    らない
    スタート

    View full-size slide

  9. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
    「もし最初に公開したプロダクトを見て恥ずかしさを覚えな
    かったなら、それはローンチが遅すぎたということだ。」
    LinkedIn 創始者 Reid Hoffman 氏
    9

    View full-size slide

  10. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
    本日のアジェンダ
    1. 自社の現状を分析する
    2. 生成系 AI を価値創出に活かす 3 ステップ
    3. 今日から始めるチャレンジ

    View full-size slide

  11. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
    価値 is 何 ?
    LTV(Life Time Value:顧客生涯価値)が一つの考え方
    顧客単価 x 収益率 x 購買頻度 x 継続期間
    顧客にとって高くても頻繁に長く使いたいサービスで、
    コスト効率よく提供できると高まる。
    11

    View full-size slide

  12. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
    ゴールにたどり着くには、 3 つのフェーズが必要
    12
    Biz
    Dev
    ML
    適切なユースケースを選定する。
    顧客にとって高くても頻繁に長く使いたい用途の発見。
    顧客体験を実現するコスト効率の良い技術を選定。
    体験の確実性、また収益・安全性を担保。
    継続的なモデル改善の仕組みを作る。
    モデルの継続的な改善で機能を洗練させる。

    View full-size slide

  13. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
    Biz フェーズ

    View full-size slide

  14. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
    Customer
    Experience
    Traffic
    Data
    Data Driven
    Decision
    Growth
    AI / ML で価値が高まるサイクル
    ②利益
    ③モデルの改善
    ①顧客体験の改善
    Biz
    • 良く使いたくなる
    • 長く使いたくなる
    • 高い単価でも許容する
    研究で機能を洗練させる
    製品化で顧客に届ける

    View full-size slide

  15. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
    Amazon の例
    15
    検索体験を
    基盤モデルで改善。
    目的のアイテムが
    すぐに買えることで
    他社への切り替えが
    少なくなる
    =頻度が高まる。
    実際使われた/購入
    につながった
    サジェストのデータ
    でモデルをより洗練。
    ①顧客体験の改善 ②利益 ③モデルの改善
    Biz

    View full-size slide

  16. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
    Amazon の例
    16
    検索体験を
    基盤モデルで改善。
    目的のアイテムが
    すぐに買えることで
    他社への切り替えが
    少なくなる。
    (※ Amazon で見つからな
    いから xxx で買うなど)
    実際使われた/購入
    につながった
    サジェストのデータ
    でモデルをより洗練。
    ①顧客体験の改善 ②利益 ③モデルの改善
    Biz
    Biz フェーズでは、この 3 点を満たしているかを検証する

    View full-size slide

  17. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
    社内業務コスト削減と顧客体験改善どっちがいい ?
    17

    View full-size slide

  18. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
    社内業務コスト削減より顧客体験改善を目指す理由
    顧客単価 x 収益率 x 購買頻度 x 継続期間
    18
    社内業務コスト削減は基本 1 つの項にしか効かないが、
    顧客体験の改善は 3 つに効く。
    3 倍効率がいい

    View full-size slide

  19. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
    Biz フェーズ練習問題
    生成系 AI でコールセンターをいい感じにしたい
    By 社長
    19
    ①顧客体験の改善は?
    ②利益は
    ③モデルの改善は?
    Biz

    View full-size slide

  20. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
    Biz フェーズ練習問題 ( 回答例 )
    20
    ①顧客体験の改善 ②利益 ③モデルの改善
    Biz
    オペレーターにつながるま
    での間、音声通話ボットで
    お客様の状況をヒアリング。
    ヒアリング内容をまとめた
    レポートを生成することで
    体感待ち時間の削減、説明
    の二度手間を実現。
    「同じ説明の強要」「長い
    待ち時間」を解消すること
    で利用を継続いただける。
    61% の消費者は一度でも
    不愉快な経験があると他社
    に乗り換える (Zendesk 2022) 。
    上記 2 点は不愉快な経験
    Top3 にランクイン。
    オペレーターが、レポート
    の誤りをチェック。
    エラーパターンを分析し、
    音声認識やレポートの生成
    モデルを改善。

    View full-size slide

  21. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
    Biz フェーズのポイント
    1. 事例やデータで裏付けをとる。
    2. 利益の構成要素 ( 売上 / コスト ) への影響を言語化する。
    3. データの蓄積により継続的な成長ができるか確認する。
    21
    参考 : AI/ML Light Part 機械学習の価値を計算する
    Biz

    View full-size slide

  22. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
    あなた自身のユースケースは
    3 つのポイントを満たしていますか?
    22
    Biz

    View full-size slide

  23. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
    Biz フェーズの支援 : ML Enablement Workshop
    生成系 AI の
    お試し
    生成系 AI に
    よるサービスの
    継続的成長
    参考 : プロダクトの成長をリードする生成系 AI の活用戦略
    23
    プロダクトマネージャー ( 製品責任者 ) 、開発者、データ
    サイエンティストの組織横断的チームで、 3 つの条件を満
    たすユースケースの発見と検証を開始する計画を立てる
    Biz

    View full-size slide

  24. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
    ML Enablement Workshop のコンテンツは
    すべて GitHub で公開中。
    https://github.com/aws-samples/aws-ml-enablement-workshop
    AWS からの提供には条件がありますが、
    開催者向けガイドを参照しお客様自身で実施
    頂くこともできます
    24
    Biz
    ワークショップの資料だけでなく
    海外の著名プロダクトでのデータ
    サイエンス活用事例も紹介。
    ワークショップの資料には、AWS
    の知見だけでなく海外先進事例の
    知見が反映されています。

    View full-size slide

  25. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
    「プロダクトを成長させる生成系 AI のユースケースを考え
    るワークショップ」を開催しました。
    プロダクト作りにかかわる方
    4,000 名超が参加する
    「プロダクト筋トレ」に
    ML Enablement Workshop
    をベースにしたコンテンツを
    提供。
    イベント満足度は 4.8 、ワーク
    ショップを他の人にお勧めしたい
    度合いは 4.5 と高い評価。
    25
    https://note.com/piqcy/n/n7097e8708185

    View full-size slide

  26. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
    Dev フェーズ

    View full-size slide

  27. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
    Dev: 顧客体験を実現するコスト効率よい方法を発見する
    • チーム・社内で知見をためる。
    • 実際のプロダクトで価値を検証する。
    • 収益と安全性を担保する。
    27
    Dev

    View full-size slide

  28. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
    Dev: 顧客体験を実現するコスト効率よい方法を発見する
    • チーム・社内で知見をためる。
    • 実際のプロダクトで価値を検証する。
    • 収益と安全性を担保する。
    28
    Dev

    View full-size slide

  29. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
    社内・チーム内で成功体験を積めるよう、誰でも生成系 AI
    に触れられる環境を作る。さらにチャレンジを奨励する。
    29
    KLab 様の事例
    Dev

    View full-size slide

  30. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
    AWS で誰でも生成系 AI に触れられる環境を作る方法 ①
    Amazon SageMaker Canvas で
    Amazon Bedrock を利用できる。
    シングルサインオンの設定をする
    ことで、 ビジネスユーザーが
    AWS Console を経由せず
    アクセスできる。
    30
    Dev

    View full-size slide

  31. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
    SageMaker Canvas は生成系 AI 以外の機械学習も扱える
    31
    Dev

    View full-size slide

  32. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
    AWS で誰でも生成系 AI に触れられる環境を作る方法 ②
    32
    bedrock-claude-chat
    Amzon Bedrock で選択できる基盤
    モデルの一つ Anthropic Claude
    を使ったチャット UI を提供する
    オープンソース。
    • IP アドレスによるアクセス制限
    • 認証機能
    • 会話履歴記録機能付き
    Dev

    View full-size slide

  33. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
    Amazon Bedrock の実行履歴は CloudTrail に記録される
    33
    どのモデルをいつ呼び出したかを把握可能。
    Model invocation logging (Preview) を使用すれば入出力
    も CloudWatch / S3 に記録できる
    誰がどんなユースケースで使っているかデータをもとに施策を
    検討
    Dev

    View full-size slide

  34. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
    Dev: 顧客体験を実現するコスト効率よい方法を発見する
    • チーム・社内で知見をためる。
    • 実際のプロダクトで価値を検証する。
    • 収益と安全性を担保する。
    34
    Dev
    製品化したこと
    ない場合ここで
    よく詰まる

    View full-size slide

  35. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
    実際使ってもらわないと使われるかわからない
    35
    「もし最初に公開したプロダクトを見て恥ずか
    しさを覚えなかったなら、それはローンチが遅
    すぎたということだ。」(2 回目)
    LinkedIn 創始者 Reid Hoffman 氏

    View full-size slide

  36. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
    戦略① : セミプロダクション環境でのリリース
    Dev
    Sansan Labs
    年間 100 リリースを目指し生成
    系 AI 等を用いた機能をリード
    タイム 2 週間でリリース。
    Sansan 本体でリリースする前に
    Lab 環境で価値検証を実施。
    Sansan Labs の LLM 活用から考える LLM プロジェクトの要点整理

    View full-size slide

  37. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
    戦略② : エンドユーザーに見えない機能からリリース
    37
    • エンドユーザーに見えない機能の例
    • ユーザーの属性カテゴリの推定 ( 推薦などで使用 )
    • 検索用のキーワード抽出
    • 段階的な機能開放
    ▪ 全ユーザーの 10% から機能を開放する等
    メルカリにおける LLM を用いたプロダクト開発 参考
    Dev

    View full-size slide

  38. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
    Dev: 顧客体験を実現するコスト効率よい方法を発見する
    • チーム・社内で知見をためる。
    • 実際のプロダクトで価値を検証する。
    • 収益と安全性を担保する。
    38
    Dev

    View full-size slide

  39. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
    収益
    1. 扱う入出力のトークン数はどれくらい ?
    2. 要求される応答の品質はどれくらい ?
    3. 1+2 の前提の上で、コスト効率が良いモデルは ?
    安全性
    • セキュリティ
    39
    Dev

    View full-size slide

  40. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 40
    トークン数とは ?
    基盤モデルは扱えるトークン数の上限が決まっている。
    Model Context Prompt ( 入力 ) Completion ( 出力 )
    token per 1M token per 1M token
    GPT-3.5 4k $1.00 $2.00
    GPT-4 8k $30.00 $60.00
    GPT-3.5 16k $3 $4
    GPT-4 32k $60.00 $120.00
    GPT-4-turbo 128k $10 $30
    Claude Instant 100k(*) $1.63 $5.51
    Claude 100k(*) $11.02 $32.68
    Dev

    View full-size slide

  41. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 41
    トークン数はどうやって決まる ?
    モデルとペアになっているトークン分割器により決まる。
    おおむね出現頻度が高い文字の連なりは一つにまとまる傾向がある。
    日本語特化のモデルでない場合、日本語自体が珍しいため 1 文字
    1 トークン以上の数で分割されることが多い。
    Dev

    View full-size slide

  42. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 42
    クイズ① : トークン数はどれくらい ?
    Amazon の
    「よくある質問」の回答
    Dev

    View full-size slide

  43. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 43
    クイズ① : トークン数はどれくらい ? (回答)
    ※トークン数は gpt-tokenizer (tiktoken ベース ) で計算
    2102文字
    1998 1067文字
    1038
    “Amazon” は 1 トークンになっ
    ているので文字数よりやや少ない
    Dev

    View full-size slide

  44. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 44
    クイズ① : トークン数はどれくらい ? (補足)
    ※トークン数は gpt-tokenizer (tiktoken ベース ) で計算
    パソコンの取扱説明書
    346 ページ
    https://pc-
    dl.panasonic.co.jp/public/s_manual/lets_2023sum
    mer/cfsr4mk1-kihonguide_r-20230014zad-
    ja_secured.pdf
    66,000文字
    59,000
    Dev

    View full-size slide

  45. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 45
    クイズ① : トークン数はどれくらい ? (補足)
    Dev
    https://huggingface.co/spaces/icoxfog417/llm-token-counter
    Claude と OpenAI 双方の
    トークン数が確認できる
    アプリを公開中。

    View full-size slide

  46. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
    クイズ② : 要求される応答の品質は ?
    46
    品質を決める基準がまず必要
    例 : 返答に含まれる確認点の数
    • 「PC の電源が入っているか確認してください」 : 1 つ
    • 「PC の電源、またはディスプレイの電源が ON か確認してくだ
    さい」: 2 つ
    Dev

    View full-size slide

  47. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
    クイズ② : 要求される応答の品質は ?
    47
    例 : Wifi がつながらない問い合わせへの返答を 4 つのモデルで検証
    入力プロンプト:
    次のガイドを参照し、無線 LAN につながらないお客様への最初のア
    ドバイスを140 文字以内で作成してください。
    ガイド : (PC の Wifi 接続 FAQ を張り付け)
    Dev

    View full-size slide

  48. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
    クイズ② : 要求される応答の品質は ?
    48
    Wi-Fiがオフになってい
    るか、機内モードがオン
    になっていることを確認
    してください。また、無
    線LANアクセスポイント
    の電源が入っていること
    も確認してください。さ
    らに、お使いの無線LAN
    アクセスポイントとの距
    離が遠くなっている場合
    は・・・(省略)
    お使いのデバイスの
    Wi-Fiがオンになって
    いるか、機内モードが
    オフになっているかを
    確認してください。ま
    た、無線LANアクセス
    ポイントの電源がオン
    になっているか、無線
    アダプタがオンかも
    チェックしてください。
    近くにアクセスポイン
    トがなければ接続でき
    ません。
    A
    承知しました。お客様に
    最初にお尋ねしたいと思
    いますのは、「機内モー
    ドがオンになっている
    か」です。
    機内モードがオンの状態
    ではWi-FiやBluetooth
    がオフになっていても、
    接続が不安定になること
    があります。
    お客様の機種で機内モー
    ドがオンになっていない
    か、ご確認いただければ
    幸いです。
    次の点をご確認くださ
    い。
    - Wi-Fiがオンになって
    いるか
    - アクセスポイントの
    電源が入っているか
    - アクセスポイントと
    の距離が遠すぎないか
    ・・・(中略)・・・
    ご不明な点がありまし
    たらお問い合わせくだ
    さい。
    D
    C
    B
    Dev
    6 点指摘 2 点指摘
    (1点誤り) 5 点指摘 6 点指摘

    View full-size slide

  49. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
    クイズ② : 要求される応答の品質は ? (回答)
    49
    お客様の無線LANにつな
    がらない場合、まず機内
    モードがオフになってい
    るか、Wi-Fiがオンに
    なっているかを確認して
    ください。
    "Wi-Fiに接続できない
    場合、機内モードがオ
    ンになっていないか、
    Wi-Fiやネットワークア
    ダプターがオンになっ
    ていることをご確認く
    ださい。また、無線
    LANの設定やファイア
    ウォールの設定が正し
    く行われているかも確
    認が必要です。"
    承知しました。お客様に
    最初にお尋ねしたいと思
    いますのは、「機内モー
    ドがオンになっている
    か」です。
    機内モードがオンの状態
    では、Wi-FiやBluetooth
    がオフになっていても、
    接続が不安定になること
    があります。
    お客様の機種で機内モー
    ドがオンになっていない
    か、ご確認いただければ
    幸いです。
    お使いのPCと無線LAN
    アクセスポイントの距
    離を近づけ、無線LAN
    アダプターの検出を再
    試行してください。無
    線LANアダプターの電
    源がオンになっている
    か、周波数と頻道の設
    定が正しいか確認して
    ください。
    GPT 3.5
    ELYZA
    (OSS)
    GPT 4.0 Claude-v2
    Dev
    A D
    C
    B
    6 点指摘 2 点指摘
    (1点誤り) 5 点指摘 6 点指摘

    View full-size slide

  50. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
    Anthropic Claude はリーダーボード上、 GPT-4 に次ぐ精度
    50
    Dev
    https://huggingface.co/spaces/lmsys/chatbot-arena-leaderboard https://yuzuai.jp/benchmark
    Hugging Face Chatbot Arena Rakuda Ranking

    View full-size slide

  51. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
    長文コンテキストで GPT3.5 / GPT4-turbo より強いとい
    う報告もあり
    51
    Dev
    https://twitter.com/alex_peys/status/1722396553732854122?s=20

    View full-size slide

  52. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 52
    先ほどの A, B, C, D, 4 つのモデルの価格差は ?
    クイズ③ : 最終的な価格は ?
    Dev

    View full-size slide

  53. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 53
    お客様の無線LANにつな
    がらない場合、まず機内
    モードがオフになってい
    るか、Wi-Fiがオンに
    なっているかを確認して
    ください。
    "Wi-Fiに接続できない
    場合、機内モードがオ
    ンになっていないか、
    Wi-Fiやネットワークア
    ダプターがオンになっ
    ていることをご確認く
    ださい。また、無線
    LANの設定やファイア
    ウォールの設定が正し
    く行われているかも確
    認が必要です。"
    承知しました。お客様に
    最初にお尋ねしたいと思
    いますのは、「機内モー
    ドがオンになっている
    か」です。
    機内モードがオンの状態
    では、Wi-FiやBluetooth
    がオフになっていても、
    接続が不安定になること
    があります。
    お客様の機種で機内モー
    ドがオンになっていない
    か、ご確認いただければ
    幸いです。
    お使いのPCと無線LAN
    アクセスポイントの距
    離を近づけ、無線LAN
    アダプターの検出を再
    試行してください。無
    線LANアダプターの電
    源がオンになっている
    か、周波数と頻道の設
    定が正しいか確認して
    ください。
    GPT 3.5
    ELYZA
    (OSS)
    GPT 4.0 Claude-v2
    30倍
    (turbo は
    14 倍)
    16倍
    使用頻度により
    変動 ( 後述 )
    Dev
    A D
    C
    B
    クイズ③ : 最終的な価格は ? ( 回答 )
    6 点指摘 2 点指摘
    (1点誤り) 5 点指摘 6 点指摘

    View full-size slide

  54. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 54
    精度を追求するほどコストがかかる

    View full-size slide

  55. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 55
    Model Context Prompt ( 入力 ) Completion ( 出力 )
    token per 1M token per 1M token
    GPT-3.5 4k $1.50 $2.00
    GPT-4 8k $30.00 $60.00
    GPT-3.5 16k $3 $4
    GPT-4 32k $60.00 $120.00
    GPT-4-turbo 128k $10 $30
    Claude Instant 100k(*) $1.63 $5.51
    Claude 100k(*) $11.02 $32.68
    2023 年 10 月 12 日 時点の価格
    OpenAI: https://openai.com/pricing
    Anthropic: https://aws.amazon.com/jp/bedrock/pricing
    Amazon Bedrock で使える Claude の特徴
    緑色のモデルは AWS で利用可能。
    (*) 東京リージョンでは Claude Instant (18k) のみ利用可能。
    Claude Instant は、 GPT-3.5 の 2 倍程度だが 100 k まで入り高速。
    Claude は GPT-4 に次ぐ精度でより安価 (turbo も安価)。
    Dev

    View full-size slide

  56. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
    オープンソースのモデルの価格は ?
    56
    • 日本語クイズのデータセット JAQKET
    に対する精度を比較。
    • Fine Tuning した OpenCALM では、
    GPT-3.5 で JAQKET の評価データに対
    し同等の精度が得られた。
    • インフラの最適化により GPT 3.5 より
    20 倍 ~ 37 倍コスト効率を改善できる。
    詳細 : 日本語大規模言語モデル OpenCALM の知識でクイズ王に挑戦する
    Fine Tuning で同等精度が得られインスタンス費用のほうが安く済
    むなら十分な選択肢
    ※インスタンスを起動し続ける場合、推論回数が低いと
    インスタンスの固定費が高くつく点には注意。
    Dev

    View full-size slide

  57. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
    セキュリティ : Amazon Bedrock におけるデータの保護
    • 顧客のデータは Amazon およびサードパーティーのモデルの学習
    に使用されない。
    • データは常に暗号化される (AES-256 / TLS1.2)
    • Bedrock への入出力は発生したリージョンに留まり顧客ごとに管理
    される。
    57
    Dev

    View full-size slide

  58. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
    ML フェーズ

    View full-size slide

  59. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 59
    生成系 AI を製品から得られる評価 ( データ ) で追加学習
    することが差別化につながる。
    価値
    データ
    通常の機械学習モデル
    生成系 AI をそのまま
    使い続ける場合
    生成系 AI を追加学習
    していく場合
    ML

    View full-size slide

  60. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
    Amazon Bedrock でできる Fine Tuning
    少量データのみで実施可能
    特定タスクに対する精度の最大化
    Fine-tune
    PURPOSE
    DATA NEED
    ML

    View full-size slide

  61. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
    Amazon Bedrock での追加学習の課題
    • 対応しているモデルが限られる。
    ▪ 2023/11/14 時点では Amazon Titan のみ。
    • モデルの利用が、トークン単位ではなく時間単位の課金になるため、
    使用量が少ないと割高になる。
    Amazon Bedrock で提供されるハイエンドなモデルはパラメーター
    数も多いため、転移学習は高くつく可能性がある。
    61
    ML

    View full-size slide

  62. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
    Amazon SageMaker : AI/ML の統合開発環境
    MLOps 自動化
    チューニング
    特定ドメイン用の
    カスタマイズ
    監視
    バイアスの監視
    特徴量貢献度
    ドリフト検定
    準備
    データのラベル付け
    人間参加型 AI
    (human-in-the-loop) の
    為のフィードバック提供
    デプロイ
    最適価格での柔軟な
    デプロイ
    62
    ML

    View full-size slide

  63. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
    Amazon SageMaker JumpStart : より幅広なモデルの選択肢
    63
    モデル
    Stable Diffusion XL 1.0
    2.1 base
    高精細化
    インペインティング
    タスク
    テキスト入力から
    フォト・リアルな
    画像生成
    生成画像の品質改善
    特長
    Stable Diffusion 2.1
    ファイン・チューン対応
    モデル
    AlexaTM 20B
    タスク
    機械翻訳
    質問回答
    テキスト要約
    注釈付与
    データ生成
    モデル
    Falcon-7B, 40B
    Open LlaMA
    RedPajama
    MPT-7B
    BloomZ 176B
    Flan T-5 models (8 種類)
    DistilGPT2
    GPT NeoXT
    Bloom models
    (3 種類)
    タスク
    機械翻訳
    質問回答
    テキスト要約
    モデル
    Cohere
    Command XL
    タスク
    テキスト生成
    情報抽出
    質問回答
    テキスト要約
    モデル
    Jurassic-2 Ultra, Mid
    状況に応じた回答
    テキスト要約
    言い換え
    文法エラー訂正
    タスク
    テキスト生成
    長文生成
    テキスト要約
    言い換え
    チャット
    情報抽出
    モデル
    Lyra-Fr
    10B, Mini
    タスク
    テキスト生成
    キーワード抽出
    情報抽出
    質問回答
    テキスト要約
    感情分析
    テキスト分類
    モデル
    Llama 2 7B, 13B, 70B
    タスク
    質問回答
    チャット
    テキスト要約
    言い換え
    感情分析
    テキスト生成
    モデル
    Dolly
    タスク
    質問回答
    チャット
    言い換え
    感情分析
    テキスト生

    400 超のオープンソースや企業独自のモデルを簡単にデプロイ、カスタマイズ
    Dev

    View full-size slide

  64. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
    Amazon SageMaker JumpStart で LLM を使う方法
    64
    Python で推論 / 学習のコードを書く必要がない。ボタンを押すだけで OK 。
    追加学習には対応しているモデルとしていないモデルがあります。

    View full-size slide

  65. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
    rinna 社の日本語大規模言語モデルも利用可能に
    65
    Dev
    Fine Tuning の対応は現在進めている最中です!

    View full-size slide

  66. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
    本日のアジェンダ
    1. 自社の現状を分析する
    2. 生成系 AI を価値創出に活かす 3 ステップ
    3. 今日から始めるチャレンジ

    View full-size slide

  67. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
    価値 is 何 ?
    LTV(Life Time Value:顧客生涯価値)が一つの考え方
    顧客単価 x 収益率 x 購買頻度 x 継続期間
    67

    View full-size slide

  68. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
    ゴールにたどり着くには、 3 つのフェーズが必要
    68
    Biz
    Dev
    ML
    適切なユースケースを選定する。
    顧客にとって高くても頻繁に長く使いたい用途の発見。
    顧客体験を実現するコスト効率の良い技術を選定。
    体験の確実性、また収益・安全性を担保。
    継続的なモデル改善の仕組みを作る。
    モデルの継続的な改善で機能を洗練させる。

    View full-size slide

  69. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
    今日から始める生成系 AI 活用プロジェクトチャート
    69
    自社の現状分析
    Biz
    Dev
    ML
    Amazon SageMaker Canvas や
    OSS のサンプルで生成系 AI を使え
    るセキュアな環境を構築できる。
    ML Enablement Workshop で
    顧客体験改善、利益、継続的改善の
    条件を満たす用途を特定する。
    Amazon Bedrock 、
    Amazon SageMaker JumpStart
    で用途に合うモデルを比較、選択。
    Amazon SageMaker による継続
    的なモデル改善。
    公開リソース

    View full-size slide

  70. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 70
    来年の AWS Summit で生成系 AI のプロダクト機能を
    ぜひ発表ください!

    View full-size slide

  71. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
    Thank you!
    © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.

    View full-size slide