Upgrade to Pro — share decks privately, control downloads, hide ads and more …

PKSHAでアルゴリズムを 社会実装する楽しみ

PKSHAでアルゴリズムを 社会実装する楽しみ

PKSHA Technology

December 05, 2023
Tweet

More Decks by PKSHA Technology

Other Decks in Technology

Transcript

  1. 1
    © PKSHA Technology All rights reserved.
    PKSHAでアルゴリズムを
    社会実装する楽しみ
    2023/12/05
    株式会社PKSHA Workplace
    中川 岳

    View full-size slide

  2. 2
    © PKSHA Technology All rights reserved.
    $ whoami
    中川 岳(なかがわ がく)
    博士課程修了後、富士通研究所でミドルウェアの研究に従事
    その後、フィックスターズでSaaS事業立ち上げに参加
    AI SaaSのプラットフォームを最前線で見るためにPKSHAへ参画
    現在はPKSHA Chatbot開発チームのマネジメントおよび運用開発
    開発組織を横断した制度設計・施策の推進、エンジニア採用を担当
    (株) PKSHA Workplace AI SaaS開発部
    エンジニアリング・マネージャー

    View full-size slide

  3. 3
    未来の
    ソフトウエアを
    形にする
    MISSION
    人と
    ソフトウエアの
    共進化
    VISION

    View full-size slide

  4. 4
    © PKSHA Technology All rights reserved.
    PKSHAにおけるエンジニア職種
    Algorithm Engineer (AE)
    問題の解決手法を考え、そのコアとなるアルゴリズムを開発する専門家
    機械学習/数理最適化/自然言語処理などの技術で社会の問題を解いていく
    Kaggle Grandmasterが複数在籍
    Software Engineer (SWE)
    アルゴリズムをサービスとして実装、運用する専門家
    AI SaaSプロダクト、Solution事業における個社向けサービスの運用開発を担当
    アルゴリズムの価値が最大限発揮できるようにサービスを作り込む

    View full-size slide

  5. 5
    © PKSHA Technology All rights reserved.
    PKSHAにおけるSWEの楽しみ: アルゴリズムをサービスへ
    最先端アルゴリズムをカタチにしていく
    アルゴリズム単体では社会実装はできない
    課題に正しく適用し、利用しやすい形態に仕立てる
    考えることはたくさんある。SWEの腕の見せ所
    どんな課題を解くのか/どんな形態が最も効果的か?/
    どんなアルゴリズムを使うべきか?/根本課題は何か?/etc…
    例: ChatGPTブームへの対応
    2023年春のChatGPTの登場はPKSHAにも衝撃
    SWEは冷静に調査、議論ができた
    「XXXという課題にはつかえる」「YYYには使ってはいけない」

    View full-size slide

  6. 6
    © PKSHA Technology All rights reserved.
    PKSHAにおけるSWEの楽しみ: AIを安定的に提供する技術
    シンプルな実装: 十分な品質でAI SaaSを提供できないことも
    推論のレイテンシが満たせない、コスト問題、モデル劣化など
    新しい問題: 学習モデルの管理、ロード、切り替え
    例: PKSHA Chatbotにおける推論性能の改善
    独自開発のキャッシュ機構により推論レイテンシを安定化

    View full-size slide

  7. 7
    © PKSHA Technology All rights reserved.
    PKSHAにおけるSWEの楽しみ: 「推論層」に挑む
    伝統的なWeb3層アーキテクチャ = プレゼン層/アプリ層/データ層
    AI SaaSでは機械学習による推論が入る。お楽しみはたくさんある
    モデル管理/キャッシュ/モデル圧縮・共通化/etc..
    image from flaticon.com

    View full-size slide

  8. 8
    © PKSHA Technology All rights reserved.
    PKSHAにおけるSWEの楽しみ: AEとのコラボレーション
    SWEとAEが協働して、アルゴリズムを社会実装していく
    新プロダクトを立ち上げ/新しい機能が欲しい/アルゴリズムを改善したい
    SWEの要請に合わせてAEがアサインされる
    専門性を持ち寄ってアウトプットを最大化
    アルゴリズム開発も、サービス運用開発も、両方極めるのは困難
    コラボすることで、それぞれの専門性高く、よいものを作り上げる
    AIに関する最新動向が自然と手に入る
    研究担当/AEは常に業界動向をキャッチアップ
    重要なトピックがあれば速やかに社内共有される
    アルゴリズムに関する社内勉強会は職種問わず参加可能

    View full-size slide

  9. 9
    © PKSHA Technology All rights reserved.
    コラボ例: 対話アルゴリズムの改善(PKSHA Chatbot)
    PKSHA Chatbot
    高い対話精度を誇るAIチャットボットSaaS
    対顧客コミュニケーション領域 + 社内DX領域に展開中
    SWEとAEの協力により日々改善が行われている
    SWEから実運用で得られたリアルな課題、対話データなどを提供
    AEは最新技術、実データ分析により、新しいアルゴリズムを設計実装
    SWEは実環境でのテスト、既存実装への新アルゴ組み込みを実施
    AEによるSWE向け勉強会の開催
    アルゴ改善に役立つ最新技術を易しく本格的に
    教えてくれる

    View full-size slide

  10. 10
    © PKSHA Technology All rights reserved.
    コラボ例: 対話アルゴリズムの改善(PKSHA Chatbot)
    特定顧客向けのChatbotで回答精度が頭打ち
    大規模で使うがゆえの推論精度の低下が原因
    AEによる問題分析、新アルゴの設計・実装
    対話の実データの分析、SWEとの議論により問題を特定
    最適なアルゴリズムを設計・実装
    対話精度を大幅改善
    顧客による受け入れテストで対話精度を10%以上改善
    従来のアルゴリズムでは回答できなかったケースでも回答が可能に

    View full-size slide

  11. 11
    © PKSHA Technology All rights reserved.
    コラボ例: 雑談から新機能(PKSHA Chatbot)
    Chatbotの精度を上げるには、質問のバリエーションが必要
    AIによる推論で表記揺れはある程度カバーできるが、表現の幅を拾うのは難しい
    精度を求めるならば、ユーザが手動で類似質問を考える必要がある
    料金表はどこ?
    料金表 どこ
    料金表が欲しい
    料金表はありますか
    料金表はどこですか?

    View full-size slide

  12. 12
    © PKSHA Technology All rights reserved.
    ある日のSlackにて: これってAIでできないですかね?
    image from flaticon.com
    「言い換え」という分野で研究が既にありますよ!
    わからないことがあった聞いてください
    自動で質問バリエーション作ることできないかな…
    既存研究があったりして…!
    ありがとうございます🙌
    作ってみたらできたよ!!!
    〜3週間後〜

    View full-size slide

  13. 13
    © PKSHA Technology All rights reserved.
    さっそくサービスに実装

    View full-size slide

  14. 14
    © PKSHA Technology All rights reserved.
    コラボ例: 社内ハッカソンから製品化へ
    GPT-4ハッカソン
    GPT-4を活用したプロトタイピングを行う2週間のハッカソン
    全職種が対象: 「自然言語はもはやプログラミング言語、全員がプログラマ」
    詳しくは: 「PKSHA ハッカソン」で検索
    成果物の1つが製品に組み込み!
    SWEがメインで実装したものがイベント終了後に正式にプロジェクト化
    SWEとAEが協働して製品実装、客先デモによる磨き込みを経てベータリリース

    View full-size slide

  15. 15
    © PKSHA Technology All rights reserved.
    Summary: 専門性を持ち寄り、楽しく社会実装
    PKSHAでSWEとして働くのは楽しい
    プロダクト組み立て/AIを安定してホストする技術/推論層/etc…
    SWEとAEが協働してアルゴリズムを社会実装している
    それぞれの専門性をもちつつ、協働することで最大限にアウトプット
    AEとのコラボレーション例は多数、今日もまた新たな成果が生まれている
    SaaSで用いるアルゴリズムの精度改善/雑談から生まれる新機能/
    社内ハッカソンからの製品化
    PKSHAでは共に社会実装を推進してくれる仲間を募集中です
    みんなでΔを持ち寄って未来のソフトウェアをカタチにしましょう

    View full-size slide