Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
PKSHAでアルゴリズムを 社会実装する楽しみ
Search
PKSHA Technology
December 05, 2023
Technology
1
1.2k
PKSHAでアルゴリズムを 社会実装する楽しみ
PKSHA Technology
December 05, 2023
Tweet
Share
More Decks by PKSHA Technology
See All by PKSHA Technology
PKSHA Technology2027年新卒サマーインターン説明会資料
pkshadeck
0
28
SaaSにおける生成AI の実装とその未来
pkshadeck
1
860
マルチクラウド・マルチプロダクトで実運用中のプロダクトのアーキテクチャとIaCの話
pkshadeck
0
830
Azure OpenAI Serviceを活用した AI SaaSプロダクト開発の実践
pkshadeck
3
3k
急成長する開発組織を支える人事制度とその変遷_PKSHA Technology
pkshadeck
0
1.6k
PKSHA Technology_会社紹介資料
pkshadeck
0
160k
Other Decks in Technology
See All in Technology
【5分でわかる】セーフィー エンジニア向け会社紹介
safie_recruit
0
19k
プルリクエストレビューを終わらせるためのチーム体制 / The Team for Completing Pull Request Reviews
nekonenene
4
2k
RaspberryPi CM4(CM5も)面白いぞ!
nonnoise
1
260
20250304_赤煉瓦倉庫_DeepSeek_Deep_Dive
hiouchiy
2
150
きのこカンファレンス_ランチスポンサーセッション
kabaya
1
260
Amazon Athenaから利用時のGlueのIcebergテーブルのメンテナンスについて
nayuts
0
140
事業を差別化する技術を生み出す技術
pyama86
3
980
Real World Nix CI/CD編
asa1984
1
130
早くて強い「リアルタイム解析基盤」から広げるマルチドメイン&プロダクト開発
plaidtech
PRO
1
120
最近のSRE支援ニーズ考察 | sogaoh's LT @ Road to SRE NEXT@札幌
sogaoh
PRO
1
170
職位にかかわらず全員がリーダーシップを発揮するチーム作り / Building a team where everyone can demonstrate leadership regardless of position
madoxten
35
24k
開発者体験を定量的に把握する手法と活用事例
ham0215
0
150
Featured
See All Featured
Site-Speed That Sticks
csswizardry
4
420
Dealing with People You Can't Stand - Big Design 2015
cassininazir
366
25k
Why Our Code Smells
bkeepers
PRO
336
57k
Being A Developer After 40
akosma
89
590k
Imperfection Machines: The Place of Print at Facebook
scottboms
267
13k
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
13
1k
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
7
660
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
33
2.8k
The World Runs on Bad Software
bkeepers
PRO
67
11k
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
28
9.3k
Documentation Writing (for coders)
carmenintech
69
4.6k
Art, The Web, and Tiny UX
lynnandtonic
298
20k
Transcript
1 © PKSHA Technology All rights reserved. PKSHAでアルゴリズムを 社会実装する楽しみ 2023/12/05
株式会社PKSHA Workplace 中川 岳
2 © PKSHA Technology All rights reserved. $ whoami 中川
岳(なかがわ がく) 博士課程修了後、富士通研究所でミドルウェアの研究に従事 その後、フィックスターズでSaaS事業立ち上げに参加 AI SaaSのプラットフォームを最前線で見るためにPKSHAへ参画 現在はPKSHA Chatbot開発チームのマネジメントおよび運用開発 開発組織を横断した制度設計・施策の推進、エンジニア採用を担当 (株) PKSHA Workplace AI SaaS開発部 エンジニアリング・マネージャー
3 未来の ソフトウエアを 形にする MISSION 人と ソフトウエアの 共進化 VISION
4 © PKSHA Technology All rights reserved. PKSHAにおけるエンジニア職種 Algorithm Engineer
(AE) 問題の解決手法を考え、そのコアとなるアルゴリズムを開発する専門家 機械学習/数理最適化/自然言語処理などの技術で社会の問題を解いていく Kaggle Grandmasterが複数在籍 Software Engineer (SWE) アルゴリズムをサービスとして実装、運用する専門家 AI SaaSプロダクト、Solution事業における個社向けサービスの運用開発を担当 アルゴリズムの価値が最大限発揮できるようにサービスを作り込む
5 © PKSHA Technology All rights reserved. PKSHAにおけるSWEの楽しみ: アルゴリズムをサービスへ 最先端アルゴリズムをカタチにしていく
アルゴリズム単体では社会実装はできない 課題に正しく適用し、利用しやすい形態に仕立てる 考えることはたくさんある。SWEの腕の見せ所 どんな課題を解くのか/どんな形態が最も効果的か?/ どんなアルゴリズムを使うべきか?/根本課題は何か?/etc… 例: ChatGPTブームへの対応 2023年春のChatGPTの登場はPKSHAにも衝撃 SWEは冷静に調査、議論ができた 「XXXという課題にはつかえる」「YYYには使ってはいけない」
6 © PKSHA Technology All rights reserved. PKSHAにおけるSWEの楽しみ: AIを安定的に提供する技術 シンプルな実装:
十分な品質でAI SaaSを提供できないことも 推論のレイテンシが満たせない、コスト問題、モデル劣化など 新しい問題: 学習モデルの管理、ロード、切り替え 例: PKSHA Chatbotにおける推論性能の改善 独自開発のキャッシュ機構により推論レイテンシを安定化
7 © PKSHA Technology All rights reserved. PKSHAにおけるSWEの楽しみ: 「推論層」に挑む 伝統的なWeb3層アーキテクチャ
= プレゼン層/アプリ層/データ層 AI SaaSでは機械学習による推論が入る。お楽しみはたくさんある モデル管理/キャッシュ/モデル圧縮・共通化/etc.. image from flaticon.com
8 © PKSHA Technology All rights reserved. PKSHAにおけるSWEの楽しみ: AEとのコラボレーション SWEとAEが協働して、アルゴリズムを社会実装していく
新プロダクトを立ち上げ/新しい機能が欲しい/アルゴリズムを改善したい SWEの要請に合わせてAEがアサインされる 専門性を持ち寄ってアウトプットを最大化 アルゴリズム開発も、サービス運用開発も、両方極めるのは困難 コラボすることで、それぞれの専門性高く、よいものを作り上げる AIに関する最新動向が自然と手に入る 研究担当/AEは常に業界動向をキャッチアップ 重要なトピックがあれば速やかに社内共有される アルゴリズムに関する社内勉強会は職種問わず参加可能
9 © PKSHA Technology All rights reserved. コラボ例: 対話アルゴリズムの改善(PKSHA Chatbot)
PKSHA Chatbot 高い対話精度を誇るAIチャットボットSaaS 対顧客コミュニケーション領域 + 社内DX領域に展開中 SWEとAEの協力により日々改善が行われている SWEから実運用で得られたリアルな課題、対話データなどを提供 AEは最新技術、実データ分析により、新しいアルゴリズムを設計実装 SWEは実環境でのテスト、既存実装への新アルゴ組み込みを実施 AEによるSWE向け勉強会の開催 アルゴ改善に役立つ最新技術を易しく本格的に 教えてくれる
10 © PKSHA Technology All rights reserved. コラボ例: 対話アルゴリズムの改善(PKSHA Chatbot)
特定顧客向けのChatbotで回答精度が頭打ち 大規模で使うがゆえの推論精度の低下が原因 AEによる問題分析、新アルゴの設計・実装 対話の実データの分析、SWEとの議論により問題を特定 最適なアルゴリズムを設計・実装 対話精度を大幅改善 顧客による受け入れテストで対話精度を10%以上改善 従来のアルゴリズムでは回答できなかったケースでも回答が可能に
11 © PKSHA Technology All rights reserved. コラボ例: 雑談から新機能(PKSHA Chatbot)
Chatbotの精度を上げるには、質問のバリエーションが必要 AIによる推論で表記揺れはある程度カバーできるが、表現の幅を拾うのは難しい 精度を求めるならば、ユーザが手動で類似質問を考える必要がある 料金表はどこ? 料金表 どこ 料金表が欲しい 料金表はありますか 料金表はどこですか?
12 © PKSHA Technology All rights reserved. ある日のSlackにて: これってAIでできないですかね? image
from flaticon.com 「言い換え」という分野で研究が既にありますよ! わからないことがあった聞いてください 自動で質問バリエーション作ることできないかな… 既存研究があったりして…! ありがとうございます🙌 作ってみたらできたよ!!! 〜3週間後〜
13 © PKSHA Technology All rights reserved. さっそくサービスに実装
14 © PKSHA Technology All rights reserved. コラボ例: 社内ハッカソンから製品化へ GPT-4ハッカソン
GPT-4を活用したプロトタイピングを行う2週間のハッカソン 全職種が対象: 「自然言語はもはやプログラミング言語、全員がプログラマ」 詳しくは: 「PKSHA ハッカソン」で検索 成果物の1つが製品に組み込み! SWEがメインで実装したものがイベント終了後に正式にプロジェクト化 SWEとAEが協働して製品実装、客先デモによる磨き込みを経てベータリリース
15 © PKSHA Technology All rights reserved. Summary: 専門性を持ち寄り、楽しく社会実装 PKSHAでSWEとして働くのは楽しい
プロダクト組み立て/AIを安定してホストする技術/推論層/etc… SWEとAEが協働してアルゴリズムを社会実装している それぞれの専門性をもちつつ、協働することで最大限にアウトプット AEとのコラボレーション例は多数、今日もまた新たな成果が生まれている SaaSで用いるアルゴリズムの精度改善/雑談から生まれる新機能/ 社内ハッカソンからの製品化 PKSHAでは共に社会実装を推進してくれる仲間を募集中です みんなでΔを持ち寄って未来のソフトウェアをカタチにしましょう