Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
PKSHAでアルゴリズムを 社会実装する楽しみ
Search
PKSHA Technology
December 05, 2023
Technology
1
1.4k
PKSHAでアルゴリズムを 社会実装する楽しみ
PKSHA Technology
December 05, 2023
Tweet
Share
More Decks by PKSHA Technology
See All by PKSHA Technology
AIエージェント縛りで社内ハッカソンを開催した話(20250723-名古屋LLM_MeetUp#7_LT)
pkshadeck
3
1.3k
AIエージェント開発を加速させるLLM実験基盤
pkshadeck
3
1.1k
サポーターズCoLab AI×プロダクト開発の最前線
pkshadeck
0
290
PKSHA Technologyサマーインターン2025 説明会資料(2027年新卒向け)
pkshadeck
0
880
SaaSにおける生成AI の実装とその未来
pkshadeck
1
1k
マルチクラウド・マルチプロダクトで実運用中のプロダクトのアーキテクチャとIaCの話
pkshadeck
0
1.2k
Azure OpenAI Serviceを活用した AI SaaSプロダクト開発の実践
pkshadeck
3
3.2k
急成長する開発組織を支える人事制度とその変遷_PKSHA Technology
pkshadeck
0
2k
PKSHA Technology 会社紹介資料 / Recruit Deck
pkshadeck
1
230k
Other Decks in Technology
See All in Technology
職種別ミートアップで社内から盛り上げる アウトプット文化の醸成と関係強化/ #DevRelKaigi
nishiuma
2
140
o11yで育てる、強い内製開発組織
_awache
3
120
20201008_ファインディ_品質意識を育てる役目は人かAIか___2_.pdf
findy_eventslides
1
520
いまさら聞けない ABテスト入門
skmr2348
1
210
成長自己責任時代のあるきかた/How to navigate the era of personal responsibility for growth
kwappa
3
290
VCC 2025 Write-up
bata_24
0
180
Goに育てられ開発者向けセキュリティ事業を立ち上げた僕が今向き合う、AI × セキュリティの最前線 / Go Conference 2025
flatt_security
0
350
Why React!?? Next.jsそしてReactを改めてイチから選ぶ
ypresto
10
4.5k
How to achieve interoperable digital identity across Asian countries
fujie
0
120
生成AI_その前_に_マルチクラウド時代の信頼できるデータを支えるSnowflakeメタデータ活用術.pdf
cm_mikami
0
120
綺麗なデータマートをつくろう_データ整備を前向きに考える会 / Let's create clean data mart
brainpadpr
2
260
『OCI で学ぶクラウドネイティブ 実践 × 理論ガイド』 書籍概要
oracle4engineer
PRO
2
120
Featured
See All Featured
What’s in a name? Adding method to the madness
productmarketing
PRO
23
3.7k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
32
1.6k
StorybookのUI Testing Handbookを読んだ
zakiyama
31
6.2k
Testing 201, or: Great Expectations
jmmastey
45
7.7k
Large-scale JavaScript Application Architecture
addyosmani
514
110k
Optimizing for Happiness
mojombo
379
70k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
31
2.5k
Visualization
eitanlees
148
16k
Producing Creativity
orderedlist
PRO
347
40k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
29
2.6k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
234
17k
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
46
7.6k
Transcript
1 © PKSHA Technology All rights reserved. PKSHAでアルゴリズムを 社会実装する楽しみ 2023/12/05
株式会社PKSHA Workplace 中川 岳
2 © PKSHA Technology All rights reserved. $ whoami 中川
岳(なかがわ がく) 博士課程修了後、富士通研究所でミドルウェアの研究に従事 その後、フィックスターズでSaaS事業立ち上げに参加 AI SaaSのプラットフォームを最前線で見るためにPKSHAへ参画 現在はPKSHA Chatbot開発チームのマネジメントおよび運用開発 開発組織を横断した制度設計・施策の推進、エンジニア採用を担当 (株) PKSHA Workplace AI SaaS開発部 エンジニアリング・マネージャー
3 未来の ソフトウエアを 形にする MISSION 人と ソフトウエアの 共進化 VISION
4 © PKSHA Technology All rights reserved. PKSHAにおけるエンジニア職種 Algorithm Engineer
(AE) 問題の解決手法を考え、そのコアとなるアルゴリズムを開発する専門家 機械学習/数理最適化/自然言語処理などの技術で社会の問題を解いていく Kaggle Grandmasterが複数在籍 Software Engineer (SWE) アルゴリズムをサービスとして実装、運用する専門家 AI SaaSプロダクト、Solution事業における個社向けサービスの運用開発を担当 アルゴリズムの価値が最大限発揮できるようにサービスを作り込む
5 © PKSHA Technology All rights reserved. PKSHAにおけるSWEの楽しみ: アルゴリズムをサービスへ 最先端アルゴリズムをカタチにしていく
アルゴリズム単体では社会実装はできない 課題に正しく適用し、利用しやすい形態に仕立てる 考えることはたくさんある。SWEの腕の見せ所 どんな課題を解くのか/どんな形態が最も効果的か?/ どんなアルゴリズムを使うべきか?/根本課題は何か?/etc… 例: ChatGPTブームへの対応 2023年春のChatGPTの登場はPKSHAにも衝撃 SWEは冷静に調査、議論ができた 「XXXという課題にはつかえる」「YYYには使ってはいけない」
6 © PKSHA Technology All rights reserved. PKSHAにおけるSWEの楽しみ: AIを安定的に提供する技術 シンプルな実装:
十分な品質でAI SaaSを提供できないことも 推論のレイテンシが満たせない、コスト問題、モデル劣化など 新しい問題: 学習モデルの管理、ロード、切り替え 例: PKSHA Chatbotにおける推論性能の改善 独自開発のキャッシュ機構により推論レイテンシを安定化
7 © PKSHA Technology All rights reserved. PKSHAにおけるSWEの楽しみ: 「推論層」に挑む 伝統的なWeb3層アーキテクチャ
= プレゼン層/アプリ層/データ層 AI SaaSでは機械学習による推論が入る。お楽しみはたくさんある モデル管理/キャッシュ/モデル圧縮・共通化/etc.. image from flaticon.com
8 © PKSHA Technology All rights reserved. PKSHAにおけるSWEの楽しみ: AEとのコラボレーション SWEとAEが協働して、アルゴリズムを社会実装していく
新プロダクトを立ち上げ/新しい機能が欲しい/アルゴリズムを改善したい SWEの要請に合わせてAEがアサインされる 専門性を持ち寄ってアウトプットを最大化 アルゴリズム開発も、サービス運用開発も、両方極めるのは困難 コラボすることで、それぞれの専門性高く、よいものを作り上げる AIに関する最新動向が自然と手に入る 研究担当/AEは常に業界動向をキャッチアップ 重要なトピックがあれば速やかに社内共有される アルゴリズムに関する社内勉強会は職種問わず参加可能
9 © PKSHA Technology All rights reserved. コラボ例: 対話アルゴリズムの改善(PKSHA Chatbot)
PKSHA Chatbot 高い対話精度を誇るAIチャットボットSaaS 対顧客コミュニケーション領域 + 社内DX領域に展開中 SWEとAEの協力により日々改善が行われている SWEから実運用で得られたリアルな課題、対話データなどを提供 AEは最新技術、実データ分析により、新しいアルゴリズムを設計実装 SWEは実環境でのテスト、既存実装への新アルゴ組み込みを実施 AEによるSWE向け勉強会の開催 アルゴ改善に役立つ最新技術を易しく本格的に 教えてくれる
10 © PKSHA Technology All rights reserved. コラボ例: 対話アルゴリズムの改善(PKSHA Chatbot)
特定顧客向けのChatbotで回答精度が頭打ち 大規模で使うがゆえの推論精度の低下が原因 AEによる問題分析、新アルゴの設計・実装 対話の実データの分析、SWEとの議論により問題を特定 最適なアルゴリズムを設計・実装 対話精度を大幅改善 顧客による受け入れテストで対話精度を10%以上改善 従来のアルゴリズムでは回答できなかったケースでも回答が可能に
11 © PKSHA Technology All rights reserved. コラボ例: 雑談から新機能(PKSHA Chatbot)
Chatbotの精度を上げるには、質問のバリエーションが必要 AIによる推論で表記揺れはある程度カバーできるが、表現の幅を拾うのは難しい 精度を求めるならば、ユーザが手動で類似質問を考える必要がある 料金表はどこ? 料金表 どこ 料金表が欲しい 料金表はありますか 料金表はどこですか?
12 © PKSHA Technology All rights reserved. ある日のSlackにて: これってAIでできないですかね? image
from flaticon.com 「言い換え」という分野で研究が既にありますよ! わからないことがあった聞いてください 自動で質問バリエーション作ることできないかな… 既存研究があったりして…! ありがとうございます🙌 作ってみたらできたよ!!! 〜3週間後〜
13 © PKSHA Technology All rights reserved. さっそくサービスに実装
14 © PKSHA Technology All rights reserved. コラボ例: 社内ハッカソンから製品化へ GPT-4ハッカソン
GPT-4を活用したプロトタイピングを行う2週間のハッカソン 全職種が対象: 「自然言語はもはやプログラミング言語、全員がプログラマ」 詳しくは: 「PKSHA ハッカソン」で検索 成果物の1つが製品に組み込み! SWEがメインで実装したものがイベント終了後に正式にプロジェクト化 SWEとAEが協働して製品実装、客先デモによる磨き込みを経てベータリリース
15 © PKSHA Technology All rights reserved. Summary: 専門性を持ち寄り、楽しく社会実装 PKSHAでSWEとして働くのは楽しい
プロダクト組み立て/AIを安定してホストする技術/推論層/etc… SWEとAEが協働してアルゴリズムを社会実装している それぞれの専門性をもちつつ、協働することで最大限にアウトプット AEとのコラボレーション例は多数、今日もまた新たな成果が生まれている SaaSで用いるアルゴリズムの精度改善/雑談から生まれる新機能/ 社内ハッカソンからの製品化 PKSHAでは共に社会実装を推進してくれる仲間を募集中です みんなでΔを持ち寄って未来のソフトウェアをカタチにしましょう