Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
金融とAI
Search
abenben
February 26, 2023
Technology
1
320
金融とAI
2023.2.26(Sun)に開催するDSL (データサイエンス特化型学生団体)主催のData Science Meet Upで発表する資料です。
abenben
February 26, 2023
Tweet
Share
More Decks by abenben
See All by abenben
GeminiとNotebookLMによる金融実務の業務革新
abenben
0
280
伝わるコードレビュー
abenben
2
270
GX推進による好循環な地域金融
abenben
0
100
Web3概略:手早く把握
abenben
2
1.5k
Web3とNFTの教科書
abenben
1
420
各種生成AIについて
abenben
3
1.6k
数年先の金融DX/AI活用
abenben
2
570
PythonによるWeb3開発
abenben
1
300
【超入門】対談前に知っておこう! 新時代の常識「Web3」のきほん
abenben
1
160
Other Decks in Technology
See All in Technology
AIに全任せしないコーディングとマネジメント思考
kikuchikakeru
0
420
2時間で300+テーブルをデータ基盤に連携するためのAI活用 / FukuokaDataEngineer
sansan_randd
0
120
LIFF CLIとngrokを使ったLIFF/LINEミニアプリのお手軽実機確認
diggymo
0
230
AIエージェントを現場で使う / 2025.08.07 著者陣に聞く!現場で活用するためのAIエージェント実践入門(Findyランチセッション)
smiyawaki0820
5
330
JAWS AI/ML #30 AI コーディング IDE "Kiro" を触ってみよう
inariku
3
260
隙間時間で爆速開発! Claude Code × Vibe Coding で作るマニュアル自動生成サービス
akitomonam
3
250
AI人生苦節10年で会得したAIがやること_人間がやること.pdf
shibuiwilliam
1
270
生成AI導入の効果を最大化する データ活用戦略
ham0215
0
100
製造業の課題解決に向けた機械学習の活用と、製造業特化LLM開発への挑戦
knt44kw
0
150
Agent Development Kitで始める生成 AI エージェント実践開発
danishi
0
120
帳票構造化タスクにおけるLLMファインチューニングの性能評価
yosukeyoshida
1
230
20250807_Kiroと私の反省会
riz3f7
0
110
Featured
See All Featured
How to Ace a Technical Interview
jacobian
278
23k
Practical Orchestrator
shlominoach
190
11k
GraphQLの誤解/rethinking-graphql
sonatard
71
11k
How STYLIGHT went responsive
nonsquared
100
5.7k
Bootstrapping a Software Product
garrettdimon
PRO
307
110k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
31
2.5k
Build your cross-platform service in a week with App Engine
jlugia
231
18k
Principles of Awesome APIs and How to Build Them.
keavy
126
17k
Code Review Best Practice
trishagee
69
19k
Reflections from 52 weeks, 52 projects
jeffersonlam
351
21k
A better future with KSS
kneath
238
17k
Unsuck your backbone
ammeep
671
58k
Transcript
⾦融とAI Institution for a Global Society株式会社 ㆖席研究員 阿部⼀也 %4-cσʔλαΠΤϯεಛԽܕֶੜஂମओ࠵ %BUB4DJFODF.FFU6Q
4VO
݄ʹࡳຈ͔Β౦ژʹҠॅɻ ݱࡏڭҭˍ)3اۀͰϒϩοΫνΣʔϯΛ׆༻ͨ͠ 8FCϓϩδΣΫτͷςοΫϦʔυΛ୲ɻ ւಓʢখʣੜ·ΕͰɺࡀͱࡀͷ່ɺࡀͷଙ ͕͍Δɻझຯཱྀߦͱਆࣾ८Γɻ 1ZUIPOػցֶशɺϒϩοΫνΣʔϯɺΫϥυɺۚ ༥ɺιϑτΣΞ։ൃʹؔ͢Δ*5ίϛϡχςΟͷελο ϑʢओʹίϯςϯπاը୲ʣɺઌٕज़ɺϏδωε ৫վֵͷΠϕϯτاըɺࣥචͳͲͷݸਓ׆ಈΛߦ͏ɻ ίϛϡχςΟӡӦελοϑ
4UBSU1ZUIPO$MVCɺϑΟϯςοΫཆίϛϡχςΟ΄͔ଟ मɺࣥචɺ༁ɺࠪಡ ɾ4QBSLʹΑΔ࣮ફσʔλղੳ ʕେنσʔλͷͨΊͷػցֶशࣄྫू ɾϚϯΨͱਤղͰεοΩϦΘ͔Δ ϓϩάϥϛϯάͷ͘͠Έ ɾ࣮ફ ۚ༥σʔλαΠΤϯε ӅΕͨߏΛ͋ͿΓग़ͭ͢ͷΞϓϩʔν ɾςετۦಈ1ZUIPO ɾ͋ͨΒ͍͠1ZUIPOʹΑΔσʔλੳͷڭՊॻ ɾΈΜͳͷϒϩοΫνΣʔϯ ɾϑΟϯςοΫΤϯδχΞཆಡຊ ɾ1ZUIPOεΩϧΞοϓڭՊॻ ɾ"GUFS("'"ࢄԽ͢Δੈքͷະདྷਤ ɾ࣮ફγφϦΦɾϓϥϯχϯά Ѩ෦ Ұ ʢ͋ΜΜʣ *OTUJUVUJPOGPSB(MPCBM4PDJFUZגࣜձࣾ ্੮ݚڀһ Profile
ۚ༥σʔλαΠΤϯεˍΤϯδχΞ
"*ͷ • ػցֶश .BDIJOF-FBSOJOH • ࣗવݴޠॲཧ /BUVSBM-BOHVBHF1SPDFTTJOH • ίϯϐϡʔλʔϏδϣϯ $PNQVUFS7JTJPO
• Իೝࣝ 4QFFDI3FDPHOJUJPO • ϩϘςΟΫε 3PCPUJDT • ҙࢥܾఆ %FDJTJPO.BLJOH • σʔλϚΠχϯά %BUB.JOJOH • ڧԽֶश 3FJOGPSDFNFOU-FBSOJOH • ਐԽతܭࢉ &WPMVUJPOBSZ$PNQVUBUJPO • ࣝදݱͱਪ ,OPXMFEHF3FQSFTFOUBUJPOBOE3FBTPOJOH
%FFQ-FBSOJOH*OUFSWJFXT ػցֶशɾਓೳͷͰब৬ ͢ΔͨΊʹɺ໘࣮ٕࢼݧͰ ΘΕΔࣝɾεΩϧɻ ͷதڃऀ͚ͷఆ࣭ͱղ ͕ऩ͞Ε͍ͯΔɻ ֶجૅɺػցֶशɺਂֶशɺ ਂֶशͷԠ༻ͱ෯͘Χόʔ͠ ͍ͯ·͢ɻ໘ͰΑ͘ग़Δ࣭Λ ཏ͍ͯ͠ΔΒ͍͠ɻ
https://arxiv.org/pdf/2201.00650.pdf
ؾʹͳΔτϐοΫ 技術名 説明 Stable Diffusion データの分散表現を⾼次元空間で効果的に表現する⽅法。従来の拡散法と⽐較して性能が向上している。計算量を抑えることがで き、画像⽣成、⾳声処理、⾃然⾔語処理などの分野で有⽤なアプローチとなっている。 ChatGPT ⾃然⾔語処理のタスクに⽤いられるGPT-3を基にした対話システム。多様なトピックに対応するために⼤量のデータで事前学習さ れており、会話の流れを保持して⾃然な対話を⽣成することができる。
⾳声認識・⽣成 ⾳声データを扱う分野で重要な技術。Whisper、HEAR、data2vec、data2vec 2.0などの最新の⼿法は、⾳声認識・⽣成の精度を ⾼めることができる。⾃然⾔語処理の分野での利⽤にも応⽤されている。 ⾔語モデル ⾃然⾔語処理の分野で主要な技術の1つ。GPT-3、LaMDA、PaLM、Megatron-Turing NLGなどの最新の⾔語モデルは、巨⼤な データセットで学習されており、テキスト⽣成、質問応答、機械翻訳などのタスクに成功している。 オープンソースAI ⼈⼯知能の研究や開発において、⾃由にアクセスできるソフトウェアの利⽤を可能にするもの。HuggingFace、Eleuther AI、 LAION、Stability.AIなどのオープンソースAIフレームワークは、⾼度な⾃然⾔語処理タスクを扱うことができる。GPT-NeoX-20B やBLOOMなどの⼤規模⾔語モデルもオープンソースで公開されている。 拡散モデル (画像・ビデオ⽣成) 画像⽣成、ビデオ⽣成などのタスクに有⽤な深層学習モデル。画像のピクセル値の進化を表現することで、⾼品質な画像⽣成が可 能になる。特にDiffusion Probabilistic Modelsは、モデルを学習させるときに⾼速化され、時間とともにデータを拡散することで、 ⾼品質な画像・ビデオ⽣成が可能になっている。 拡散モデル (その他のドメイン) ⾃然⾔語処理にも応⽤されており、Diffusion-LMやDiffuSeqといったモデルが開発されている。これらのモデルは、⾔語モデルを 学習するために⽤いられる。Diffusion-LMは、⾔語モデルのサンプリングを⾼速化し、⾃然な⽂章の⽣成が可能になっている。 DiffuSeqは、DNAの塩基配列を予測することができ、遺伝⼦の研究に応⽤されている。 強化学習 エージェントが環境に対して⾏動を選択することで、報酬を最⼤化することを学習する⼿法。Decision Transformer、Trajectory Transformer、Gatoなどの最新の⼿法は、深層学習モデルを使⽤して、より⾼度なタスクを解決することができる。特に、Gatoは、 複数のタスクに対応することができる「万能エージェント」として注⽬を集めている。 マルチモーダル・制御 複数の⼊⼒情報を扱う技術。超マルチモーダル・超マルチタスク「万能エージェント」は、複数のタスクを同時に実⾏し、⾳声、 映像、テキストなどの複数の⼊⼒に対応することができる。これにより、より⾼度なタスクを解決することができる。 計算量削減 ディープラーニングモデルの⾼速化や軽量化を実現する技術。DiNA、Token Merging、ConvNeXt、NeRF、Chinchillaなどの最新 の技術は、⾼速かつ⾼精度なモデルを構築することができる。特に、Chinchillaは、70億のパラメータを持つ巨⼤な⾔語モデルを ⾼速かつ効率的に処理できることが可能であり、より⼤規模なデータセットを⽤いた⾃然⾔語処理のタスクにも適⽤することがで きる。また、計算量削減技術は、エネルギー消費量の削減にもつながる。
$IBU(15 ⼈間との対話に最適化された強⼒な⾔語モデルであり、⼈間のフィード バックに基づく強化学習を使⽤して微調整されています。これにより、 ユーザーの要望に合わせた応答を⽣成することが可能となっています。 RLHFは、⼈間からのフィードバックによって⾔語モデルを微調整する⼿ 法であり、DeepMindやAnthropicなど他の企業・研究者もこの⼿法 を研究しています。 ChatGPTは事実関係を間違えたり、有害・差別的な⾔葉を出⼒する問題が依 然として存在しており、また誰でも簡単に⾼品質な⽂章を⽣成できるため、不正 利⽤が社会問題化しています。草の根的AIコミュニティであるEleuther
AIの⼀ 部でも、RLHFによる強化学習を⽤いたオープンソースの実装・モデルがリリースさ れていますが、OpenAIが従来⼿法の10倍以上の予算を費やしてChatGPTを 訓練しているという噂もあり、これらの技術を再現することは容易ではない。 このような⾔語モデルのアラインメント問題や、⼈間の嗜好・利害に合わせ た応答を⽣成する技術を研究し、より⾼品質な応答を⽣成することが求 められています。また、ChatGPTのような⾔語モデルを活⽤した⾃動⽂章 ⽣成技術は、様々な分野で利⽤されるため、データサイエンティストは、こ の技術を最⼤限に活⽤するための研究を⾏うことが重要です。 ਓؒϑΟʔυόοΫʹΑΔ ݴޠϞσϧͷ࠷దԽ $IBU(15ͷͱ ෆਖ਼ར༻ͷࣾձԽ ݴޠϞσϧͷߴ࣭Ԡੜ ʹ͚ͨݚڀ՝
4UBCMF%JGGVTJPO 任意のテキストから⾼品質な画像を⽣成することができる技術で、AI 業界やアート業界に⼤きなインパクトを与えました。この技術は、テキ ストと画像の相互作⽤をより深く理解することができる可能性があり、 従来の⼿法とは異なり、テキストと画像の間に相互作⽤を持たせるこ とができます。この点が注⽬された理由です。 拡散モデルLDMが⽤いられており、これは、2020年に提案された「ノ イズ除去拡散確率モデル」(DDPM)に基づいています。DDPMは、 ノイズ画像を徐々にノイズを除去していくことで、⾼品質な画像を⽣成 することができます。拡散モデルは、DDPMを発展させたものであり、よ
り⾼速で⾼品質な画像⽣成が実現できます。 画像⽣成において拡散モデルが重要な⼿法であることや、U-Netや ViTなどの画像⽣成や画像処理に⽤いられる⼿法との関連性にあり ます。これらの⼿法は、データサイエンティストが理解すべき重要な技 術です。Stable Diffusionの応⽤範囲は、ECサイトや医療分野な ど、ビジネスや社会の様々な分野で期待されています。 ςΩετ͔Β ߴ࣭ը૾ੜٕज़ ֦ࢄϞσϧʹΑΔ ߴߴ࣭ը૾ੜ ը૾ੜɾॲཧʹ͓͚Δ 4UBCMF%JGGVTJPOͷॏཁੑ
DALL·E 2 2022年2⽉に公開した⼈⼯知能のモデルで、 ⾃然⾔語の指⽰に応じて画像を⽣成する ことができる。以前に公開されたDALL·E というモデルの改良版で、より⾼品質で 多様な画像が⽣成できる。 Whisper ⽂字起こしサービスとして公開した無料 の⾳声認識モデルです。Webから収集し
た68万時間分の多⾔語⾳声データを教師 付きデータで学習させており、⾼い精度 で⼊⼒した⾳声を⽂字起こしが可能。 0QFO"*ͦͷଞͷϓϩμΫτ
None
ۚ༥ͰνϟϨϯδ͖͢͜ͱ ❏未知のデータ開拓 ❏⼤規模コンピューティングによる解析 ❏お互いにプライバシーを確保したままで分析
ۚ༥σʔλαΠΤϯεˍΤϯδχΞ
ʲએɿۙެ։ʳ<݄>ۚ༥ͱ0QFO"* https://fintech-engineer.connpass.com/event/276472