Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Introduction to works of Data Scientist in LY C...
Search
LINEヤフー株式会社 採用情報
November 24, 2024
Technology
0
160
Introduction to works of Data Scientist in LY Corporation
LINEヤフー株式会社 採用情報
November 24, 2024
Tweet
Share
More Decks by LINEヤフー株式会社 採用情報
See All by LINEヤフー株式会社 採用情報
LINEヤフー会社説明資料
lycorp_recruit_jp
0
38
LINEヤフー バックエンド組織・体制の紹介
lycorp_recruit_jp
0
460
Working as a Server-side Engineer at LY Corporation
lycorp_recruit_jp
0
770
Server-Side Engineer of LINE Sukimani
lycorp_recruit_jp
1
730
LINEヤフーのフロントエンド組織・体制の紹介【24年12月】
lycorp_recruit_jp
0
620
Work as an App Engineer
lycorp_recruit_jp
0
700
Introduction to works of Cloud Platform Engineer in LY Corporation
lycorp_recruit_jp
0
100
Introduction to works of Security Engineer in LY Corporation
lycorp_recruit_jp
0
75
Introduction to works of Front-end Engineer in LY Corporation
lycorp_recruit_jp
0
66
Other Decks in Technology
See All in Technology
大規模アジャイル開発のリアル!コミュニケーション×進捗管理×高品質
findy_eventslides
0
560
コード品質向上で得られる効果と実践的取り組み
ham0215
2
200
Medmain FACTBOOK
akinaootani
0
110
IAMのマニアックな話 2025 ~40分バージョン ~
nrinetcom
PRO
8
930
技術好きなエンジニアが _リーダーへの進化_ によって得たものと失ったもの / The Gains and Losses of a Tech-Enthusiast Engineer’s “Evolution into Leadership”
kaminashi
0
210
お問い合わせ対応の改善取り組みとその進め方
masartz
1
370
React Server Componentは 何を解決し何を解決しないのか / What do React Server Components solve, and what do they not solve?
kaminashi
6
1.2k
20250328_OpenAI製DeepResearchは既に一種のAGIだと思う話
doradora09
PRO
0
150
Amazon Q Developer 他⽣成AIと⽐較してみた
takano0131
1
120
AWS のポリシー言語 Cedar を活用した高速かつスケーラブルな認可技術の探求 #phperkaigi / PHPerKaigi 2025
ytaka23
7
1.5k
OPENLOGI Company Profile
hr01
0
61k
新卒エンジニア研修の試行錯誤と工夫/nikkei-tech-talk-31
nishiuma
0
200
Featured
See All Featured
Bash Introduction
62gerente
611
210k
Designing for humans not robots
tammielis
251
25k
[RailsConf 2023] Rails as a piece of cake
palkan
53
5.4k
Navigating Team Friction
lara
184
15k
How to Think Like a Performance Engineer
csswizardry
22
1.5k
Into the Great Unknown - MozCon
thekraken
36
1.7k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
31
4.8k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
231
53k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
29
2k
Adopting Sorbet at Scale
ufuk
75
9.3k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
248
1.3M
ReactJS: Keep Simple. Everything can be a component!
pedronauck
666
120k
Transcript
© LY Corporation Introduction to works of Date Scientist in
LY Corporation DS統括本部 4本部 宗像 北斗 / Munakata Hokuto 1
© LY Corporation 宗像 北斗 (Munakata Hokuto) ~2023 : 大阪大学
工学研究科 駒谷研究室 - 音源分離の研究 2023~ : LINE株式会社 ASPチーム - 音楽情報処理の研究開発 2023/10~ : LINEヤフー株式会社 4本部 - 動画解析 / 音楽情報処理の研究開発 普段京都オフィスにいます 趣味: ・ギター,ライブ鑑賞 (ロック,パンク,メタル,シューゲイザー…) ・飲み会 (あんまり飲めない) ・良い紅茶 2 自己紹介 DCASE 2024(品川)にて
© LY Corporation 所属チームでの仕事 音楽情報処理 / 動画解析にまつわる研究開発 音楽情報処理:LINE MUSICなどの楽曲を扱うコンテンツのUX改善 ・歌唱者ダイアライゼーション
・動画を入力とした楽曲推薦 ・楽曲タギング 動画解析:スポーツナビなどの動画コンテンツの検索システムや動画広告の審査自動化 ・テキストクエリを用いたオーディオクリップ検索 ・テキストクエリを用いたオーディオの区間検索 ・マルチモーダル (Text, Image, Video, Audio) 基盤モデル 研究・開発どちらもやってます! 国際会議/論文誌投稿,OSSライブラリ開発,サービス向けツール開発
© LY Corporation 歌唱者ダイアライゼーション 複数人歌唱楽曲でどのタイミングで誰が歌っているか予測 応用先:LINE MUSICのUX向上 (歌詞表示,カラオケ機能) 従来:ボーカル抽出技術と話者(=対話音声)ダイアライゼーション技術の組み合わせ 課題:歌唱者ダイアライゼーションの学習データのアノテーションは高コスト
提案:大規模な楽曲データと音声変換モデルを組み合わせた合成データ生成法を提案! ☺ 企業ならではの大規模データ,音声合成チームとの連携 結果:大幅な性能改善 (ダイアライゼーション誤り率: 38.2% → 23.4%),国際会議採択! Diarization model Vocal extraction Singer labels Singer B A Time ♡~~~~~ ♧~~~~~
© LY Corporation テキストクエリを用いたオーディオの区間検索 長いオーディオから特定のイベントが含まれる区間を検索したい 応用先:スポーツ動画の自動ハイライト集生成,広告の自動審査 従来:事前に短く分割されたオーディオクリップの検索システムしかない 提案:コンピュータビジョンで扱われる動画に対する区間検索を応用,タスク整備 ☺ CVをバックグラウンドに持つメンバーと協力して新データセット,モデル提案
結果:単純なベースラインに比べて性能改善 (avg.mAP: 57.0→67.8),国際会議投稿中! Input long audio Input text query Freq.[kHz] 0 16 0 10 20 30 50 40 60 Time [second] 44s 16s Output audio moment Audio moment retrieval ”Spectators watch sports and cheer.” [16s, 44s]
© LY Corporation マルチモーダル基盤モデルの開発 日本語版Text-Image基盤モデルの拡張 目標:現状の基盤モデルに新たなモーダル(Video/Audioなど)を追加 (https://techblog.lycorp.co.jp/ja/20240514bにてText-image基盤モデルの詳細公開中!) 応用先:動画クリップに対する検索,自動タギング 現在進行中! ・日本語版の学習
/ 評価データ収集中 ・大規模学習に向けた環境構築 マルチモーダルなユーザクエリ マルチモーダルな出力 Audio Video Text Audio Video Text
© LY Corporation 1日の流れ ケース1 10:00-11:00 ミーティング 研究の進捗報告,アイデア出し 11:00-14:00 論文読み/資料作成/雑務
合間にお昼ご飯 14:00-15:00 全体定例 事業部との連携や 全社的な動きについて周知 15:00-18:45 論文読み/実験・実装/資料作成 日によってさまざま ミーティングが少ない夕方の方が コーディングに集中できる ケース2 10:00-15:00 論文執筆 締切前はとにかく書く 15:00-16:00 研究について1on1 行き詰まったらメンバーに相談 16:00-20:00 実験 論文を補強するための実験 集中モード
© LY Corporation