Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Introduction to works of Data Scientist in LY C...
Search
LINEヤフー株式会社 採用情報
November 24, 2024
Technology
0
250
Introduction to works of Data Scientist in LY Corporation
LINEヤフー株式会社 採用情報
November 24, 2024
Tweet
Share
More Decks by LINEヤフー株式会社 採用情報
See All by LINEヤフー株式会社 採用情報
ソーシャルコマース統括本部 PdM,TPMのお仕事紹介
lycorp_recruit_jp
1
120
LINEヤフー デザイナー紹介資料/Introduction for Designer
lycorp_recruit_jp
0
160
LINEヤフー CISO管掌 組織説明資料
lycorp_recruit_jp
0
730
コーポレートビジネスカンパニー組織説明資料
lycorp_recruit_jp
0
12k
Company Introduction_English
lycorp_recruit_jp
0
9.5k
Introduction for Engineer_English
lycorp_recruit_jp
0
110
Yahoo! メディアサービスにおけるデ ータ利活用基盤開発 (バックエンド)
lycorp_recruit_jp
0
1.9k
Yahoo!不動産における開発体制
lycorp_recruit_jp
0
960
LINEヤフー サービスインフラグループ紹介
lycorp_recruit_jp
1
28k
Other Decks in Technology
See All in Technology
Sansan Engineering Unit 紹介資料
sansan33
PRO
1
3k
20251010_HCCJP_AdaptiveCloudUpdates
sdosamut
0
130
AI時代こそ求められる設計力- AWSクラウドデザインパターン3選で信頼性と拡張性を高める-
kenichirokimura
3
330
GoでもGUIアプリを作りたい!
kworkdev
PRO
0
150
Node.js 2025: What's new and what's next
ruyadorno
0
360
研究開発部メンバーの働き⽅ / Sansan R&D Profile
sansan33
PRO
3
20k
難しいセキュリティ用語をわかりやすくしてみた
yuta3110
0
150
Bill One 開発エンジニア 紹介資料
sansan33
PRO
4
14k
衛星画像超解像化によって実現する2D, 3D空間情報の即時生成と“AI as a Service”/ Real-time generation spatial data enabled_by satellite image super-resolution
lehupa
0
170
Introduction to Sansan Meishi Maker Development Engineer
sansan33
PRO
0
310
そのWAFのブロック、どう活かす? サービスを守るための実践的多層防御と思考法 / WAF blocks defense decision
kaminashi
0
200
業務効率化をさらに加速させる、ノーコードツールとStep Functionsのハイブリッド化
smt7174
2
140
Featured
See All Featured
A better future with KSS
kneath
239
18k
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
48
9.7k
How to train your dragon (web standard)
notwaldorf
97
6.3k
A Tale of Four Properties
chriscoyier
161
23k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
31
2.7k
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
46
7.7k
GraphQLの誤解/rethinking-graphql
sonatard
73
11k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
31
2.5k
Code Reviewing Like a Champion
maltzj
526
40k
The Art of Programming - Codeland 2020
erikaheidi
56
14k
Making the Leap to Tech Lead
cromwellryan
135
9.6k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
667
120k
Transcript
© LY Corporation Introduction to works of Date Scientist in
LY Corporation DS統括本部 4本部 宗像 北斗 / Munakata Hokuto 1
© LY Corporation 宗像 北斗 (Munakata Hokuto) ~2023 : 大阪大学
工学研究科 駒谷研究室 - 音源分離の研究 2023~ : LINE株式会社 ASPチーム - 音楽情報処理の研究開発 2023/10~ : LINEヤフー株式会社 4本部 - 動画解析 / 音楽情報処理の研究開発 普段京都オフィスにいます 趣味: ・ギター,ライブ鑑賞 (ロック,パンク,メタル,シューゲイザー…) ・飲み会 (あんまり飲めない) ・良い紅茶 2 自己紹介 DCASE 2024(品川)にて
© LY Corporation 所属チームでの仕事 音楽情報処理 / 動画解析にまつわる研究開発 音楽情報処理:LINE MUSICなどの楽曲を扱うコンテンツのUX改善 ・歌唱者ダイアライゼーション
・動画を入力とした楽曲推薦 ・楽曲タギング 動画解析:スポーツナビなどの動画コンテンツの検索システムや動画広告の審査自動化 ・テキストクエリを用いたオーディオクリップ検索 ・テキストクエリを用いたオーディオの区間検索 ・マルチモーダル (Text, Image, Video, Audio) 基盤モデル 研究・開発どちらもやってます! 国際会議/論文誌投稿,OSSライブラリ開発,サービス向けツール開発
© LY Corporation 歌唱者ダイアライゼーション 複数人歌唱楽曲でどのタイミングで誰が歌っているか予測 応用先:LINE MUSICのUX向上 (歌詞表示,カラオケ機能) 従来:ボーカル抽出技術と話者(=対話音声)ダイアライゼーション技術の組み合わせ 課題:歌唱者ダイアライゼーションの学習データのアノテーションは高コスト
提案:大規模な楽曲データと音声変換モデルを組み合わせた合成データ生成法を提案! ☺ 企業ならではの大規模データ,音声合成チームとの連携 結果:大幅な性能改善 (ダイアライゼーション誤り率: 38.2% → 23.4%),国際会議採択! Diarization model Vocal extraction Singer labels Singer B A Time ♡~~~~~ ♧~~~~~
© LY Corporation テキストクエリを用いたオーディオの区間検索 長いオーディオから特定のイベントが含まれる区間を検索したい 応用先:スポーツ動画の自動ハイライト集生成,広告の自動審査 従来:事前に短く分割されたオーディオクリップの検索システムしかない 提案:コンピュータビジョンで扱われる動画に対する区間検索を応用,タスク整備 ☺ CVをバックグラウンドに持つメンバーと協力して新データセット,モデル提案
結果:単純なベースラインに比べて性能改善 (avg.mAP: 57.0→67.8),国際会議投稿中! Input long audio Input text query Freq.[kHz] 0 16 0 10 20 30 50 40 60 Time [second] 44s 16s Output audio moment Audio moment retrieval ”Spectators watch sports and cheer.” [16s, 44s]
© LY Corporation マルチモーダル基盤モデルの開発 日本語版Text-Image基盤モデルの拡張 目標:現状の基盤モデルに新たなモーダル(Video/Audioなど)を追加 (https://techblog.lycorp.co.jp/ja/20240514bにてText-image基盤モデルの詳細公開中!) 応用先:動画クリップに対する検索,自動タギング 現在進行中! ・日本語版の学習
/ 評価データ収集中 ・大規模学習に向けた環境構築 マルチモーダルなユーザクエリ マルチモーダルな出力 Audio Video Text Audio Video Text
© LY Corporation 1日の流れ ケース1 10:00-11:00 ミーティング 研究の進捗報告,アイデア出し 11:00-14:00 論文読み/資料作成/雑務
合間にお昼ご飯 14:00-15:00 全体定例 事業部との連携や 全社的な動きについて周知 15:00-18:45 論文読み/実験・実装/資料作成 日によってさまざま ミーティングが少ない夕方の方が コーディングに集中できる ケース2 10:00-15:00 論文執筆 締切前はとにかく書く 15:00-16:00 研究について1on1 行き詰まったらメンバーに相談 16:00-20:00 実験 論文を補強するための実験 集中モード
© LY Corporation