Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
MoodTune 東京AI祭ハッカソン決勝
Search
Aokiti
March 25, 2024
670
0
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
MoodTune 東京AI祭ハッカソン決勝
東京AI祭2024 ファイナリストピッチ
Aokiti
March 25, 2024
Transcript
13 slides
MoodTune 今この瞬間最⾼の⾳楽を
概要 環境⾳からSpotifyの⾳楽を推薦するAI
シーンにあった⾳楽、聴けてますか?
None
今この瞬間最⾼の⾳楽を
MoodTuneの特徴 ユーザーの周りの環境⾳から 最適な楽曲を提案 例)改札を通るとき
先⾏サービスとの違い 既存の⾳楽推薦AI ‧再⽣履歴 ‧好み ‧マウスクリックなどの⾏動データ‧ MoodTuneの⾳楽推薦AI ‧ユーザーの周りの環境⾳ 画⾯上だけの2次元 空間情報を含む3次元
フロントエンド (Next.js) Spotifyにログイン Spotify Web API 環境⾳を5秒間録⾳ (MediaRecorder) OAuth認証 &
アクセストークンを返却 バックエンド (Fast API) ⾳楽パラメータが近い楽曲IDを取得 YAMNet で特徴量を抽出 ⾳楽パラメータを推論 (⾃作AIモデル) 推薦された楽曲をプレイリスト再⽣ 5つの楽曲IDを返却 Spotify Web Playback SDK 楽曲の再⽣‧停⽌‧スキップ 技術構成
Spotify上に保存されている ⾳楽パラメータをAPI取得 YAMNetを使⽤して 環境⾳の特徴量を抽出 ランダムフォレストにて特徴量 から⾳楽パラメータを推論 楽曲1.mp3 {'danceability': 0.531, 'energy':
0.893, 'valence': 0.639} 楽曲2.mp3 {'danceability': 0.234, 'energy': 0.389, 'valence': 0.328} 楽曲3.mp3 {'danceability': 0.112, 'energy': 0.977, 'valence': 0.237} ・ ・ ・ [Spotifyの音楽パラメータ] {'danceability': 0.531, 'energy': 0.893, '.. {'danceability': 0.234, 'energy': 0.389, ʻ.. {'danceability': 0.112, 'energy': 0.977, ʻ.. [[0. 0.29666188 0.06228863 ... 0. 0. 0. ] [0. 0.5740908 0.32894447 ... 0.08657128 0. 0. ] [0. 0.03897701 0.65733117 ... 0.09060702 0. 0. ] ... [0. 0.12407272 0.03179706 ... 0.32213107 0.08482026 0. ] [0. 0.11226998 0. ... 0. 0. 0. ] [0. 0.1002526 0. ... 0. 0. 0. ]] [環境音の特徴量] [[0. 0.29666188 0.06228863 ... 0. 0. 0. ] [0. 0.5740908 0.32894447 ... 0.08657128 0. 0. ] [0... AIモデル 521種類の⾳声イベント (掃除機、⾬⾳、笑い声、⾞の⾛⾏⾳、ドアの開閉⾳ など)
フロントエンド (Next.js) Spotifyにログイン Spotify Web API 環境⾳を5秒間録⾳ (MediaRecorder) OAuth認証 &
アクセストークンを返却 バックエンド (Fast API) ⾳楽パラメータが近い楽曲IDを取得 YAMNet で特徴量を抽出 ⾳楽パラメータを推論 (⾃作AIモデル) 推薦された楽曲をプレイリスト再⽣ 5つの楽曲IDを返却 Spotify Web Playback SDK 楽曲の再⽣‧停⽌‧スキップ 技術構成
まとめ ユーザーの周りの環境⾳に合わせて Spotifyの⾳楽から最適なプレイリストを⽣成してくれる 環境⾳にもとづく、現実のシーンを加味した⾳楽推薦 Spotifyの⾳楽パラメータを推定する⾃作AI 3 2 1
• ランダムフォレスト回帰(scikit-learn、100個の決定⽊) • 学習データ: Spotifyから取得したヒットソング400曲 • 損失関数: MAE(平均絶対誤差) • テストデータに対するMAE(平均絶対誤差)
◦ danceability: ±0.06 ◦ energy: ±0.06 ◦ valence: ±0.12 Appendix: AIモデル詳細
• danceability ◦ 踊りやすさ。1に近づくほど踊りやすい。テンポやリズム、ビートの強さなどから決まる ◦ 例)TWICE「Breakthrough」: 0.868 ↔ Mrs. GREEN APPLE「⻘と夏」: 0.31
• energy ◦ 曲の過激さ。デスメタルなど。エネルギッシュな曲は速く、うるさく、騒々しく感じられる。 ◦ 例)DA PUMP「U.S.A.」: 0.988 ↔ Mena Massoud「A Whole New World」: 0.375 • valence ◦ 明るさ。1に近づくほどポジティブな楽曲になる。 ◦ 例)ヨルシカ「ただ君に晴れ」: 0.962 ↔ King Gnu「The hole」: 0.111 Appendix: Spotifyの⾳楽パラメータ
More Decks by Aokiti
See All by Aokiti
[FlutterKaigi 2026] Flutter Widget Previewerで始めるUIプレビューとVRTの自動化
sakusaku3939
0
220
d-hacks 今期運営 2025f
sakusaku3939
0
920
[d-hacks Docker講座] Dockerで動かすローカルLLM入門
sakusaku3939
0
130
[論文輪読会] A survey of model compression strategies for object detection
sakusaku3939
0
56
[論文輪読会] ViT-1.58b
sakusaku3939
0
420
d-hacks PyTorchモデル実装会 2024f
sakusaku3939
0
75
[論文輪読会] Binarized Neural Networks
sakusaku3939
0
90
一般物体検出とLSTMを用いた画像に基づく屋内位置推定 - IPSJ UBI82
sakusaku3939
0
560
d-hacks PyTorch実装会 2023f
sakusaku3939
0
47
Featured
See All Featured
DBのスキルで生き残る技術 - AI時代におけるテーブル設計の勘所
soudai
PRO
68
61k
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
25
2.2k
Ten Tips & Tricks for a 🌱 transition
stuffmc
1
290
RailsConf 2023
tenderlove
30
1.6k
Facilitating Awesome Meetings
lara
57
7.2k
How to build an LLM SEO readiness audit: a practical framework
nmsamuel
2
990
Getting science done with accelerated Python computing platforms
jacobtomlinson
2
580
Documentation Writing (for coders)
carmenintech
77
5.6k
Building a A Zero-Code AI SEO Workflow
portentint
PRO
0
850
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
52
6.2k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
232
55k
We Are The Robots
honzajavorek
0
460