Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Railsで4GBのデカ動画ファイルのアップロードと配信、どう実現する?
Search
Tomohiko SEO
November 08, 2024
Technology
1
190
Railsで4GBのデカ動画ファイルのアップロードと配信、どう実現する?
Kaigi on Rails 2024事後勉強会
https://smarthr.connpass.com/event/331100/
でLTした内容です。
Tomohiko SEO
November 08, 2024
Tweet
Share
More Decks by Tomohiko SEO
See All by Tomohiko SEO
プログラミングが変える未来
asflash8
0
11
僕と小田原とRubyとRails
asflash8
0
80
Other Decks in Technology
See All in Technology
製造現場のデジタル化における課題とPLC Data to Cloudによる新しいアプローチ
hamadakoji
0
190
Exadata Database Service on Cloud@Customer セキュリティ、ネットワーク、および管理について
oracle4engineer
PRO
0
1.1k
SREの組織類型に応じた リーダシップの考察
kenta_hi
PRO
0
620
社内で最大の技術的負債のリファクタリングに取り組んだお話し
kidooonn
1
440
利きプロセススケジューラ
sat
PRO
4
2.6k
Intuneお役立ちツールのご紹介
sukank
3
740
GraphRAGを用いたLLMによるパーソナライズド推薦の生成
naveed92
0
190
オーティファイ会社紹介資料 / Autify Company Deck
autifyhq
9
120k
OCI Data Integration技術情報 / ocidi_technical_jp
oracle4engineer
PRO
1
2.6k
3次元点群データ「VIRTUAL SHIZUOKA』のオープンデータ化による恩恵と協働の未来/FOSS4G Japan 2024
kazz24s
0
120
"君は見ているが観察していない"で考えるインシデントマネジメント
grimoh
4
1k
「 SharePoint 難しい」ってよく聞くけど、そんなに言うなら8歳の息子に試してもらった
taichinakamura
2
790
Featured
See All Featured
A Tale of Four Properties
chriscoyier
156
23k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
505
140k
How STYLIGHT went responsive
nonsquared
95
5.2k
Happy Clients
brianwarren
97
6.7k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
38
1.8k
It's Worth the Effort
3n
183
27k
[RailsConf 2023] Rails as a piece of cake
palkan
51
4.9k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
229
52k
No one is an island. Learnings from fostering a developers community.
thoeni
19
3k
Practical Orchestrator
shlominoach
186
10k
Teambox: Starting and Learning
jrom
133
8.8k
Making Projects Easy
brettharned
115
5.9k
Transcript
Railsで4GBのデカ動画ファイルの アップロードと配信、どう実現する? 2024.11.08 Fri. Kaigi on Rails2024事後勉強会@SmartHR 瀬尾 智彦 SmartHR
プロダクトエンジニア
瀬尾智彦(theo)です。 2023年6月にSmartHR入社 スキル管理・学習管理というプロ ダクトの開発を担当しています。 Rails歴は12年くらい。 今日はプロポーザルを供養しにきました。
スキル管理・学習管理
https://smarthr.jp/function/skill/
https://smarthr.jp/function/learning/
「スキル管理」に学習の管理ができるフィーチャーを開 発することに。開発期間はおおよそ3ヶ月。 自前でスライドや動画の登録や配信ができる仕組みで 動画は1ファイル最大4GBまで扱えるようにしたい。 ※実際はもっと丁寧なコミュニケーションがありました
スキル管理に学習管理ができるフィーチャーを開発す ることに。開発期間はおおよそ3ヶ月。 自前でスライドや動画の登録や配信ができる仕組みで 動画は1ファイル最大4GBまで扱えるようにしたい。 ※実際はもっと丁寧なコミュニケーションがありました
最大4GB
落ち着いて状況を整理しましょう • スキル管理というプロダクトに新たなフィーチャーとして学習管理機能を作る • ユーザーが従業員の学習用にスライドや動画を登録・配信できるシステム • 動画の登録や配信はYouTubeなど外部サービスは利用せずに自前で作る • 開発期間はおおよそ3ヶ月 •
動画は1ファイルで最大4GBまで
動画は1ファイルで最大4GB
SmartHRって技術スタックが統一されているんですよね。 バックエンドはほぼすべてのプロダクトがRailsです。 動画を扱ったプロダクトが他にもあるかもしれない。
SmartHRって技術スタックが統一されているんですよね。 バックエンドはほぼすべてのプロダクトがRailsです。 動画を扱ったプロダクトが他にもあるかもしれない。 なかった😭
実現方法を考える
スキル管理には資格の証明書の写し(PDF or 画像) を保存する仕組みがあり、これを流用できないか?
スキル管理には資格の証明書の写し(PDF or 画像) を保存する仕組みがあり、これを流用できないか? Cloud Runにはhttp/1では最大リクエスト容量が32MBまでしか 受けられない制限が存在します。 https://cloud.google.com/run/quotas?hl=ja#request_limits
スキル管理には資格の証明書の写し(PDF or 画像) を保存する仕組みがあり、これを流用できないか? スキル管理ではサーバーにpumaを利用していて、http/2が利用 できません。nginxを前段に立てるなどすればhttp/2が利用でき ますが、なるべく既存のサーバー構成は変えたくない……。 ※後から気づいたのですがthrusterを利用するという手もあったかもしれません。
社内の有識者やGoogleのサポートエンジニアに相談
社内の有識者やGoogleのサポートエンジニアに相談 署名付きURL/Cookieを利用して、Cloud CDN経由でブラウザ からCloud Storageに直接アップロード&配信をする方式を採用 することにしました。
署名付きURL 署名付き URL は、リクエスト時における制限付きの権限と有効期限が設定された URL です。署 名付き URL のクエリ文字列には認証情報が含まれているので、認証情報を持たないユーザーで もリソースに対して特定の操作を実行できます。
https://cloud.google.com/cdn/docs/using-signed-urls?hl=ja 署名付きCookie 署名付き Cookie は、署名付き URL の代わりとなる手段です。アプリケーションでユーザーご とに数十、数百の URL に個別に署名するのが不可能な場合は、署名付き Cookie によってアク セスを保護できます。 https://cloud.google.com/cdn/docs/using-signed-cookies?hl=ja
ファイルアップロードをシーケンス図で書くと こんな感じです。 1. Rails(アプリケーションサーバー)で動 画ファイル管理用のデータを事前に作 成 2. Railsで署名付きURLを発行 3. ユーザー(管理者)がブラウザから直接
ファイルをアップロード 他にもなりすましを防ぐための仕組みを入 れたりしています。
before after
神資料 https://cloud.google.com/blog/ja/products/gcp/uploading-images-directly-to-clou d-storage-by-using-signed-url?hl=ja
これで4GBの動画ファイルでも無事にアップロードで きるようになりました。よかった。
これで終わりじゃなかった
ファイルは保存できるようになったが、Railsを経由 せずにストレージに保存するため、アップロードが終 わったかどうかを検知できない問題
ファイルは保存できるようになったが、Railsを経由 せずにストレージに保存するため、アップロードが終 わったかどうかを検知できない問題 💡Cloud StorageのfinalizeイベントトリガーでCloud Functionsを起動することでアップロードの検知できるようになり 解決
アップロード後処理をシーケンス図で書くとこ んな感じです。 1. Cloud Storage(GCS)からfinalize イベントをトリガーにCloud Functionsを起動 2. Cloud FunctionsからRailsに後処
理開始のリクエスト 3. Railsからステータス更新などの後処理 を実行 いきなり配信されないようにアップロード用と配信用 のバケットを分ける工夫をしています
これで動画アップロードの完了も無事検知できるよう になった。よかった。
これで終わりじゃな(ry
これでアップロードは検知できるようになったが、 ユーザーの環境に合わせて安全に動画を配信しなけ ればならない問題
突然ですが、動画の形式ってどのくらいあるかご存知 ですか?
コンテナとコーデック • 動画そのもの+音声+メタ情報をまとめたコンテナ(MP4とかWebMとか) • 動画を圧縮してエンコード・デコードするコーデック(H.264とかVP9とか) • 音声を圧縮してエンコード・デコードするコーデック(AACとか) MDN - ウェブ動画コーデックガイド
https://developer.mozilla.org/ja/docs/Web/Media/Formats/Containers
動画って200種類あんねん (CV:アンミカ)
動画のコーデックの深淵を覗いてしまった。 現時点で対応しているコンテナはMP4とMOVのみ。 コーデックは変換しないことに。 (興味がある方がいたら後でお話しましょう)
これでアップロードは検知できるようになったが、 ユーザーの環境に合わせて安全に動画を配信しなけ ればならない問題 配信そのものは署名付きCookieを利用して、CDN経由で CloudStorageから直接配信することで解決
署名付きURL 署名付き URL は、リクエスト時における制限付きの権限と有効期限が設定された URL です。署 名付き URL のクエリ文字列には認証情報が含まれているので、認証情報を持たないユーザーで もリソースに対して特定の操作を実行できます。
https://cloud.google.com/cdn/docs/using-signed-urls?hl=ja 署名付きCookie 署名付き Cookie は、署名付き URL の代わりとなる手段です。アプリケーションでユーザーご とに数十、数百の URL に個別に署名するのが不可能な場合は、署名付き Cookie によってアク セスを保護できます。 https://cloud.google.com/cdn/docs/using-signed-cookies?hl=ja 思い出すシリーズ
なぜ署名付きURLではなく、署名付きCookie? 署名付きURLだとつらいケースがあるからです。 HLSという動画配信の規格があり、雑に言うと動画ファイルを数秒単位で細かく分割し、順番に配 信していくことでネットワーク環境が悪い場合でも、快適に動画を視聴できること特徴です。 ファイルを分割して配信する関係で、ファイルごとに署名が必要になる署名付きURLとは相性が 悪く、将来的にHLSに対応することも考慮して、特定のパス配下のファイルは一括で署名してアク セス可能になる署名付きCookieを利用することにしました。
これで動画アップロード、完了検知、配信も無事できる ようになった。よかったよかった。
まとめ
• 巨大ファイルのアップロードやダウンロード は署名付きURL/Cookieを使おう • Railsは署名付きURL/Cookieの管理な ど適材適所で使おう
ありがとうございました! 今日の話の詳細を同じチームのメンバーがSmartHRのテックブログで公開しています! 学習管理機能の開発において使った技術 https://tech.smarthr.jp/entry/2024/07/31/171330