動画サービスを支える配信基盤のコアテクノロジー

DMM meetup #15 コンテンツ配信を支える技術
https://dmm.connpass.com/event/160047/

Transcript

1. © DMM.com 動画サービスを支える配信基盤の コアテクノロジー 合同会社DMM.com EC&デジタルコンテンツ本部 動画配信事業部 配信基盤スクラムチーム プロダクトオーナー (@yanoshi)
2. © DMM.com NOW LOADING 2 #dmm_meetup よろしくです
3. © DMM.com こんばんは 3
4. © DMM.com アプリの進化、すごいでしょ？ 4
5. © DMM.com 動画な発表のトリです 5 最後は毛色を変えてバックエンド寄り
6. © DMM.com 配信基盤の話をします 6 What’s 配信基盤？
7. © DMM.com 7 ©copyright 2008, Blender Foundation / www.bigbuckbunny.org ここを実現するためのシステムを開発 動画再生時
8. © DMM.com 8 ©copyright 2008, Blender Foundation / www.bigbuckbunny.org ここを実現するためのシステムを開発 動画再生時 具体的には？
9. © DMM.com 9 9 コンテンツ ホルダー DB 商品情報 ユーザー情報 低位のAPIレイヤー DB / REST API 上位のWeb Framework View / REST API PFが用意する共通基盤 静的キャッシュ基盤 ユーザー VR テレビ ゲーム スマホ PC ライブ配信 運用部門 エンコード システム 「JIRO」 一部のダウンロード配信 動的配信基盤 動的キャッシュ「VODST」 マルチDRMサーバー「mlic」 配信情報管理API/DB「st-api」 ストレージ CDN オフロード サービス API CMS 商品情報管理 システム
10. © DMM.com 10 10 コンテンツ ホルダー DB 商品情報 ユーザー情報 低位のAPIレイヤー DB / REST API 上位のWeb Framework View / REST API PFが用意する共通基盤 静的キャッシュ基盤 ユーザー VR テレビ ゲーム スマホ PC ライブ配信 運用部門 エンコード システム 「JIRO」 一部のダウンロード配信 動的配信基盤 動的キャッシュ「VODST」 マルチDRMサーバー「mlic」 配信情報管理API/DB「st-api」 ストレージ CDN オフロード サービス API CMS 商品情報管理 システム 動画を「再生」するには 結構苦労がある
11. © DMM.com 11 11 コンテンツ ホルダー DB 商品情報 ユーザー情報 低位のAPIレイヤー DB / REST API 上位のWeb Framework View / REST API PFが用意する共通基盤 静的キャッシュ基盤 ユーザー VR テレビ ゲーム スマホ PC ライブ配信 運用部門 エンコード システム 「JIRO」 一部のダウンロード配信 動的配信基盤 動的キャッシュ「VODST」 マルチDRMサーバー「mlic」 配信情報管理API/DB「st-api」 ストレージ CDN オフロード サービス API CMS 商品情報管理 システム 商品情報が 必要
12. © DMM.com 12 12 コンテンツ ホルダー DB 商品情報 ユーザー情報 低位のAPIレイヤー DB / REST API 上位のWeb Framework View / REST API PFが用意する共通基盤 静的キャッシュ基盤 ユーザー VR テレビ ゲーム スマホ PC ライブ配信 運用部門 エンコード システム 「JIRO」 一部のダウンロード配信 動的配信基盤 動的キャッシュ「VODST」 マルチDRMサーバー「mlic」 配信情報管理API/DB「st-api」 ストレージ CDN オフロード サービス API CMS 商品情報管理 システム エンコードが 必要
13. © DMM.com 13 13 コンテンツ ホルダー DB 商品情報 ユーザー情報 低位のAPIレイヤー DB / REST API 上位のWeb Framework View / REST API PFが用意する共通基盤 静的キャッシュ基盤 ユーザー VR テレビ ゲーム スマホ PC ライブ配信 運用部門 エンコード システム 「JIRO」 一部のダウンロード配信 動的配信基盤 動的キャッシュ「VODST」 マルチDRMサーバー「mlic」 配信情報管理API/DB「st-api」 ストレージ CDN オフロード サービス API CMS 商品情報管理 システム コンテンツの保護も 当然必要
14. © DMM.com 14 14 コンテンツ ホルダー DB 商品情報 ユーザー情報 低位のAPIレイヤー DB / REST API 上位のWeb Framework View / REST API PFが用意する共通基盤 静的キャッシュ基盤 ユーザー VR テレビ ゲーム スマホ PC ライブ配信 運用部門 エンコード システム 「JIRO」 一部のダウンロード配信 動的配信基盤 動的キャッシュ「VODST」 マルチDRMサーバー「mlic」 配信情報管理API/DB「st-api」 ストレージ CDN オフロード サービス API CMS 商品情報管理 システム この辺りのソフトウェアレイヤー を弊チームで開発
15. © DMM.com 15 15 コンテンツ ホルダー DB 商品情報 ユーザー情報 低位のAPIレイヤー DB / REST API 上位のWeb Framework View / REST API PFが用意する共通基盤 静的キャッシュ基盤 ユーザー VR テレビ ゲーム スマホ PC ライブ配信 運用部門 エンコード システム 「JIRO」 一部のダウンロード配信 動的配信基盤 動的キャッシュ「VODST」 マルチDRMサーバー「mlic」 配信情報管理API/DB「st-api」 ストレージ CDN オフロード サービス API CMS 商品情報管理 システム この辺りのソフトウェアレイヤー を弊チームで開発 動画の配信 『支えてます』
16. © DMM.com ネタはいっぱい 16
17. © DMM.com 本発表の目標 17 コアテクノロジーを駆け足で紹介! ふわっと 動画配信基盤を知ってもらう!
18. © DMM.com 動画サービスを支える配信基盤の コアテクノロジー 合同会社DMM.com EC&デジタルコンテンツ本部 動画配信事業部 配信基盤スクラムチーム プロダクトオーナー (@yanoshi)
19. © DMM.com 19 自己紹介
20. © DMM.com P E R S O N A L D A T A YANO MASAHITO 矢 野 完 人 2016年新卒入社 動画配信基盤開発 プロダクトオーナー ID: yanoshi 所属 合同会社DMM.com EC&デジタルコンテンツ本部 動画配信事業部 配信基盤スクラムチーム 趣味 美味しいものｍｇｍｇ 日本酒、ビールｇｋｇｋ かわいい絵ｍｇｍｇ かわいい曲ｍｇｍｇ
21. © DMM.com P E R S O N A L D A T A YANO MASAHITO 矢 野 完 人 2016年新卒入社 動画配信基盤開発 プロダクトオーナー ID: yanoshi 所属 合同会社DMM.com EC&デジタルコンテンツ本部 動画配信事業部 配信基盤スクラムチーム 趣味 美味しいものｍｇｍｇ 日本酒、ビールｇｋｇｋ かわいい絵ｍｇｍｇ かわいい曲ｍｇｍｇ P E R S O N A L D A T A
22. © DMM.com 22
23. © DMM.com 23
24. © DMM.com 24
25. © DMM.com 25
26. © DMM.com 26 エモエモなチームです
27. © DMM.com 27 お品書き 大規模トラフィックを制御するキャッシュアーキテクチャ コスパ最強高性能エンコーダーシステム 安全にコンテンツを届けるマルチDRM
28. © DMM.com 28 お品書き 大規模トラフィックを制御するキャッシュアーキテクチャ コスパ最強高性能エンコーダーシステム 安全にコンテンツを届けるマルチDRM
29. © DMM.com 改めて弊社動画事業の 規模感 29 規模感
30. © DMM.com 配信基盤はほぼオンプレ! 30 規模感
31. © DMM.com 圧倒的コンテンツ量 35万 件以上 31 規模感
32. © DMM.com 圧倒的対応デバイス数 テレビ スマホ ゲーム 32 規模感
33. © DMM.com 売上もいっぱい 33 規模感 これくらい
34. © DMM.com 34 規模感 ストレージもいっぱい! 増加 現状 十数PB 1.5PB/年
35. © DMM.com 35 規模感 負荷もいっぱい! 103.1Gbps 121.65Gbps 151.3Gbps 197.35Gbps 259.18Gbps 280Gbps 340Gbps 386Gbps 0 50 100 150 200 250 300 350 400 450 2013 2014 2015 2016 2017 2018 2019 2020 対外トラフィック 2013 2014 2015 2016 2017 2018 2019 2020
36. © DMM.com 36 規模感 負荷もいっぱい! 103.1Gbps 121.65Gbps 151.3Gbps 197.35Gbps 259.18Gbps 280Gbps 340Gbps 386Gbps 0 50 100 150 200 250 300 350 400 450 2013 2014 2015 2016 2017 2018 2019 2020 対外トラフィック 2013 2014 2015 2016 2017 2018 2019 2020 直近に更新しました 386Gbps (@1/9未明)
37. © DMM.com 37 配信サーバーの創意工夫が必要 賢いキャッシュ制御が必要 大量のオリジンサーバーを管理し 大量のトラフィックを捌かないと いけない!
38. © DMM.com • なるべく高速な記憶装置キャッシュを貯める • キャッシュヒット率を高める 38 負荷分散に関する戦略 Simple is the best!!!
39. © DMM.com 39 負荷分散に関する戦略 小 大 コンテンツ数 ユーザー数 キャッシュ オリジン 例1: コンテンツが少なくてユーザーが多い
40. © DMM.com 40 負荷分散に関する戦略 コンテンツ数 ユーザー数 キャッシュ オリジン 例2: コンテンツが多くてユーザーが少ない 大 小
41. © DMM.com 41 負荷分散に関する戦略 じゃあ弊社は？
42. © DMM.com 42 負荷分散に関する戦略 コンテンツ数 ユーザー数 キャッシュ オリジン 弊社: コンテンツが多くてユーザーが多い 大 大 コスパが悪い！
43. © DMM.com 43 弊社のキャッシュ戦略 コンテンツごとに 振り分けちゃおう
44. © DMM.com 44 オブジェクト ストレージ 配信 ミドルウェア キャッシュ サーバー MP4 Wowza OpenResty 配信アーキテクチャ概略図 ユーザー 弊社の動的キャッシュアーキテクチャ
45. © DMM.com 45 オブジェクト ストレージ 配信 ミドルウェア キャッシュ サーバー MP4 Wowza OpenResty コンテンツAの 視聴状況 ユーザー 視聴者数: 小 弊社の動的キャッシュアーキテクチャ
46. © DMM.com 46 オブジェクト ストレージ 配信 ミドルウェア キャッシュ サーバー MP4 Wowza OpenResty コンテンツAの 視聴状況 ユーザー 視聴者数: 中 弊社の動的キャッシュアーキテクチャ
47. © DMM.com 47 オブジェクト ストレージ 配信 ミドルウェア MP4 Wowza コンテンツAの 視聴状況 ユーザー キャッシュ サーバー OpenResty 弊社の動的キャッシュアーキテクチャ 視聴者数: 大
48. © DMM.com 48 オブジェクト ストレージ 配信 ミドルウェア MP4 Wowza コンテンツAの 視聴状況 ユーザー キャッシュ サーバー OpenResty 賢く動的にトラフィック制御 (VODST v.4) 弊社の動的キャッシュアーキテクチャ CDN 視聴者数: 猛烈
49. © DMM.com 49 どうやって実現？ Wowzaで動的にストリーム生成 OpenRestyでキャッシュサーバー等にロジック Consulで各サーバーのノードマネージメント 弊社の動的キャッシュアーキテクチャ
50. © DMM.com VR テレビ ゲーム スマホ PC 50 Wowza OpenResty 負荷分散後の 配信URL Storage Proxy Cache OpenResty Origin Device Redirector st-api VODST Manager CDN 配信URL OpenRestyのShared Memoryにアクセス情報がたまる ContentA: 100reqs/sec ContentB: 1000reqs/sec ContentC: 0reqs/sec Node1 ContentA: 200reqs/sec ContentB: 1500reqs/sec ContentC: 1reqs/sec Node2 … Node3
51. © DMM.com 51 Wowza OpenResty 負荷分散後の 配信URL Storage Proxy Cache OpenResty Origin Device Redirector st-api VODST Manager CDN 配信URL 配信サーバーがManagerノードへデータを転送 Node1 ContentA: 200reqs/sec ContentB: 1500reqs/sec ContentC: 1reqs/sec Node2 … Node3 ContentA: 500reqs/sec ContentB: 10000reqs/sec ContentC: 2reqs/sec VR テレビ ゲーム スマホ PC ContentA: 100reqs/sec ContentB: 1000reqs/sec ContentC: 0reqs/sec ⚡Consul Event ⚡
52. © DMM.com 52 Wowza OpenResty 負荷分散後の 配信URL Storage Proxy Cache OpenResty Origin Device Redirector st-api VODST Manager CDN 配信URL 定期に 収集 VR テレビ ゲーム スマホ PC
53. © DMM.com 53 Wowza OpenResty 負荷分散後の 配信URL Storage Proxy Cache OpenResty Origin Device Redirector st-api VODST Manager CDN 配信URL 負荷分散情報を各ノードが自発的に回収! ContentA: 500reqs/sec ContentB: 10000reqs/sec ContentC: 2reqs/sec ContentA: 普通 ContentB: ヤバい ContentC: 無風 VR テレビ ゲーム スマホ PC ⚡Consul Event ⚡
54. © DMM.com 54 Wowza OpenResty 負荷分散後の 配信URL Storage Proxy Cache OpenResty Origin Device Redirector st-api VODST Manager CDN 配信URL 定期に 更新 ContentA: 普通 ContentB: ヤバい ContentC: 無風 VR テレビ ゲーム スマホ PC
55. © DMM.com 55 Wowza OpenResty 負荷分散後の 配信URL Storage Proxy Cache OpenResty Origin Device Redirector st-api VODST Manager CDN 配信URL 適宜 リダイレクト 持っているデータを元に 適宜リダイレクト ContentA: 普通 ContentB: ヤバい ContentC: 無風 VR テレビ ゲーム スマホ PC
56. © DMM.com 56 Wowza OpenResty 負荷分散後の 配信URL Storage Proxy Cache OpenResty Origin Device Redirector st-api VODST Manager CDN 配信URL いつも 快適 VR テレビ ゲーム スマホ PC
57. © DMM.com 57 Wowza OpenResty 負荷分散後の 配信URL Storage Proxy Cache OpenResty Origin Device Redirector st-api VODST Manager CDN 配信URL VR テレビ ゲーム スマホ PC 結果整合性が担保された 安全な配信基盤!
58. © DMM.com 58 Wowza OpenResty 負荷分散後の 配信URL Storage Proxy Cache OpenResty Origin Device Redirector st-api VODST Manager CDN 配信URL VR テレビ ゲーム スマホ PC 話してたら時間がなくなる ので割愛
59. © DMM.com 59 導入によって良いこといっぱい • キャッシュヒット率倍増 • CDNコスト大幅カット • 負荷対策が簡素化 弊社の動的キャッシュアーキテクチャ
60. © DMM.com 60 お品書き 大規模トラフィックを制御するキャッシュアーキテクチャ コスパ最強高性能エンコーダーシステム 安全にコンテンツを届けるマルチDRM
61. © DMM.com コンテンツは増え続ける 毎日数十コンテンツが納品 61
62. © DMM.com 動画配信を安定して行うには 適切なデータを作る必要がある 62
63. © DMM.com 動画配信を安定して行うには 適切なデータを作る必要がある 63 いっぱいエンコード するよ
64. © DMM.com ストリームは複数用意するのが 普通 64 ABR: Adaptive BitRate 「画質: オート」とかそういうやつ
65. © DMM.com ストリームは複数用意するのが 普通 65 ABR: Adoptive BitRate 「画質: オート」とかそういうやつ
66. © DMM.com ストリームは複数用意するのが 普通 66 ABR: Adoptive BitRate 「画質: オート」とかそういうやつ いっぱいエンコード するよ
67. © DMM.com 最近はVRがアツい 67 ユーザーに最高のVR体験を 届けたい！ しかし…まだまだ過渡期なので デバイスが混沌
68. © DMM.com 68 混沌とするデコーダ仕様 iPhone H.264: 4K 60fps Android H.264: Over4K 60fps (Snapdragon 8xx ) Oculus Go H.264: Over4K 60fps PC VR H.264: 4K 60fps / VP9: 8K 60fps PSVR H.264: 3.5K 60fps
69. © DMM.com 69 混沌とするデコーダ仕様 iPhone H.264: 4K 60fps Android H.264: Over4K 60fps (Snapdragon 8xx ) Oculus Go H.264: Over4K 60fps PC VR H.264: 4K 60fps / VP9: 8K 60fps PSVR H.264: 3.5K 60fps ということで…
70. © DMM.com 70 混沌とするデコーダ仕様 iPhone H.264: 4K 60fps Android H.264: Over4K 60fps (Snapdragon 8xx ) Oculus Go H.264: Over4K 60fps PC VR H.264: 4K 60fps / VP9: 8K 60fps PSVR H.264: 3.5K 60fps デバイスに最適なファイルを それぞれ用意します!
71. © DMM.com 71 混沌とするデコーダ仕様 iPhone H.264: 4K 60fps Android H.264: Over4K 60fps (Snapdragon 8xx ) Oculus Go H.264: Over4K 60fps PC VR H.264: 4K 60fps / VP9: 8K 60fps PSVR H.264: 3.5K 60fps デバイスに最適なファイルを それぞれ用意します! いっぱいエンコード （ｒｙ
72. © DMM.com 72 混沌とするデコーダ仕様 iPhone H.264: 4K 60fps Android H.264: Over4K 60fps (Snapdragon 8xx ) Oculus Go H.264: Over4K 60fps PC VR H.264: 4K 60fps / VP9: 8K 60fps PSVR H.264: 3.5K 60fps デバイスに最適なファイルを それぞれ用意します! VRに至っては普通に エンコードすると 0.0x～0.x fps程度
73. © DMM.com 73 混沌とするデコーダ仕様 iPhone H.264: 4K 60fps Android H.264: Over4K 60fps (Snapdragon 8xx ) Oculus Go H.264: Over4K 60fps PC VR H.264: 4K 60fps / VP9: 8K 60fps PSVR H.264: 3.5K 60fps デバイスに最適なファイルを それぞれ用意します! エンコード時間 2週間/コンテンツとか あり得る
74. © DMM.com 74 そんなシステムを 割と「温もり」で 運用
75. © DMM.com 75
76. © DMM.com 76
77. © DMM.com 77
78. © DMM.com 78 かっこいい!!! エモい!!!
79. © DMM.com 79 けど大変!
80. © DMM.com 80 コスパ最強高性能エンコーダーシステム ということでエンコーダ システムを最近刷新
81. © DMM.com 81 コスパ最強高性能エンコーダーシステム 動画ファイル
82. © DMM.com 82 分割 コスパ最強高性能エンコーダーシステム
83. © DMM.com 83 分散処理 コスパ最強高性能エンコーダーシステム
84. © DMM.com 84 結合 コスパ最強高性能エンコーダーシステム
85. © DMM.com コスパ最強高性能エンコーダーシステム 85
86. © DMM.com コスパ最強高性能エンコーダーシステム 86
87. © DMM.com コスパ最強高性能エンコーダーシステム 87 昼間の間、配信サーバー は暇している
88. © DMM.com コスパ最強高性能エンコーダーシステム 88 暇している 配信サーバーを エンコーダーしちゃおう!
89. © DMM.com 89 突然生まれるエンコーダー161台 コスパ最強高性能エンコーダーシステム
90. © DMM.com コスパ最強高性能エンコーダーシステム 90 突然生まれるエンコーダー161台 コスパ最強
91. © DMM.com コスパ最強高性能エンコーダーシステム 91 突然生まれるエンコーダー161台 十数倍の高速化
92. © DMM.com 92 お品書き 大規模トラフィックを制御するキャッシュアーキテクチャ コスパ最強高性能エンコーダーシステム 安全にコンテンツを届けるマルチDRM
93. © DMM.com 93 コンテンツホルダーあっての プラットフォーマー 動画は常に「安全」に再生できないとダメ (by コンテンツホルダー)
94. © DMM.com コンテンツホルダーあっての プラットフォーマー 94 動画は常に「安全」に再生できないとダメ (by コンテンツホルダー) コンテンツ保護とは？
95. © DMM.com 95 コンテンツ保護
96. © DMM.com コンテンツ保護 96 これができるのがDRM
97. © DMM.com コンテンツ保護 97 特に弊サービスは 「ダウンロード配信」 配信があるので重要
98. © DMM.com 98 DRMとは: コンテンツ保護の仕組み DRMの仕組み OS or Chrome 物理層 プレイヤー 動画 HWデコーダ SWデコーダ HDCP 見れないぞ！ 盗聴者
99. © DMM.com 99 DRMとは: コンテンツ保護の仕組み [デファクトスタンダード] Widevine (Google) FairPlay (Apple) PlayReady(Microsoft) Primetime DRM (Adobe)
100. © DMM.com 100 DRMとは: コンテンツ保護の仕組み [デファクトスタンダード] Widevine (Google) FairPlay (Apple) PlayReady(Microsoft) Primetime DRM (Adobe) 当然タダではない
101. © DMM.com 101 DRMとは: コンテンツ保護の仕組み DRMのコスト FairPlay: 基本使用料無料 Widevine: 年2桁万円 (CWIP保有者2名必要) PlayReady: 年2桁万円 なおかつ再生回数毎の従量課金…
102. © DMM.com 102 DRMとは: コンテンツ保護の仕組み DRMのコスト FairPlay: 基本使用料無料 Widevine: 年2桁万円 (CWIP保有者2名必要) PlayReady: 年2桁万円 なおかつ再生回数毎の従量課金… 高い
103. © DMM.com 103 DRMとは: コンテンツ保護の仕組み DRMのコスト FairPlay: 基本使用料無料 Widevine: 年2桁万円 (CWIP保有者2名必要) PlayReady: 年2桁万円 なおかつ再生回数毎の従量課金… 節約の術
104. © DMM.com 104 DRMとは: コンテンツ保護の仕組み [デファクトスタンダード] Widevine (Google) FairPlay (Apple) PlayReady(Microsoft) Primetime DRM (Adobe)
105. © DMM.com 105 DRMとは: コンテンツ保護の仕組み [デファクトスタンダード] Widevine (Google) FairPlay (Apple) PlayReady(Microsoft) Primetime DRM (Adobe) OS/ブラウザを持っている会社ばかり
106. © DMM.com 106 DRMとは: コンテンツ保護の仕組み [デファクトスタンダード] Widevine (Google) FairPlay (Apple) PlayReady(Microsoft) Primetime DRM (Adobe) OS/ブラウザを持っている会社ばかり 自プラットフォームへの 配信なら従量課金無し
107. © DMM.com 過去のPCへのダウンロード配信 107 Windows / macOSに対応した 「DMM Player」によって実現
108. © DMM.com 過去のPCへのダウンロード配信 108 Windows / macOSに対応した 「DMM Player」によって実現 自プラットフォーム
109. © DMM.com 過去のPCへのダウンロード配信 109 Windows / macOSに対応した 「DMM Player」によって実現 自プラットフォーム そこで登場するのが Silverlight
110. © DMM.com 過去のPCへのダウンロード配信 110 Windows / macOSに対応した 「DMM Player」によって実現 自プラットフォーム もうすぐサポートが 切れます
111. © DMM.com 脱Silverlight 111 Windows / macOSで コスパ良くDRMで保護された動画を 再生するぞ！
112. © DMM.com 112 これまではPlayReadyにしか 対応してなかったけど… マルチDRMで構築 プラットフォームに最適なDRMを選択 ↓ コスパ最高
113. © DMM.com 各 サ ー ビ ス の 認 証 レ イ ヤ ー 113 mlic プ レ イ ヤ ー
114. © DMM.com 各 サ ー ビ ス の 認 証 レ イ ヤ ー 114 mlic プ レ イ ヤ ー CMAF準拠 マルチDRMライセンス サーバー
115. © DMM.com 115 Electron(→Widevine) で作った! PC向けダウンロード動画再生用 新プレイヤーリリース
116. © DMM.com 116 Electron(→Widevine) で作った! PC向けダウンロード動画再生用 新プレイヤーリリース 新ライセンスサーバーは 随時横展開予定
117. © DMM.com 117 お品書き 大規模トラフィックを制御するキャッシュアーキテクチャ コスパ最強高性能エンコーダーシステム 安全にコンテンツを届けるマルチDRM
118. © DMM.com 118 お品書き 大規模トラフィックを制御するキャッシュアーキテクチャ コスパ最強高性能エンコーダーシステム 安全にコンテンツを届けるマルチDRM 何となく伝わりました？
119. © DMM.com 119 お品書き 大規模トラフィックを制御するキャッシュアーキテクチャ コスパ最強高性能エンコーダーシステム 安全にコンテンツを届けるマルチDRM もしかして… もっと知りたい？
120. © DMM.com 120 宣伝 弊社オウンドメディア(DMM inside) にて弊チームが連載を開始 (今日も動画な記事が出てるよー) 2月4日をお楽しみに!
121. © DMM.com 121 おしまい 【利用素材情報】 "Twemoji" by Twitter, Inc and other contributors is licensed under CC-BY 4.0