Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Creative as Software Engineering
Search
shibuiwilliam
January 18, 2024
Technology
2
520
Creative as Software Engineering
2024/01/18 生成AI MLOps LT大会の資料です。
https://mlops.connpass.com/event/305093/
shibuiwilliam
January 18, 2024
Tweet
Share
More Decks by shibuiwilliam
See All by shibuiwilliam
デプロイして本番システムで使うことから考えるAI
shibuiwilliam
1
200
今日からRAGを 始めることを考える
shibuiwilliam
2
1.3k
2024年生成AI新年会登壇資料
shibuiwilliam
0
200
Kubernetesクラスターを引き継ぐ技術
shibuiwilliam
3
200
機械学習システム構築実践ガイド
shibuiwilliam
1
700
GPT, Langchain, Faiss, FastAPIを組み合わせた Chat検索システム開発
shibuiwilliam
4
4.1k
機械学習を実用化するエンジニアリングスキル
shibuiwilliam
12
4.2k
Generative AIと検索を組み合わせた新たな体験の模索
shibuiwilliam
3
970
Machine learning system development
shibuiwilliam
1
410
Other Decks in Technology
See All in Technology
BedrockUpdatesPost-GW Summary
hedgehog051
2
190
ビズリーチが目指す「開発生産性」ダッシュボード 〜 データ収集の壁と乗り越え方 〜 / dev-productivity-con2024
visional_engineering_and_design
13
5.7k
見えないユーザの声はログに埋もれている! ~ログから具体的なユーザの体験を数値化した事例紹介~
navitimejapan
PRO
4
1.3k
予知保全利用を目指した外観検査AIの開発 〜画像処理AIを用いた外観画像に対する異常検知〜
sadynitro
0
180
やさしいITを目指すために
ishity__
0
290
スクラムチームの品質戦略 1年の歩み
hacomono
PRO
1
130
Refactoring to Expressive Kotlin
davidkwon7
0
410
プロダクト開発の落とし穴と改善したいマインド
maidol
2
170
実践チームトポロジー: プラットフォーム性とイネイブリング性の戦略 / Practical Team Topologies in Timee
go0517go
7
2.3k
現場の失敗から学ぶ!プロダクトバックログアイテムの改善/Learn_from_On-Site_Failures!_Improving_Product_Backlog_Items
m_iyama
3
750
お手並み拝見にしないオンボーディング
zuckey_17
2
1.3k
えにしテックさん15周年に寄せて〜万葉と私のこれまでの学び〜
nay3
33
22k
Featured
See All Featured
Raft: Consensus for Rubyists
vanstee
133
6.4k
A designer walks into a library…
pauljervisheath
201
24k
Debugging Ruby Performance
tmm1
70
11k
Designing Experiences People Love
moore
136
23k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
128
32k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
155
14k
Making the Leap to Tech Lead
cromwellryan
126
8.7k
The Straight Up "How To Draw Better" Workshop
denniskardys
228
130k
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
188
16k
Rails Girls Zürich Keynote
gr2m
91
13k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
13
1.4k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
143
43k
Transcript
Creative as Software Engineering 2024/01/18 Shibui Yusuke
本発表は個人の見解に基づくものであり、所 属組織を代表するものではありません。
自己紹介 shibui yusuke • 文学修士→いろいろ → Stability AI Japan •
主にデータエンジニア • もともとクラウド基盤の開発、運用 • ここ7年くらいMLOpsとバックエンドとインフラとデータ関 連で仕事 • Github: @shibuiwilliam • FB: yusuke.shibui • 最近の趣味:ルービックキューブ cat : 0.55 dog: 0.45 human : 0.70 gorilla : 0.30 物体検知 3
• 発売中! • https://www.amazon.co.jp/dp/4798173401/ • https://github.com/shibuiwilliam/building-ml-system • 発売中! • https://www.amazon.co.jp/dp/4798169447/
技術評論社Software & Designで MLOpsについて連載中! • 2023年8月号 MLOpsの概要 • 2023年9月号 MLOpsのためのスキルセットとチーム構成
• 2023年10月号 方針策定とMLOpsのためのツール • 2023年11月号 MLOpsのための技術選定 • 2023年12月号 LLMのためのDevOps • 2024年1月号 MLOpsと評価 • 2024年2月号 推論システム(予定) • 2024年3月号 機械学習システムの引き継ぎ(予定) MLOpsについてあまり他では取り上げられないテーマを 中心に記事を書いています!
これは何を作ってるでしょう? データを 用意 モデル選定 パラメータ 調整 パイプライン 実行 評価
答え:AIによるアニメ製作 データを 用意 モデル選定 パラメータ 調整 パイプライン 実行 評価 Stable
Diffusion Control Net VAE IPAdapter … プロンプト 乱数シード 時間調整 サンプラー スケジューラ … ComfyUI
本日は動画編集もアートも素人の私が 生成AIでコンテンツ製作する システムやワークフローを ソフトウェアエンジニアリングの観点から 検討していきます。
要素分解する Diffusion model + Control net + プロンプト + パラメータ
Diffusion model + Control net + プロンプト + パラメータ + コマ割り ラフ画をカラー画に変換 絵コンテの間を埋める
用意するもの: 最初の線画+パラメータ+プロンプト+パイプライン +GPU!!! Diffusion model + Control net + プロンプト
+ パラメータ Diffusion model + Control net + プロンプト + パラメータ + コマ割り ラフ画をカラー画に変換 絵コンテの間を埋める
開発環境は一般的なML開発と同じ ComfyUI ComfyUI カスタムノード モデル コンテンツ 100GBくらい使う。 Colab Pro+(月額5,767JPY)で A100を30時間/月くらい使える。
プロンプト(≒ストーリー)の変更で 違うコンテンツを量産できる 赤い目の 白い猫 青い目の 茶色い猫 春夏秋冬 子猫が成猫に成長 春夏秋冬 子猫が成猫に成長
人間に変身 所要時間:5分
構造的に考える テーマ 媒体 表現方法 公開 需要者 ビジネス 表現者 (チーム) 製作
事業化 コンテンツ 絵画 動画 音楽 テキスト ゲーム・・・ モナリザ 第九 吾輩は猫である ドラクエ・・・ 印象派 アニメ 雅楽・・・ 美術館 広告 投稿サイト コンサート SNS・・・ 購入 フリーミアム サブスク パトロン・・・
Creative as Software Engineering 関数 入力 出力
Creative as Software Engineering 生成AI 入力 出力 線画 プロンプト パラメータ
Embedding・・・ Diffusion Model Control Net Lora LLM・・・ 画像 動画 テキスト Embedding・・・
Creative as Software Engineering 生成AI Diffusion Model Control Net VAE・・・
赤い目の白い猫 Seed: 123 Sampler: DPMPP_2M Scheduler: Karras Steps: 20 … LLM 組み合わせ 最適化 評価 AIでフィルタリング 人間が選定 人間 修正、拡張
Creative as Software Engineering 生成AI & 人間 間を埋める 音楽を挿入する デザインを合わせる
個々に生成したシーン
Creative as Software Engineering Creative パイプライン 開発 ワークフロー マネジャー GPUクラスター
CI/CD ML パイプライン 基盤モデル + Lora 生成AI API LLM 人間 コンテンツ データ基盤 モデル 管理 公開 コスト たぶんこんな感じの構成?
まとめ • 生成AIによる新しいCreativeのワークフロー化、ソフトウェア化。 • ソフトウェアによってコンテンツを大量生産できるからこそDevOps的な課題が発生する。 • 大量・大容量のマルチモーダルな非構造化データを効率的に整理、管理、評価する仕組みが必要。 • 今日書ききれなかったこと: ◦
消費時間 > 生成時間へ ◦ 1アニメ : *視聴者から1アニメ : 1視聴者によるパーソナライゼーション 「俺たちの挑戦はこれからだ!」 というプロンプトで生成。
生成AIで一緒に世界を変えましょう! 絶賛採用中! https://stability.ai/careers X (旧Twitter) Stability AI (日本語): @StabilityAI_JP