画像生成AIを使って勝負しよう

熊本学園大学×熊本県情報サービス産業協会連携事業「まちの課題をICTとデータで解決する」第3回 オープンカンファレンスのLT資料です

Transcript

1. 2024/3/16 第3回 オープンカンファレンス 画像生成AIを使って 勝負しよう
2. がちもとさん KumaMCNという技術コミュニティを運営 株式会社ナレッジコミュニケーションでAI・XRアプリ開発 崇城大学古賀都市計画研究室の技術顧問でまちづくりの研究 高専で制御を、大学でセンシングを学び、次は脳みそ @sotongshi
3. お題の画像を見て、プロンプトを考えましょう ※制限時間は90秒
4. プロンプトを入力して画像を生成、類似度で競います！ ※1に近いほど類似しています
5. 類似度の算出方法 ・ Learned Perceptual Image Patch Similarity (LPIPS) は、AlexNetやVGGなどの学習済 み画像分類ネットワークの畳み込み層が出力する特徴量を基に類似度を算出する手法 ・従来のピクセル単位の差異とは異なり、画像の内容と構造をより深く理解 ・人間の目が感じる類似性に近い https://qiita.com/SatoshiGachiFujimoto/items/651472942a4885181442 https://github.com/richzhang/PerceptualSimilarity import lpips import torch import torchvision.transforms.functional as TF from PIL import Image loss_fn_alex = lpips.LPIPS(net='alex') # best forward scores path_img0 = "groundtruth.png" path_img1 = "1.png" img0 = Image.open(path_img0) img0 = img0.convert("RGB") img0 = (TF.to_tensor(img0) - 0.5) * 2 img0.unsqueeze(0) img1 = Image.open(path_img1) img1 = img1.convert("RGB") img1 = (TF.to_tensor(img1) - 0.5) * 2 img1.unsqueeze(0) d = loss_fn_alex(img0, img1) print("Perceptual loss",1-d.item()) # 1に近づくほど似ているように変更
6. やってみよう
7. お題 こちらから回答お願いします https://forms.gle/ezqf5P6STz2asFCH6
12. ご清聴ありがとうございました