なごミュ@SPAJAM2025 第二回予選

SPAJAM 2025 第二回予選の発表内容

ハッカソンSPAJAMにて「なごミュ」というプロダクトを開発しました。
ギラギラ度を中和したりギラギラな人になりきったり、人とのコミュニケーションの温度感を上手くやっていく機能を実装しています。

※SpeakerDeckではGifが動かないので動きありで見たい方はGoogle Slide ( https://x.gd/GMN2t ) 版をご確認ください。

Transcript

17. ※精度不定によりデモは保留します
18. AWS Cloud Cloud Run S3 画像認識・ ギラギラ / なごみ生成 Occlusion FaceTracking etc AWS Cloud EC2 instance 画像の配置・ 署名付き URL 発行 文章認識・ギラ ギラ/なごみ生成
19. • 拡張容易なAPI設計 : ギラ/ふわの⽂章⽣成はもちろん、精度の改善や新規APIの追加にも柔軟 に対応できる拡張性を備えている • FaceTrackingで表情まで⾼性能で⾃動追尾。 54箇所の判定基準で、表情に合わせてフェイスマスクのカラーを可変 • ふわふわ/ギラギラで、表現モードを切り替え • クライアント側とAPI側で責務が明確に分離されており、運⽤しやすい設計となっている
21. • リアルアイム⾳声変換＆字幕表⽰ • ギラギラ/なごみ度をスコアリング ◦ 定量的に⾃覚‧相⼿のことを知れるシステム • ふわふわやきらきら、ガツガツなど「ギラギラ」とは異なる抽象ワードで展開 • 対⼈以外にも、街並みや景⾊などの「ギラギラ」を中和する ◦ 歌舞伎町を優しい⾒た⽬に...？！ • WebRTCでの通話機能を実装完了（今はPCカメラ-APPカメラのみ）