Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
清水宏太_ポートフォリオ資料_2023年11月時点
Search
Lemio
November 06, 2023
Programming
0
91
清水宏太_ポートフォリオ資料_2023年11月時点
Lemio
November 06, 2023
Tweet
Share
More Decks by Lemio
See All by Lemio
20250520_Dify_Meetup_Tokyo__5_LT資料_アプリケーションが動かなくなったらバージョンを見よう_.pdf
lemio
1
740
0からDifyを学ぶには_Dify Meetup Tokyo #4
lemio
0
1.8k
生成AIの社内導入やってみて_SaySyaMeetUpVol3
lemio
0
80
第2回saysayオフ会LT_清水れみお
lemio
0
200
開発した生成AI活用アプリ
lemio
0
160
遅刻しなAI_LT資料
lemio
0
97
Other Decks in Programming
See All in Programming
Language Server と喋ろう – TSKaigi 2025
pizzacat83
2
670
Reactive Thinking with Signals, Resource API, and httpResource @Devm.io Angular 20 Launch Party
manfredsteyer
PRO
0
130
抽象データ型について学んだ
ryounasso
0
210
推論された型の移植性エラーTS2742に挑む
teamlab
PRO
0
150
#QiitaBash TDDでAIに設計イメージを伝える
ryosukedtomita
2
1.6k
OpenNext + Hono on Cloudflare でイマドキWeb開発スタックを実現する
rokuosan
0
110
マテリアルって何者?RealityKitで扱うマテリアル入門
nao_randd
0
140
What Spring Developers Should Know About Jakarta EE
ivargrimstad
1
610
ワンバイナリWebサービスのススメ
mackee
10
7.5k
SpringBootにおけるオブザーバビリティのなにか
irof
1
890
RubyKaigiで得られる10の価値 〜Ruby話を聞くことだけが RubyKaigiじゃない〜
tomohiko9090
0
100
DevDay2025-OracleDatabase-kernel-addressing-history
oracle4engineer
PRO
7
1.6k
Featured
See All Featured
Making the Leap to Tech Lead
cromwellryan
134
9.3k
Gamification - CAS2011
davidbonilla
81
5.3k
Facilitating Awesome Meetings
lara
54
6.4k
How GitHub (no longer) Works
holman
314
140k
What's in a price? How to price your products and services
michaelherold
245
12k
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
331
21k
Bootstrapping a Software Product
garrettdimon
PRO
307
110k
VelocityConf: Rendering Performance Case Studies
addyosmani
329
24k
What’s in a name? Adding method to the madness
productmarketing
PRO
22
3.5k
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
45
9.6k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
29
1.7k
Being A Developer After 40
akosma
91
590k
Transcript
AIは 考える×作る×聞く×話す×見る =無限∞のアイデア そして私はアイデアマンです。
アイデアに価値はない 形にできなければそれは寝言と同じだ。 by 清水 亮 出典
なので作りました。
考える×作る
5 遅刻しなAI アプリ紹介 自然言語からスケジュール登録と 移動スケジュールも同時に登録 LINE友達登録URL WEB簡易版
スケジュールURL生成 アーキテクチャ図 6 GPT-3.5-turbo-instruct スケジュール情報 Googleカレンダー 登録URL プロンプトにて 日付/時間/場所/イベント 名/イベント内容を分類
URLをZero Shotで生成 https://www.google.com/calendar/event?action=TEMPLATE&text=LLM+Application+Meetup+vol.99&dates =20231212T100000Z/20231212T120000Z&details=https://llm-app.connpass.com/event/297732/&location= 品川グランドセントラルタワー+日本マイクロソフト品川本社+31F+セミナールーム+A&trp=false <URL生成例> Olemi-llm-apprentice/Dont_be_late_AI: 遅刻しなAI (github.com)
乗換経路生成 アーキテクチャ図 7 GPT-3.5-turbo-instruct スケジュール情報 + 出発地 出発地 目的地 緯度経度
到着時刻 (日本標準時) URL合成 https://www.google.com/maps/dir/35.6896067,139.7005713/35.6267695,139.7404376/am=t/ data=!4m9!4m8!1m1!4e1!1m0!2m3!6e1!7e2!8j1702407000!3e3?entry=ttu <URL生成例>
プロンプトの一部
現状見えている課題と対応策 ・音声認識機能追加→ Whisper ・複数人同時で扱うとバグが発生→UserIDをDBで管理 ・車やサイクリング経路探索機能追加→GoogleMap API ・スクリーンショットや画像からスケジュール作成→日本語OCRモデルの勉強 ・セキュリティ設定→これから
聞く×考える×作る
動画→議事録化AIエージェント(11月末無料公開目標) Web会議 録画 レポート 議事録 現場打合せ 録音 様々な動画や音声データ
動画→議事録化AI アーキテクチャ図 12 GPT-3.5-turbo 動画 .mp4 音声 .mp3 文字起こし 全文
テキスト 分割 テキスト 要約 要約 テキスト 合成 合成 テキスト マークダウン 記事化 議事録化 全体要約 テキスト 分割 テキスト 分割 テキスト 分割 テキスト 要約 テキスト 要約 テキスト 要約 ffmpeg GPT-3.5-turbo Olemi-llm-apprentice/-whisper_test- (github.com)
生成例
動画に一語一語字幕(形態素解析) カラオケのように字幕が単語ごとに強調 (形態素解析したものは日本初?) 出展:https://www.youtube.com/watch?v=Gh0xzbgCIgg&pp=ygUc44K944OV44OI44OQ44Oz44KvIOWtq-ato-e-qQ%3D%3D
一語一語字幕 アーキテクチャ図 動画 .mp4 文字 起こし .json フォント 付字幕 .ass
ffmpeg WhisperX 単語から 形態素解析 .json janome 字幕付き 動画 .mp4
二つを合成して目指す最終系 M365 CopilotのTeams会議議事録機能 <機能> ・動画記録 ・議事録、タスク化 ・話者認識 ・会議内容をRAGでAI チャット ・議事録から動画の再生
場面へジャンプ ・ネガポジ発言探知
現状見えている課題と対応策 ・話者認識機能→ WhisperX ・文字起こしテキストをベクトル化→LangChain ・RAG_AIチャット機能→LangChain ・議事録からと動画のタイムスタンプ動機→これから ・ネガポジ発言探知モデルの追加→これから ・文字起こしおよび字幕焼き付け処理をローカルに飛ばすためのサーバー設定 およびセキュリティ設定→これから ・UI作成→これから(VercelV0を試したい)
生成AI系 MeetUpイベント 参加実績 ※オンライン含む
生成AI系 MeetUpイベント LT登壇実績 MicrosoftにてLT登壇 生成AI高専人会を 主催しLT登壇
今後つくりたいもの(個人として) 聞く×考える×話す ・3歳児向けおしゃべりぬいぐるみ(クリスマス目標) ・どんな時でも肯定的に励ましてくれる話せるAIアシスタント(12月末目標) 見る×考える×作る ・プラモデルの棚卸アプリ(1月末目標) ・チラシからお買い得商品通知+献立レシピ提供アプリ(3月末目標) 見る×考える×作る ・リアルおままごとレジ打ち(1月末目標)
考える×作る×聞く×話す×見る AIで 日本の生産性を革命的に向上させる プロダクトを作りたい