AIインフラとローカルLLMの可能性について

Transcript

1. AIインフラとローカルLLMの 可能性について Iwaken Lab. 大LT会 くらず / Kurazu
2. くらず / kurazu バックエンド / インフラエンジニア 福岡県　情報系専門学校　２９卒 https://krz-tech.net/ @kurazuuuuuu @kurazu_vrc
3. AI使ってますか？
4. >_ AI使ってますか？ OpenAI ChatGPT Anthropic Claude Google Gemini
5. >_ AI使ってますか？ / オープンウェイトモデル
6. >_ AI使ってますか？ / エージェントハーネス
7. AIインフラの需要が 爆発的に 増加している。
8. >_ AIインフラの需要増加 ハイパースケーラー各社 2024年 → 2026年で 3倍近く設備投資額が伸びている しかし... 地球上では 土地・電力・冷却 などの問題が中々 解決しづらい状況。
9. >_ AIインフラの需要増加 地球じゃ足りないなら...
10. >_ AIインフラの需要増加 宇宙にデータセンターを作ってしまう！！ → 宇宙DC構想
11. >_ 宇宙データセンター構想 ノード衛星 ノード衛星 ノード衛星 地上基地 局 レ ー ザ ー 通 信 レ ー ザ ー 通 信
12. ローカルLLMの可能性
13. >_ ローカルLLMの可能性
14. >_ ローカルLLMの可能性
15. >_ ローカルLLMの可能性 Ollama (GGUF, MLX) LM Studio (GGUF, MLX) oMLX (MLX)
16. >_ ローカルLLMの可能性 (Claude Sonnet 4で入力3.7億トークンと考えると...)