GDSC Summer Hackathon Flutter x Gemini

Transcript

1. Gemini× Flutter Speaker: Junichiro Takahashi GDSC UTokyo
2. お前誰だよ ($Who am I) ・高橋淳一郎 (Junichiro Takahashi) ・所属: GDSC UTokyo ・GitHub: SuperHotDogCat ・X: @takanas0517 ・研究分野としてはHPC, ML ・最近MLのPaperも書きました ・将来的にはR&D職につきたいなと...
3. Reference: DNNに関する文献(紙本) ・トカゲ本 ・名著なのは間違い無いんだが, 今のGoogleがTensorflowよりもJAX推しなので知識を補完するための本として読んだほうが良い、 あとsklearnのところは今でも使えると思います。 ・Impressの本 ・実装多め, pythonの継承ができる人ならプログラミングも追えるはず。Transformerの解説はあまり豊富では無いので注意 ・マイナビの本 ・多分国内の本では一番詳しいです。発展的なことも扱っているので上の本を読んだ後の方が良い ・Ianの深層学習本 ・2018年発売なので今のDNNで使われている知見と比べると足りないが, 色々な理論的背景が説明されている。理論に興味がある 人はみるべき。また著者がGANの作者 ・青本 ・同上, 内容が古い 個人的にはJAXがtorchよりも良い計算速度とメモリ使用量最適化をしているので流行って欲しい
4. Reference: DNNに関する文献(Website) ・各種ドキュメント: Pytorch, JAX ・Generative AI Study Jam ・nanoGPT ・GPT自作勢の登竜門, これに従えばGPT2までを制作できる ・Hugging faceのTutorial ・今や大規模モデルを組むならほとんどHuggingfaceを使う ・NLP ・TRL
5. What is Gemini? ・Gemini is one of the large language models (LLM) created by Google. ・It excels other LLMs in `context length`. e.g. GPT4: 128,000 context lengths. Gemini: 1 million context lengths. ・In addition, it take advantage of Google services.
6. Gemini family
7. Workshop today ・Get your gemini api key ・Connect Gemini with Flutter ・Create your own advanced app Reference Getting started with the Gemini API and Dart and Flutter
8. Get your api key Quick start: Google AI Studio ・get your API key: Google AI Studio For more information: Start guide: Gemini API You can use Gemini family in this website.
9. Before implementation: Test Gemini
10. Notice ・AI system is stochastic. ・Make sure that your project is suitable for AI. ・Example: If you are developing a recommendation system, AI is suitable. However, if you are developing firewall, it is not suitable because firewall systems must not produce false negatives. ・Make sure the AI output is suitable for the system before starting development.
11. Start project All the codebases used during this workshop are here. Move to the directory of the flutter project and run flutter run --dart-define-from-file=.env You must write down your API Key to .env file before running.
12. Good
13. Start multimodal model Use official demo The codebases are here.
14. Good
15. For advanced AI prompting ・You will make the best of LLMs if you are good at tuning your prompts. ・If you want to learn more, see Prompt Engineering Guide and Google’s prompt guide Implement advanced usecases here ・I recommend multi-turn chat bot, function calling, and safety. Fine-tune your own model ・Very difficult to deploy and connect your own LLM with Flutter