Upgrade to Pro — share decks privately, control downloads, hide ads and more …

ChatGPTでAutoML作ってみたかった

Avatar for yuki yuki
June 25, 2023
Technology
0
970

 ChatGPTでAutoML作ってみたかった

Avatar for yuki

yuki

June 25, 2023
Tweet

More Decks by yuki

See All by yuki
yukiCup 2023 Summer 開催報告
Avatar for yuki yururoi
0
2.2k
NLF 9th place solution
Avatar for yuki yururoi
0
830
鳥蛙コンペ - Team Exodia
Avatar for yuki yururoi
3
770

Other Decks in Technology

See All in Technology
決済サービスを支えるElastic Cloud - Elastic Cloudの導入と推進、決済サービスのObservability
Avatar for suzukij suzukij
2
660
複数クラスタ運用と検索の高度化：ビズリーチにおけるElastic活用事例 / ElasticON Tokyo2026
Avatar for Visional Engineering ＆ Design visional_engineering_and_design
0
170
Goのerror型がシンプルであることの恩恵について理解する
Avatar for yamatai12 yamatai1212
1
210
システム標準化PMOから ガバメントクラウドCoEへ
Avatar for 高橋広和 techniczna
1
140
TypeScript 7.0の現在地と備え方
Avatar for uhyo uhyo
7
1.8k
PMとしての意思決定とAI活用状況について
Avatar for LINEヤフーTech (LY Corporation Tech) lycorptech_jp
PRO
0
140
生成AI活用でQAエンジニアにどのような仕事が生まれるか/Support Required of QA Engineers for Generative AI
Avatar for Hiroki Iseri goyoki
1
270
AI時代のSaaSとETL
Avatar for Shu Suzuki shoe116
1
190
Yahoo!ショッピングのレコメンデーション・システムにおけるML実践の一例 
Avatar for LINEヤフーTech (LY Corporation Tech) lycorptech_jp
PRO
1
230
(Test) ai-meetup slide creation
Avatar for Oikon oikon48
3
450
The_Evolution_of_Bits_AI_SRE.pdf
Avatar for 株式会社ヌーラボ nulabinc
PRO
0
240
社内レビューは機能しているのか
Avatar for Jun Matsuba matsuba
0
150

Featured

See All Featured
What’s in a name? Adding method to the madness
Avatar for The Alliance productmarketing
PRO
24
4k
Chasing Engaging Ingredients in Design
Avatar for Sebastian Deterding codingconduct
0
140
Reality Check: Gamification 10 Years Later
Avatar for Sebastian Deterding codingconduct
0
2.1k
30 Presentation Tips
Avatar for Ian Lurie portentint
PRO
1
250
Building Better People: How to give real-time feedback that sticks.
Avatar for Will Jessup wjessup
370
20k
Conquering PDFs: document understanding beyond plain text
Avatar for Ines Montani inesmontani
PRO
4
2.5k
16th Malabo Montpellier Forum Presentation
Avatar for AKADEMIYA2063 akademiya2063
PRO
0
74
Hiding What from Whom? A Critical Review of the History of Programming languages for Music
Avatar for Tomoya Matsuura tomoyanonymous
2
560
Claude Code どこまでも/ Claude Code Everywhere
Avatar for nwiizo nwiizo
64
53k
10 Git Anti Patterns You Should be Aware of
Avatar for Lemi Orhan Ergin lemiorhan
PRO
659
61k
Bridging the Design Gap: How Collaborative Modelling removes blockers to flow between stakeholders and teams @FastFlow conf
Avatar for Kenny Baas-Schwegler baasie
0
480
StorybookのUI Testing Handbookを読んだ
Avatar for Shingo Yamazaki zakiyama
31
6.6k

Transcript

  1. GPT4でAutoML作ってみたかった

  2. 自己紹介 yuki • 趣味 ◦ Kaggle ◦ バイク ◦ ステッカー配り

    @yuki93753711

  3. GPT4すごいですよね GPT4がリリースされすぐに、GPT4と一緒に簡単なWebアプリ作ってみました 簡単なWebアプリですが、企画、設計、実装、デプロイまでGPT4と一緒に作成し、コード に関しては1行も書かずに作成できました

  4. GPT4とアプリを作る過程はこんな感じ コードは書いてくれるけど一度ではうまくいかないことが多いので、エラーを伝えて直してもらう のを繰り返す作業がほとんど エラー出てるよ！ （コピペ） エラー直したよ コードコピペ エラー出力 ちゃんと動くコード 書いてくれや

  5. これって人いらなくね？ 人はChatGPTと実行環境それぞれの出力をコピペでつないでいるだけ。コードが期待する 動作をするようになるまでひたすらにコピペする作業。ChatGPTよりも単純労働 期待する動作さえ定義できれば人は必要ない！ テストコードを事前に書いておいてテスト通るまで改善を繰り返させればいい コピペ コピペ

  6. 機械学習にも応用できない？ アプリケーションの場合は期待する動作をするまで改善し続けたけど、評価関数がよくなる ように改善させつづけるということをやれば、人がやっている改善のサイクルをGPT4に任せら れないか？ この実験やって 実験結果フィードバック モデルの評価方法を人が定義すれば GPT-4がモデルの精度改善を続けてくれるのでは？

  7. ってことはkaggleにも応用できない？ GPT4をディスカッションや公開notebook、類似コンペのディスカッションにアクセスさせれば 最強モデル作れないか？ この実験やって 実験結果フィードバック ディスカッション 公開notebook これで、ゴールドメダル荒稼ぎできますわ！ガハハハ 参照

  8. ためしにChatGPT使ってコンペやってみる いきなりGPT4のAPI使って実装するのも大変なので、ChatGPT（Web UI）でうまくい くかやってみる Playgroundコンペで試してみる

  9. まずはsub作ってもらう コンペの概要、データセットの説明、データの先頭5行を与えてモデルを作るようにおねがい してみたところ、ちゃんとコード書いてくれた 一発でsub通るコード書いてきた GPT4 ちょろｗ

  10. 改善のサイクルまわさせてみる 予測モデルを改善してと繰り返し伝える。予測モデルを作る以外にも、データを確認するコ ードを書くこともできると伝える まかせとけや GPT4 実験結果を踏まえてより精度の良い モデルを作って！ Submitファイル作るだけじゃなくて、 データ見ることもできるよ！

  11. 結果はイマイチ、、 以下の3パターンをひたすら繰り返すのみ。データの中身を見ることなく、同じことを何度も 繰り返す。実験結果を次の改善につなげているというより、少ない引き出しを全部ためして いる感じ アルゴリズム変えてみよう • LightGBM • XGBoost •

    RandomForest • LogisticRegression 特徴量エンジニアリングしよう ハイパラ探索しよう！ とにかくハイパラ探索や!! GPT4

  12. 少し工夫してみる 少しプロンプトを工夫してみたが結果はいつも同じ • 自らデータを見ようとしないので、最初に統計量や相関行列など、データが把握で きる情報をこちらから見せる データを見せる • 少ないパターンを永遠に繰り返すので、どんな手法が有効そうか最初に列挙させ て、それをためさせる 最初にとりえる手段を列挙させてみる

    • 「あなたはKaggle Competitioin Grandmasterです」と伝えてみる GMであると伝える GPT4

  13. GPT4を使ってkaggleをやるなら GPT4は実験結果をフィードバックして改善させるという使い方は厳しそう。kaggleで活用 するなら、過去のコンペのソリューション等を使いやすい形でまとめておいて、それをもとに subを作ってもらう使い方になるかな 過去の ソリューション等 蓄積 sub 本当はディスカッションを直接参照させてsub作 らせたいけど、ソリューションはハイコンテキストで

    あることが多いので厳しそう GPT4 copilotや、 gpt-3.5-trubo-16k も活用できるかも?

  14. 作るところはまでたどり着かず、、、 現在動くものはできてません。。めんどくさがり屋なので、自動化できるものは全部自動化さ せたい！GPT4を使ったAutoML作りたい。（でも、似たようなものもうあってもおかしくない よな） だれか作ってこっそり教えて！