GPTの解説：ミートアップ用

Transcript

1. ২ాɹେथ GPTʹ͍ͭͯ Generative Pretrained Transformer
2. ࠓ೔͸ɺϛʔτΞοϓͷίϯηϓτʹ߹͏Α͏ʹ Θ͔Γ΍͘͢఻͑Δ͜ͱΛ໨తʹ࡞͍ͬͯ·͢ɻ ͦͷͨΊɺ9ׂ͘Β͍ਖ਼͍͠ݴ͍ํͰɺ ͋Μ·Γ࿦จղઆͬΆ͘ͳ͘ͳ͍ͬͯ·͢ɻ
3. ࢲ ※AIҩྍػث೔ຊॳೝূ **2022 年 2 月改訂(第 4 版） *2021 年 5 月作成(第 3 版) 製造販売承認番号 30100BZX00142000 プログラム 01 疾病診断用プログラム 管理医療機器 MR 装置ワークステーション用プログラム JMDN 40940012 医用画像解析ソフトウェア EIRL aneurysm 【形状・構造及び原理等】 **1. 概要 本品は画像診断ワークステーションで使用されるプログ ラムで、画像診断装置から提供された画像情報をコンピ ュータ処理し、画像情報を提供する。 本品はクラウドでの使用又は汎用 IT 機器等にインスト ールして使用し、ダウンロードで提供される。 **2. 構成および動作環境 本品はクラウドでの使用又は汎用 IT 機器等にインスト ールして使用するプログラムであり、ユーザインタフェ ース等を持たない。インストール先の推奨動作環境を以 下に示す。 <推奨動作環境> サーバ CPU 条件 ・64bit モード対応プロセッサ ・2 コア構成、3GHz 以上 サーバメモリ条件 ・16GB 以上 サーバ Disk 条件 ・実容量は 10GB 以上で、運用に合わせて定めるこ と ・読み込み速度 100MB/秒 以上 サーバネットワーク条件 ・1000BASE-T 1 ポート（接続ケーブル含む） OS ・Linux ベース *安全性 ・JIS T 0601-1、または JIS C 62368-1 適合 *EMC ・JIS T 0601-1-2、または CISPR32/CISPR24 適合 3. 機能 <主たる機能> 項目 機能 脳動脈瘤検 出支援機能 頭部 MRA の画像情報から、動脈の 瘤状の変形に類似した候補点を検出 できる。 外部装置と の入出力機 能 DICOM に準拠した MRI 画像が入力 でき、解析結果を外部装置に出力で きる **4. 原理 本品は、磁気共鳴画像診断装置または磁気共鳴画像診断 装置で撮影された画像情報を保管している PACS 等サー バから頭部 MRA の画像データを受信し、頭部 MRA の 画像情報より動脈の瘤状の変形に類似した候補点を検出 し、処理結果を PACS 等サーバに戻す。 画像等の情報通信は DICOM 規格に準拠している。 *アルゴリズム解説 本プログラムは頭部 MRA 画像が入力データとなる。画 像モダリティは磁気共鳴画像診断装置である。 はじめに頭部 MRA オリジナル画像から三次元画像を再 構成、isovoxel にリサンプルし信号強度を標準化する。 次に閾値に基づく方法で血管部分を抽出し、抽出された 血管データから特徴点のデータを基にキーポイントを決 定する。各キーポイントの周囲に 3D パッチを作成し 2 つの CNN を使用して各キーポイントの脳動脈瘤との類 似度を推定する。 脳動脈瘤との類似度が高いキーポイントをクラスタ化 し、各クラスタの中心を計算する。類似度の高い最初か ら n 個の候補点を出力する。検出結果は PACS 等サー バに送られる。 本品の検出する結果については、以下のとおりである。 （1） サイズ：2mm 以上の脳動脈瘤に類似した候補点 を検出する。 （2） 種類：嚢状の脳動脈瘤を対象としている。解離 性・紡錘状の瘤や漏斗状拡張は対象外。 （3） 候補点の表示数：脳動脈瘤に類似した候補点を表 示する。候補点最大数の設定値は 4。 本品は、主たる機能に加えて、以下の機能を有する。 z DICOM Overlay 出力機能 読影ビューワ上で元画像の上でアノテーションを ON/OFF できる。読影ビューワが DICOM GSPS に対応していない場合に、DICOM Overlay によ りアノテーションの ON/OFF を行う。 z 二次的取得（DICOM Secondary Capture： DICOM SC）画像作成機能 元画像とは別のシリーズでアノテーション付きの 画像を作成する。 z 最大値投影処理（Maximum Intensity Projection : MIP）機能 読影ビューワ上でモダリティコンソールなどによ り作成された MIP 画像とは別に、本プログラムに より作成された MIP 画像上で解析結果を表示す る。 【使用目的又は効果】 本プログラムは、磁気共鳴画像診断装置から提供された 頭部 MRA の画像情報をコンピュータ処理し、処理後の 画像情報を診療のために提供する。磁気共鳴画像診断装 置の頭部 MRA 画像用のコンピュータ検出支援 （Computer Aided Detection：CAD）機能を有する。 本プログラムの脳動脈瘤検出支援機能は、頭部 MRA の 画像情報から動脈の瘤状の変形に類似した候補点を検出 • ҩྍAI࿦จ ӳޠݪஶ ໿30ຊ (corresponding author) • ड৆ ࠷༏ल࿦จ৆ɺThe Best of Radiology • ҩྍػثೝূ 30100BZX00142000: MRA͔Β೴ಈ຺ᚅݕग़ 30200BZX00269000: ڳ෦Xp͔Βഏ؞ݕग़ • ݚڀࢿۚ ྩ࿨2-3೥౓࣮੷: 2ԯ/2೥ (NEDO +α)
4. ໨࣍ ͓୊ʂ ୈҰ෦: GPT֓࿦ ୈೋ෦: GPT-4ͷΠϯύΫτ ·ͱΊ
5. ໨࣍ ୈҰ෦: GPT֓࿦ ୈೋ෦: GPT-4ͷΠϯύΫτ ·ͱΊ
6. GPTͷίϯηϓτ Generative Pretrained Transformer ڭࢣσʔλΛ࡞Βͣʹɺ͍ΖΜͳλεΫ͕Ͱ͖Δ͍͢͝AIͩΑ Pretrained Generative Transformer
7. GPTͷίϯηϓτ Generative Pretrained Transformer ࢲ͸ݘ͕޷͖ ࢲ͸( )͕޷͖ ( )͸ݘ͕޷͖ ࢲ͸ݘ͕( )
8. ChatGPTͰ͍ͯ͠Δ͜ͱ ϓϩϯϓτʹଓ࣍͘ͷ୯ޠ༧ଌΛ͍ͯ͠Δ͚ͩɻ Input: ࿦จͷॻ͖ํͷϙΠϯτΛڭ͑ͯԼ͍͞ɻ Output: ෼͔Γ·ͨ͠ɺɺɺɺ ಺෦: ࿦จͷॻ͖ํͷϙΠϯτΛڭ͑ͯԼ͍͞ɻ( ) →( )ʹೖΔ୯ޠΛ༧૝͠ͳ͍͞ɻ
9. ࠓ·ͰͷGPT Transformer 2018 2019 2020 2022 2023 GPT1 GPT2 GPT3 GPT3.5 GPT4 (ChatGPT) GPT1 GPT2 GPT3 GPT3.5 GPT4 ύϥϝλ 1ԯ 15ԯ 1750ԯ ಉ͡ ෆ໌ ֶशσʔλ 4.5GB 40GB 570GB ಉ͡ ෆ໌ ಛ௃ Fine tuning͋Γ Fine tuningͳ͠ Fine tuningͳ͠ RLHF ෆ໌ جຊํ਑͸εέʔϧΞοϓ ※Fine tuning: ඍௐ੔ͷͨΊͷֶश
10. ਓؒͷϑΟʔυόοΫ 2022: Training language models to follow instructions with human feedback
11. ਓؒͷϑΟʔυόοΫ 2022: Training language models to follow instructions with human feedback 45&1ɿձ࿩จʹ͓͍ͯɺਓ͕ؒೖྗʹର͢Δద੾ͳग़ྗΛ ͍͔ͭ͘༻ҙͯ͠ɺͦΕΛ΋ͱʹ'JOF
    UVOJOHΛߦ͏ɻ
    45&1ɿ'JOF
    UVOJOHޙͷϞσϧʹͭͷೖྗʹର͢Δग़ྗΛ ͍͔ͭ͘ग़ͤͯ͞ग़ྗͷద੾͞Λਓ͕ؒϥϯΫ෇͚͢Δɻ
    45&1ɿ45&1ͷϥϯΫ෇͚σʔλΛ΋ͱʹϥϯΫ͕ߴ͍ํ ͕ධՁ͕ߴ͘ͳΔใुϞσϧΛ༻͍ͯɺֶशΛߦ͏ɻ ※Fine tuning: ඍௐ੔ͷͨΊͷֶश
12. ChatGPTΠϯλʔϑΣΠε
13. GPT4 GPT1 GPT2 GPT3 GPT3.5 GPT4 ύϥϝλ 1ԯ 15ԯ 1750ԯ ಉ͡ ෆ໌ ֶशσʔλ 4.5GB 40GB 570GB ಉ͡ ෆ໌ ಛ௃ Fine tuning͋Γ Fine tuningͳ͠ Fine tuningͳ͠ RLHF ෆ໌ جຊํ਑͸εέʔϧΞοϓ ࠓ·ͰͷͲͷGPTΑΓ΋σΧ͍ɺਓؒͷϑΟʔυόοΫͷೖͬͨAI
15. ໨࣍ ୈҰ෦: GPT֓࿦ ୈೋ෦: GPT-4ͷΠϯύΫτ ·ͱΊ
16. GPT4 ༗໊ͳจॻ ᶃGPT-4 Technical Report OpenAIͷग़ͨ͠ɺGPT-4ͷςΫχΧϧϊʔτɻ΄ͱΜͲϞσ ϧͷઆ໌ͳͲ͸ͳ͍ɻ ᶄGPT-4 System Card OpenAIͷग़ͨ͠ɺGPT-4ͷ҆શରࡦʹ͍ͭͯɻ ᶅGPTs are GPTs Microsoftͷग़ͨ͠ɺGPTͷӨڹྗͷௐࠪɻ
17. GPT4 ༗໊ͳจॻ ᶃGPT-4 Technical Report OpenAIͷग़ͨ͠ɺGPT-4ͷςΫχΧϧϊʔτɻ΄ͱΜͲϞσ ϧͷઆ໌ͳͲ͸ͳ͍ɻ ᶄGPT-4 System Card OpenAIͷग़ͨ͠ɺGPT-4ͷ҆શରࡦʹ͍ͭͯɻ ᶅGPTs are GPTs Microsoftͷग़ͨ͠ɺGPTͷӨڹྗͷௐࠪɻ
18. GPT-4 Technical Report ༷ʑͳςετͰͷੑೳධՁ
19. GPT-4 Technical Report ಘҙͱෆಘҙ
20. GPT-4 Technical Report ಘҙͱෆಘҙ
21. GPTs are GPTs GPTͷ࢓ࣄ΁ͷӨڹྗΛௐ΂ͨ࿦จ ɹΞϝϦΧͷ໿80%ͷ࿑ಇऀ͕GPTͷಋೖʹΑͬͯগͳ ͘ͱ΋λεΫͷ10%͕ӨڹΛ༩͑ɺ࿑ಇऀͷ໿19%͕ࣗ ਎ͷλεΫͷ50%ʹӨڹΛ༩͑Δ͜ͱΛࣔ͢ɻ ɹӨڹൣғ͸શͯͷ௞ۚϨϕϧʹٴͼɺߴऩೖͷ৬͕જ ࡏతʹΑΓߴ͍ӨڹΛड͚Δɻ
22. ࿐ग़౓ͷධՁج४ͱ৬ۀσʔλ ▪ E0ɿ࿐ग़ͳ͠ɻLLM࢖༻ʹΑΔ࢓ࣄͷ࣌ؒ୹ॖ͕ͦΕ ΄Ͳͳ͍͔ɺٯʹLLMΛ࢖͏͜ͱͰ඼࣭͕௿Լ͢Δɻ ▪ E1ɿ௚઀తͳ࿐ग़͋ΓɻLLM࢖༻ʹΑΓɺλεΫ׬ྃ ʹ͔͔Δ͕࣌ؒগͳ͘ͱ΋൒෼ʹ୹ॖ͞ΕΔ৔߹ɻ ▪ E2ɿকདྷతͳ࿐ग़͋ΓɻLLM͚ͩͰ͸ͦΕ΄Ͳ࣌ؒ୹ ॖ͸࣮ݱͰ͖ͳ͍͕ɺ௥Ճͷιϑτ΢ΣΞ։ൃʢLLMܕ ιϑτ΢ΣΞʣʹΑΓ൒෼ҎԼʹ࣌ؒ୹ॖ͕ՄೳʹͳΔ ৔߹ɻ GPTs are GPTs
23. ධՁऀ͸ɺਓؒͱGPT-4ͷ྆ํɻ GPTs are GPTs
24. GPTs are GPTs ࡾ্͕֯ݶɺؙ͕Լݶɻʴ͕தؒతɻ
25. GPTs are GPTs ࢀೖোนผӨڹ౓
26. GPTs are GPTs ࡾ্͕֯ݶɺؙ͕Լݶɻԫ৭͕Zone4Ͱ੺͕Zone5ɻ
27. GPTs are GPTs ਓؒ΋ɺϞσϧ΋ಉ͡Α͏ͳ݁Ռ ձܭ࢜ɺδϟʔφϦε τɺ਺ֶऀɺ຋༁ऀɺ ϨϏϡʔ࿦จ࡞੒ऀɺ ಈ෺Պֶऀɺ΢Σϒσ βΠφʔɺϒϩοΫ νΣʔϯΤϯδχΞɺϥ Πλʔɾ࡞ՈͳͲͳͲ
28. GPTs are GPTs εΩϧผӨڹ౓ɿεέʔϧ͸-1(Өڹখ)͔Β1(Өڹେ)ɻ
29. GPTs are GPTs ऩೖͱӨڹ౓ɿߴऩೖͰӨڹ͕େ͖͘ɺ௒ߴऩೖͰӨڹԼ͕Δɻ
30. GPTs are GPTs ChatGPTΛ౿·͑ͯࠓޙͲ͏͍͏εΩϧ͕ॏཁ͔ͷղੳɻ ▪ ϓϩάϥϛϯά΍ϥΠςΟϯά͸LLM͔Β͔ͳΓ ͷӨڹΛड͚Δ ▪ Պֶతͳ஌ࣝ΍ख๏Λ׆༻ͯ͠՝୊Λղܾ͢Δೳྗ ΍ɺϩδοΫ΍ਪ࿦Λ༻͍ͯ໰୊ͷղܾํ๏Λ୳Δ ೳྗ
31. ໨࣍ ͓୊ʂ ୈҰ෦: GPT֓࿦ ୈೋ෦: GPT-4ͷΠϯύΫτ ·ͱΊ
32. ·ͱΊ ▪ ChatGPT͸ɺڭࢣσʔλΛ࡞Βͣʹ͍ΖΜͳλεΫ ͕Ͱ͖Δ͍͢͝AIɻ ▪ ߴϨϕϧٕज़͕ඞཁͱͳΔྖҬ͕ChatGPT͕ಘҙɻ ▪ ࠷ߴϨϕϧٕज़ͷ෼໺͸গ͠ෆಘҙɻ ▪ Ϗδωεతʹ͸ɺߴϨϕϧͷٕज़Λ୅ସ͢ΔΑ͏ͳ αʔϏε͕Αͦ͞͏ɻ
33. ͓·͚
34. ChatGPT͕޷͖ͳਓɺ΋ͬͱٕज़ΑΓͷ࿩͍ͨ͠ਓɺֶ ज़తͳ಺༰Λฉ͖͍ͨਓͳͲɺͥͻ஻Γ·͠ΐ͏ɻ Mail: ai.labo.ocu@gmail.com PodCast: ҩྍAIݚڀձ Twitter: @DaijuUeda