敎へない敎師と、考へる機械

8割は喋って補ってゐるので、書いてある事は話半分に見てください。

Transcript

1. 01 01 01 01 ℗ࢣ͸ɺ ℗ࢣ͸ɺ ℗ࢣ͸ɺ ℗ࢣ͸ɺ ੜెͷݴ༿Λ ੜెͷݴ༿Λ ੜెͷݴ༿Λ ੜెͷݴ༿Λ ஌Βͳ͔ͬͨɻ ஌Βͳ͔ͬͨɻ ஌Βͳ͔ͬͨɻ ஌Βͳ͔ͬͨɻ ੜె͸Φϥϯμޠ͔͠ղͣ͞ɺ℗ࢣ͸ϑϥϯεޠ͔͠ղ͞ ͳ͔ͬͨɻڞ௨ͷݴ༿͸ͳ͘ɺ㘸໌΋࣭໰΋੒Γཱͨͳ ͍ɻ 1818೥ɺϧʔϰΝϯ ʗ Joseph Jacotot PORTRAIT PLACEHOLDER Joseph Jacotot, c. 1818
2. 02 02 02 02 Ұ࡭ͷຊ͚͕ͩɺ ℗ࢣͱੜెΛ͍᷷ͩɻ ʰςϨϚίεͷ๯ᯃʱ ϑϥϯεޠɾΦϥϯμޠሣᩄຊ ੜె͸ೋͭͷจΛൺֱ͠ɺᩇΈɺ᧷͑ɺ܁Γฦͨ͠ɻ℗ࢣ͸՝୊Λᢛ΁ͨ ͕ɺᄸޠ΋จ๏΋㘸໌͠ͳ͔ͬͨ――ਖ਼֬ʹ͸ɺ㘸໌Ͱ͖ͳ͔ͬͨͷͰ͋ Δɻ FR Télémaque partit de l'île de Calypso... NL Telemachus vertrok van het eiland Calypso...
3. 03 03 03 03 ℗΁ͯΙͳ͍ͷʹɺ ੜెͨͪ͸ላΜͩɻ δϟίτ͸ɺੜెʹ࡞จΛٻΊͨɻ·ͱ΋ͳจষ͸ॻ͚·͍ɺͱࢥͬͯΙͨɻ ͱ͜Ζ͕ੜెͨͪ͸ɺݟࣄʹ੔ͬͨϑϥϯεޠΛॻ͍͖ͯͨɻ Ͱ͸ɺ൴ΒΛ℗΁ͨͷ͸୭͔ʁ
4. 04 04 04 04 ҙࢤ͸ಋ͔ΕಘΔɻ ஌ੑ͸ࣗΒಇ͘ɻ δϟίτ͸ੜెΛ์ஔͨ͠ͷͰ͸ͳ͍ɻᩇΊɺൺֱͤΑɺ᧷͑Αɺॻ͚ɺͱཁ ٻͨ͠ɻੜెͷҙࢤ͸℗ࢣͷҙࢤʹ݁ͼ͕ͭ͘ɺੜెͷ஌ੑ͸℗ࢣͷ஌ੑʹኺ ሱ͠ͳ͍ɻ ஌ੑ͕஌ੑʹኺሱ͢Δ͜ͱʹ۪ಷԽ ஌ੑ͕ࣗΒಇ͘͜ͱʹղ์
5. 05 05 05 05 The compiler found a [MASK] error. ͦ͜ʹԿͱॻ͍͔ͯ͋ͬͨʁ ℗ࢣ͕ҰޠΛࢦͰᯅ͠ɺ᠍͚ͨՕॴΛᓫ᮫ͬͨ܎͔Β෮ݩͤΑͱ໰;ɻBERT΋ಉ͡ܗ ͷ՝୊Λղ͘――ላश࣌ʹจதͷtokenͷ15%Λબͼɺଟ͘Λ[MASK]΁ஔ͖׵΁ɺલޙ ͷจ຺͔ΒݩͷtokenΛဇଌ͢Δɻ
6. 06 06 06 06 ஌ੑ͸ɺ᮫܎Λݟ͚ͭΔ ݟΔ ↓ ൺֱ͢Δ ↔ ᮫࿆͚ͮΔ ↓ ↓ ၊㘸͢Δ ↔ ͔֬ΊΔ Attention(Q, K, V) ֤token͕จ຺தͷͲͷtokenΛɺͲͷఔ౓ჩর͢Δ͔Λܭࢉ͠ɺͦͷॏΈͰදݱΛߋ ৽͢ΔɻላशʹΑͬͯɺtokenಉ࢜ͷ᮫࿆͕ model ͷ parameter ΁৫Γࠐ·ΕΔɻ
7. 07 07 07 07 coding agent͸൷൑Λख᠃Խ͢Δ ໨ඪ ↓ ၊㘸 → ฤा → test / lint / build ↑ ࠩҟΛᩇΉ ↑ ൷൑ʹൺֱ͠ɺධၢ͠ɺमਖ਼͢Δ ࣦഊͨ݁͠ՌΛᩇΈɺ၊㘸Λमਖ਼͠ɺ΋͏Ұ౓ࢼ͢ɻagent͕ݡ͘ݟ͑Δͷ͸ɺग़ ྗΛcompiler΍testɺuserͷཁٻ΁ಥ͖߹͸ͤɺޡΓΛՄࢹԽͰ͖Δ͔Βͩɻ compiler error͸ɺagentʹͱͬͯͷ൓࿦Ͱ͋Δɻ
8. 08 08 08 08 ᡵͱLLM͸ɺͲ͜·ͰࣅͯΙΔ͔ LLMͷ㚎෦දݱ ↕ alignment ݴޠΛ႔ཧ͢Δᡵ׆ಈ modelͷத⇭දݱ͔Β fMRI ΍ EEG ͷ൓ጯΛͲ͜·ͰဇଌͰ͖Δ͔ɻٯʹɺᡵ׆ಈ͔Βݟ ฉ͖ͯ͠Ιͨҙຯ㚎༰ΛͲ͜·Ͱ෮ݩͰ͖Δ͔――Ұఆͷሣጯ͸ݟ͔ͭΔ͕ɺಉ͡ߏ଄ɾ ಉ͡ៃᱛΛҙຯ͠ͳ͍ɻ ྨࣅ͸ɺಉҰੑͰ͸ͳ͍ɻ
9. 09 09 09 09 LLMΛ࢖;͜ͱࣗᱪ͸ɺղ์Ͱ΋۪ಷԽͰ΋ͳ͍ɻ౴΁Λͦͷ··ड͚औΓɺൺֱ΋ ֬ೝ΋ͤͣኺ;ͳΒɺਓͷ஌ੑ͕LLMͷग़ྗʹኺሱ͢Δɻ໰ͻΛཱͯɺ݁ՌΛൺֱ ͠ɺҧͻΛݟ͚ͭɺԿ౓΋΍Γ௚ͤ͞ΔͳΒɺLLMͷಇ͖͸ਓͷҙࢤʹ݁ͼͭ͘ɻ ਓͷ஌ੑ͕ɺLLMͷग़ྗʹኺ;ͷ͔ɻ LLMͷಇ͖͕ɺਓͷҙࢤʹኺ;ͷ͔ɻ ߟ΁ͨͷ͸୭͔ʁ ߟ΁ͨͷ͸୭͔ʁ ߟ΁ͨͷ͸୭͔ʁ ߟ΁ͨͷ͸୭͔ʁ
10. 10 10 10 10 ჩর Devlin et al., "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding" (2018) Vaswani et al., "Attention Is All You Need" (2017) Yao et al., "ReAct: Synergizing Reasoning and Acting in Language Models" (2022) LLM–ᡵ alignment ᮫࿆㐞ڀ܈ Jacques Rancière, Le Maître ignorant / ʰແஐͳ℗ࢣʱ