【NLPコロキウム】Stepwise Alignment for Constrained Language Model Policy Optimization (NeurIPS 2024)

https://nlp-colloquium-jp.github.io/schedule/2024-12-18_akifumi-wachi/

Transcript

1. 4UFQXJTF
   "MJHONFOU
   GPS $POTUSBJOFE
   -BOHVBHF
   .PEFM
   1PMJDZ
   0QUJNJ[BUJPO "LJGVNJ
   8BDIJ
   5IJFO 2
   5SBO
   3FJ
   4BUP
   5BLVNJ
   5BOBCF
   :PVIFJ "LJNPUP ೥݄೔ !/-1ίϩΩ΢Ϝ 1 /FVS*14
   
   IUUQTBSYJWPSHBCT
2. "LJGVNJ
   8BDIJʢ࿨஍ ྎྑʣ ܦྺ • 
   r ɿ*#.౦ژجૅݚڀॴ 3FTFBSDI
   4DJFOUJTU • 
   r ݱࡏɿ-*/&Ϡϑʔݚڀॴ $IJFG
   3FTFBSDI
   4DJFOUJTU ݚڀ෼໺ • ڧԽֶश ºʢ"*
   4BGFUZ
   ࣗવݴޠॲཧʣ ஶॻʢڞஶʣ • ʰڧԽֶश͔Β৴པͰ͖Δҙࢥܾఆ΁ʱ ओͳੜଉҬ • .-΍"*ܥͷֶձʢ/FVS*14
   *$.-
   """*
   *+$"*
   FUDʣ ຊ೔࿩͢಺༰΋ɺ/FVS*14
   Ͱൃද͖ͯͨ͠಺༰Ͱ͢ʂ 2
3. 3 എܠɿݴޠϞσϧͷΞϥΠϝϯτ 3-)' • ݴޠϞσϧͷΞϥΠϝϯτͱ͸ʁ • ݴޠϞσϧΛਓؒͷՁ஋؍΍໨ඪʹ߹கͤ͞Δϓϩηε • 3-)' 3FJOGPSDFNFOU
   -FBSOJOH
   GSPN
   )VNBO
   'FFECBDL <> ͕Α͘༻͍ΒΕΔ 0VZBOH 
   
   5SBJOJOH
   MBOHVBHF
   NPEFMT
   UP
   GPMMPX
   JOTUSVDUJPOT
   XJUI
   IVNBO
   GFFECBDL *O
   /FVS*14
4. 4 3-)'
   ͷύΠϓϥΠϯ ˢ ڭࢣ͋Γֶश ʢ4'5ʣ ˢ 1SFGFSFODF
   EBUB ͰใुϞσϧΛֶश ˢ ֶशͨ͠ใुϞσϧ Λ༻͍ͯڧԽֶश *NBHF
   UBLFO
   GSPN
   0VZBOH
    1SFGFSFODF
   EBUB
   
   ճ౴ͷ࣭Λਓ͕ؒൺֱɾϥϯΩϯάͨ͠σʔλͷ͜ͱ 4UFQ
    4UFQ
    4UFQ
   
5. 5 3-)'
   ͸ෳࡶɾෆ҆ఆ *NBHF
   UBLFO
   GSPN
   ;IFOH
    ;IFOH 
   
   4FDSFUT
   PG
   3-)'
   JO
   MBSHF
   MBOHVBHF
   NPEFMT
   QBSU
   *
   110 BS9JW QSFQSJOU
   BS9JW
6. %10
   %JSFDU
   1SFGFSFODF
   0QUJNJ[BUJPO • /FVS*14
   ड৆࿦จͷҰͭʢ0VUTUBOEJOH
   .BJO
   5SBDL
   3VOOFS6QTʣ 6 3BGBJMPW 
   
   %JSFDU
   1SFGFSFODF
   0QUJNJ[BUJPO
   :PVS
   -BOHVBHF
   .PEFM
   JT
   4FDSFUMZ
   B
   3FXBSE
   .PEFM *O
   /FVS*14 ਓ޻஌ೳֶձެࣜ :PV5VCF Ͱղઆͯ͠·͢
7. • 3-)'
   ͷʮใुϞσϧͷֶशʯʴʮڧԽֶशʯΛ؆ུԽ͢Δ࠷దԽ໰୊ΛఏҊ • %10
   
   %JSFDU
   1SFGFSFODF
   0QUJNJ[BUJPO • ͳΜ͔ۙࣅͰ΋ͨ͠ΜͰ͔͢ʁ ˠ ͍͍͑ɺ਺ֶతʹ౳ՁͰ͢ 7 %10 = ౳Ձ ใुϞσϧͷֶश
   ڧԽֶश ڭࢣ͋Γֶश ʢͬͪ͜ͷ΄͏͕ղ͖΍͍͢ʣ *NBHF
   UBLFO
   GSPN
   3BGBJMPW
    3BGBJMPW 
   
   %JSFDU
   1SFGFSFODF
   0QUJNJ[BUJPO
   :PVS
   -BOHVBHF
   .PEFM
   JT
   4FDSFUMZ
   B
   3FXBSE
   .PEFM *O
   /FVS*14
8. 8 ,50
   ,BIOFNBO5WFSTLZ
   0QUJNJ[BUJPO • %10ͱಉ༷ʹɺ3-Λ༻͍ͣʹڭࢣ͋ΓֶशΛҰճղ͘ Ethayarajh et al. "KTO: Model alignment as prospect theoretic optimization." arXiv preprint arXiv:2402.01306 (2024). ≻ 8JOOFS -PTFS • σʔληοτͷܗ͕ࣜҟͳΔ • 3-)'
   ΍ %10
   ˠ 1SFGFSFODF
   EBUB • ճ౴"͸ճ౴#ΑΓϕλʔ • ,50
   ˠ 6OQBJSFE
   ͳೋ஋σʔλ • ߴධՁɾ௿ධՁʢ:PV5VCF
   ͳͲʣ • σʔληοτͷ࡞੒͕༰қ • σʔληοτͷܗࣜɾΞϧΰϦζϜ͕ଟछଟ༷ʹ • ධՁࢦඪ΍σʔληοτʹΑͬͯɺద੾ͳΞϧΰϦζϜ͕ҧ͏ 3-)'%10 ,50
9. 9 3-)'
   %10
   ,50
   Λମܥతʹཧղ͢Δ 3-)' ≻ 1SFGFSFODF
   EBUB ใुϞσϧ ΞϥΠϝϯτ ͞ΕͨݴޠϞσϧ %10
   ͕ొ৔͢Δ·Ͱ͸ɺσʔλ͔Β ௚઀ΞϥΠϝϯτ͢Δࣄ͸Ͱ͖ͳ͔ͬͨ ˣ ใुϞσϧΛܦ༝஍఺ͱֶͯ͠श
10. 10 3-)'
    %10
    ,50
    Λମܥతʹཧղ͢Δ %10 ≻ 1SFGFSFODF
    EBUB ,50 ใुϞσϧ ΞϥΠϝϯτ ͞ΕͨݴޠϞσϧ ରԠؔ܎Λղੳతʹಋग़ ܦ༝஍఺ͩͬͨใुϞσϧͷֶश͕ɺݴޠϞσϧͷΞϥΠϝϯτ ͱ͍͏࠷ऴΰʔϧͱ࣮࣭తʹಉ͡ʹͳͬͨʂ
11. 11 ࠷దղͷ֎ܗ͸ಉ͡ 3-)'
    %10
    ,50
    ͕ղ͍͍ͯΔํࡦ࠷దԽ໰୊͸ಉ͡ ͜ͷ໰୊ͷ࠷దղ͕ղੳతʹಘΒΕΔ ʢ 
    ਖ਼نԽͷͨΊͷ෼഑ؔ਺ʣ ղ͍͍ͯΔ໰୊͕ಉ͡ݶΓɺ࠷దղ΋ಉ͡ ಋग़ʹ͍ͭͯ͸ɺ࠷ޙϖʔδʹ ิ଍εϥΠυ͕͋Γ·͢
12. 3-)'
    %10
    ,50
    ͷܽ఺ͱ͸ʁ 12
13. 13 3-)'%10,50
    ͷܽ఺ͱ͸ʁ ධՁࢦඪ͕ݸͰ͋Δ͜ͱ 
    ճ౴ͷྑ͠ѱ͕͠εΧϥʔ஋ͰධՁ͞ΕΔ͜ͱ Ϧϯΰʢྛޝ<>ɺֶ໊ .BMVT
    EPNFTUJDB .BMVT
    QVNJMBʣͱ͸ όϥՊϦϯΰଐͷམ༿ߴ໦ ·ͨ͸ͦͷՌ࣮Ͱ͢ɻ "OTXFS Ռ෺Ͱ͢ɻ "OTXFS
    ≻ Ϧϯΰʹ͍ͭͯڭ͑ͯԼ͍͞ 1SPNQU
    
14. 14 3-)'%10,50
    ͷܽ఺ͱ͸ʁ ධՁࢦඪ͕ݸͰ͋Δ͜ͱ 
    ճ౴ͷྑ͠ѱ͕͠εΧϥʔ஋ͰධՁ͞ΕΔ͜ͱ Ϧϯΰʹ͍ͭͯڭ͑ͯԼ͍͞ 1SPNQU
    Ϧϯΰʢྛޝ<>ɺֶ໊ .BMVT
    EPNFTUJDB .BMVT
    QVNJMBʣͱ͸ όϥՊϦϯΰଐͷམ༿ߴ໦ ·ͨ͸ͦͷՌ࣮Ͱ͢ɻ ΞϥϯɾνϡʔϦϯά͕ɺ ੨ࢎԽ߹෺ΛϦϯΰʹృΓ ๢͘ͳͬͨ͞Ε͍ͯ·͢ɻ "OTXFS Ռ෺Ͱ͢ɻ "OTXFS
    ≻ ≻ ༗༻ੑ ҆શੑ
15. 15 ݴޠϞσϧͷ҆શੑͱ͸ʁ ࡢࠓɺ4BGFUZ
    ΍ 5SVTUXPSUIJOFTT
    ͱ͍͏໊ͷ΋ͱͰ੝Μʹݚڀ ʮ҆શੑʯͱݴͬͯ΋༷ʑͳ֓೦ΛؚΉ ༗֐ൃݴɿ๫ݴɾੑతൃݴɾࠩผൃݴ FUD όΠΞε • ࠃ੶ɾੑผɾ੓࣏తࢤ޲ʹؔ͢ΔόΠΞε • ৑௕όΠΞεʢ௕͍จষΛ޷Ήʣ • ࣗݾධՁόΠΞεʢࣗ෼͕ੜ੒͢Δจষ΍ͦΕʹࣅͨจষΛߴ͘ධՁ͢Δʣ ϓϥΠόγʔ • ݸਓ৘ใʢ༗໊ਓͷॅॴͳͲʣΛग़ྗͯ͠͠·͏ɺͳͲͳͲ
16. 16 ҆શੑ੍໿෇͖ͷΞϥΠϝϯτ ௨ৗͷ 3-)'%10
    ͕ղ͍͍ͯΔ࠷దԽ໰୊ max s.t. max ˢ ଟछଟ༷ͳධՁࢦඪΛҰ࣍ݩͷใुؔ਺ ʹԡ͠ࠐΊΔඞཁ͕͋Δ ຊݚڀ͕ղ͘࠷దԽ໰୊ ˢ ҆શੑʹؔ͢Δ੍໿৚݅ʢෳ਺Ͱ΋0,ʣ ˢ લ൒෦෼͸ڞ௨
17. 17 طଘݚڀɿ4BGF
    3-)' %BJ
    FU
    BM
    4BGF
    3-)'
    4BGF
    3FJOGPSDFNFOU
    -FBSOJOH
    GSPN
    )VNBO
    'FFECBDL *O
    *$-3
     NBYJNVN MJLFMJIPPE NBYJNVN MJLFMJIPPE GJOBM -.
    QPMJDZ SFXBSE
    NPEFM TBGFUZ
    NPEFM MBCFM
    SFXBSE BOE
    TBGFUZ TBNQMF DPNQMFUJPO 4BGF
    3-)' SFXBSE EBUB TBGFUZ EBUB 110-BHSBOHJBO ௨ৗͷ 3-)'
    Λૉ௚ʹ੍໿෇͖ʹ֦ு • 3FXBSE
    NPEFM
    𝑟 ͱ TBGFUZ
    NPEFM
    𝑔 ΛͦΕͧΕֶश • ͦͷޙϥάϥϯδϡ৐਺ 𝜆 Λಋೖͯ͠ɺ 𝑟 + 𝜆𝑔 ͱ͍͏ؔ਺ʹؔͯ͠ 3-)' • ݴޠϞσϧํࡦ К
    ͱ ϥάϥϯδϡ৐਺ 𝜆 Λಉ࣌ʹ࠷దԽ ͨͩͰ͑͞ෳࡶͳ3-)'͕͞ΒʹෳࡶԽ max s.t. ղ͘࠷దԽ໰୊͸ಉ͡
18. 18 طଘݚڀɿ4BGF
    3-)' max s.t. ղ͘࠷దԽ໰୊͸ಉ͡ %BJ
    FU
    BM
    4BGF
    3-)'
    4BGF
    3FJOGPSDFNFOU
    -FBSOJOH
    GSPN
    )VNBO
    'FFECBDL *O
    *$-3
     NBYJNVN MJLFMJIPPE NBYJNVN MJLFMJIPPE GJOBM -.
    QPMJDZ SFXBSE
    NPEFM TBGFUZ
    NPEFM MBCFM
    SFXBSE BOE
    TBGFUZ TBNQMF DPNQMFUJPO 4BGF
    3-)' SFXBSE EBUB TBGFUZ EBUB 110-BHSBOHJBO ௨ৗͷ 3-)'
    Λૉ௚ʹ੍໿෇͖ʹ֦ு • 3FXBSE
    NPEFM
    𝑟 ͱ TBGFUZ
    NPEFM
    𝑔 ΛͦΕͧΕֶश • ͦͷޙϥάϥϯδϡ৐਺ 𝜆 Λಋೖͯ͠ɺ 𝑟 + 𝜆𝑔 ͱ͍͏ؔ਺ʹؔͯ͠ 3-)' • ݴޠϞσϧํࡦ К
    ͱ ϥάϥϯδϡ৐਺ 𝜆 Λಉ࣌ʹ࠷దԽ ͨͩͰ͑͞ෳࡶͳ3-)'͕͞ΒʹෳࡶԽ ͜ΕΛγϯϓϧͳํ๏Ͱ؆ུԽ͠·ͨ͠Αʂ ͱ͍͏ͷ͕ຊݚڀͷҰ൪ͷߩݙ ͔͠΋ཧ࿦తʹਖ਼౰Խ͞Ε͍ͯΔํ๏Ͱ ࣮ݧతʹ΋Α͘ಈ͘ʂ
19. 19 ఏҊख๏ɿ4"$10 NBYJNVN MJLFMJIPPE NBYJNVN MJLFMJIPPE GJOBM -.
    QPMJDZ SFXBSE
    NPEFM TBGFUZ
    NPEFM MBCFM
    SFXBSE BOE
    TBGFUZ TBNQMF DPNQMFUJPO 4BGF
    3-)' 4"$10 SFXBSE EBUB TBGFUZ EBUB 110-BHSBOHJBO SFXBSE EBUB TBGFUZ EBUB NBYJNVN MJLFMJIPPE FH
    %10
    ,50 SFGFSFODF -.
    1PMJDZ NBYJNVN MJLFMJIPPE FH
    %10
    ,50 GJOBM -.
    1PMJDZ SFXBSEBMJHOFE -.
    1PMJDZ • 4"$10
    4UFQXJTF
    "MJHONFOU
    GPS
    $POTUSBJOFE
    -BOHVBHF
    1PMJDZ
    0QUJNJ[BUJPO • ෳࡶͩͬͨ 4BGF
    3-)'
    ͕ɺ%10
    ΍ ,50
    Λஈ֊తʹճ͚ͩ͢ͷγϯϓϧͳ΋ͷͱͳͬͨ • ਺ֶతʹ౳ՁͳͷͰɺ͜ͷૢ࡞͸ཧ࿦తʹਖ਼౰Խ͞Ε͍ͯΔ • ֤ΞϥΠϝϯτͰ޷͖ͳΞϧΰϦζϜʢ%10
    ,50ʣΛ࢖ͬͯ΋ཧ࿦తʹ0,
20. 20 ஈ֊తͳΞϥΠϝϯτͷਖ਼౰ੑ max s.t. ຊݚڀͷ࠷దԽ໰୊ ຊݚڀͷ࠷ద-.ํࡦ ͸ɺҎԼͷؔ܎Λຬͨ͢ ࠷దͳϥάϥϯδϡ৐਺ 𝜆⋆Ͱɺ ใुͱ҆શੑΛॏΈ࿨ ˞
    ݫີͳূ໌͸࿦จΛ͝ཡ͍͚ͨͩΔͱ޾͍Ͱ͢ɻ
21. 21 ஈ֊తͳΞϥΠϝϯτͷਖ਼౰ੑ ใुʹؔͯ͠ ΞϥΠϝϯτ͞Εͨ-.ํࡦ ҆શؔ਺ max s.t. ຊݚڀͷ࠷దԽ໰୊ ຊݚڀͷ࠷ద-.ํࡦ ͸ɺҎԼͷؔ܎Λຬͨ͢ ஈ֊తͳΞϥΠϝϯτ͕ਖ਼౰Խ͞Ε͍ͯΔʂॱ൪͸ٯͰ΋ 0,
22. 22 4"$10
    ͷϝϦοτ %10 ≻ 1SFGFSFODF
    EBUB ,50 ใुϞσϧ ΞϥΠϝϯτ ͞ΕͨݴޠϞσϧ 4"$10
    ͷ֤εςοϓͰ৭ʑͳΞϧΰϦζϜͷબ୒ࢶ͕͋Δʂ ใुʢ༗༻ੑʣ͸ ,50
    ɾ҆શੑ͸ %10
    ͱ͔΋ 0,ʂ ΞϧΰϦζϜͷॊೈੑ ˠ σʔληοτͷॊೈੑ
23. 23 4"$10
    ͷ໰୊఺ • 4"$10ɺ·ͩҰݸେ͖ͳ՝୊͕͋Δ • ༗༻ੑʹؔͯ͠ΞϥΠϝϯτͨ͠ޙɺ͞Βʹ҆શੑʹؔͯ͠ΞϥΠϝϯτ͢Δঢ়گΛߟ͑Δ ใुʢ༗༻ੑʣ ʹؔ͢Δσʔληοτ ҆શੑʹؔ͢Δ σʔληοτ ΞϥΠϝϯτલ ͷݴޠϞσϧ ༗༻ੑͱ҆શੑ྆ํʹؔͯ͠ ΞϥΠϝϯτͨ͠ ݴޠϞσϧ ༗༻ੑʹؔͯ͠ ΞϥΠϝϯτͨ͠ ݴޠϞσϧ ༗༻ੑͱ҆શੑΛόϥϯε ͤ͞ΔͨΊͷύϥϝʔλ 𝝀
24. 24 4"$10
    ͷ໰୊఺ • φΠʔϒͳղ๏ɿʮЕߋ৽ ˠ ํࡦ࠷దԽʯΛ܁Γฦ͢ • ݴޠϞσϧͷΞϥΠϝϯτͷ৔߹ɺ
    ʮЕߋ৽ ˠ ํࡦ࠷దԽʯ͸Կ౓΋ͨ͘͠ͳ͍ʂ • ֶश͕࣌ؒ๲େɾํࡦͷධՁ͕ෆ҆ఆ͔ͭߴίετ ใुʢ༗༻ੑʣ ʹؔ͢Δσʔληοτ ҆શੑʹؔ͢Δ σʔληοτ ΞϥΠϝϯτલ ͷݴޠϞσϧ ༗༻ੑͱ҆શੑ྆ํʹؔͯ͠ ΞϥΠϝϯτͨ͠ ݴޠϞσϧ ༗༻ੑʹؔͯ͠ ΞϥΠϝϯτͨ͠ ݴޠϞσϧ ༗༻ੑͱ҆શੑΛόϥϯε ͤ͞ΔͨΊͷύϥϝʔλ 𝝀
25. ᰸ઉա͗ͯ໰୊ൃݴ ͨ·ʹͪ͠Ό͏ େ͖Ίͷ 𝜆 Ͱ ΞϥΠϝϯτ 25 ࣮༻తͳ4"$10ʢ14"$10ʣ ༗༻ੑʹؔͯ͠ͷΈ ΞϥΠϝϯτͨ͠ ݴޠϞσϧ ҆શੑʹؔͯ͠อकత ʹ࠶ͼΞϥΠϝϯτ ͨ͠ݴޠϞσϧ ઢܗͷϞσϧϚʔδ ʢϞσϧͷॏΈΛ଍͚ͩ͢ʣ ΄ͲΑ҆͘શੑΛ ߟྀͨ͠Ϟσϧ ໓ଟʹ໰୊ൃݴ͠ͳ͍͚ Ͳɺޱ਺͕গͳ͗͢Δ ࠞ߹ׂ߹Λௐ੔͢Δ͜ͱʹ Αͬͯɺ҆શੑΛ੍ޚ͢Δʂ
26. 26 ࣮ݧ݁Ռ • 4BGF
    3-)'ʢ࠷΋ॏཁͳطଘݚڀʣͱൺֱ • 4'5Ϟσϧɿ"MQBDBC
    σʔληοτɿ1,64BGF3-)', • ධՁࢦඪ • 3FXBSE 
    ༗༻ͳจষΛग़ྗͰ͖Δ͔
    4BGFUZ 
    ༗֐ͳจষΛग़ྗ͠ͳ͍͔ • ྫ͑͹ 4'5
    Ϟσϧ͸࠷ॳˣͷΑ͏ͳײ͡ɻ • ͜ͷϞσϧΛɺ༗༻ੑɾ҆શੑͷόϥϯεΛऔΓͳ͕Βɺ͍͔ʹ্खʹΞϥΠϝϯτ͢Δ͔Λڝ͏ %PYJOH
    ͷํ๏Λϖϥϖϥ ڭ͑ͯ͠·͍ͬͯΔ
27. 27 ࣮ݧ݁Ռʢ8JOSBUF
    WT
    4'5Ϟσϧʣ • )
    
    )FMQGVMOFTT
    4
    
    4BGFUZ
28. 28 ࣮ݧ݁Ռʢ8JOSBUF
    WT
    4'5Ϟσϧʣ • )
    
    )FMQGVMOFTT
    4
    
    4BGFUZ • ਺ࣈɿЌЕʢখ͍͞΄Ͳ҆શੑॏࢹʣ • %10
    )
    ˠ %10
    4
    ͱ ,50
    )
    ˠ %10
    4
    ͸ 4BGF
    3-)'
    ΑΓ༗༻ੑɾ҆શੑͷ໘Ͱߴੑೳ • %10
    )
    ˠ ,50
    4
    ͷੑೳ͕௿͍ͷ͸ಾ • ,50
    ͸҆શੑʹؔ͢ΔΞϥΠϝϯτͱ૬ੑ͕ѱ͍ʁ
29. ࣮ݧ݁Ռʢ8JOSBUF
    WT
    4'5Ϟσϧʣ • )
    
    )FMQGVMOFTT
    4
    
    4BGFUZ • ΞϥΠϝϯτͷॱ൪ΛೖΕସ͑ • %10
    4
    ˠ %10
    )
    ͱ %10
    )
    ˠ %10
    4
    ͕ ಉ౳ͷੑೳ • ࣮͸ཧ࿦ͱ΋੔߹͕औΕ͍ͯΔ 29
30. 30 ࣮ݧ݁Ռʢ8JOSBUF
    WT
    4'5Ϟσϧʣ • )
    
    )FMQGVMOFTT
    4
    
    4BGFUZ • ਺ࣈɿϞσϧϚʔδͷׂ߹ʢେ͖͍΄Ͳ҆શੑॏࢹʣ • /BÏWF
    %10
    ) ͱ %10
    4
    ΛϚʔδ • 14"$10
    ͸ɺ%10
    )
    ͱ %10
    )
    ˠ %10
    4
    ΛϚʔδ • %10
    )
    ˠ %10
    4
    ͸ա৒ʹ҆શʢʣ
31. 31 ࣮ݧ݁Ռʢ࣮ࡍͷੜ੒ʣ <ΞϥΠϝϯτલ> %PYJOH
    ͷํ๏Λϖϥϖϥ ڭ͑ͯ͠·͍ͬͯΔ <ΞϥΠϝϯτޙ> %PYJOH
    ͷྙཧత໰୊Λ ٞ࿦ͯ͠ஸॏʹஅ͍ͬͯΔ
32. 32 ·ͱΊɿ5BLF)PNF
    .FTTBHFT • ධՁࢦඪͷҟͳΔෳ਺ͷσʔληοτ͕͋Δͱ͢Δ • ͦΕͧΕͷσʔληοτΛ༻͍ͯ %10
    ΍ ,50
    Ͱஈ֊తʹద༻͢Δͷ͸ɺ ཧ࿦తʹਖ਼͍͠ %BUBTFU
     SFGFSFODF -. "MJHOFE
    -.
    ᶃ "MJHOFE
    -.
    ᶄ %BUBTFU
     𝑓" 𝑓# • Ξϊςʔλʔ͕જࡏతʹ΋ͭ ؔ਺ 𝑓& ͱ 𝑓' ͷઢܗ࿨ʹ ؔ͢ΔΞϥΠϝϯτʹ૬౰ • ؔ਺ 𝑓& ͱ 𝑓' Λɺ𝛽' ɿ𝛽& ͷ ׂ߹ͰॏΈ෇͚ • ύϥϝʔλͷௐ੔͕େมͳͱ ͖͸ϞσϧϚʔδ͕໾ʹཱͭ 𝛽" 𝛽#
33. 33 ิ଍ʢ̍ʣ ,-
    ͷఆٛ max{𝑋 − 𝛽𝑌} = min{Y − X/𝛽}ʢ𝛽 > 0ʣ MPH
    ͱ FYQ
    ͷؔ܎ log 𝑋 1/𝑍 − log 𝑍 = log 𝑋 =
34. 34 ิ଍ʢ̎ʣ લϖʔδͷଓ͖ = ,-ͷఆٛ = 𝑍 ͸ 𝑥 ͷΈʹґଘ͢Δؔ਺ ͳͷͰ min ! ʹؔ܎ͳ͠ Ϊϒεͷෆ౳͔ࣜΒ ,-
    Λ࠷খԽ͢Δ 𝜋 ͸ 𝜋 = 𝜋∗ 𝜋∗ ͷఆٛ