Share
Embed
Transcript
80 slides
-
ࡾ༔հ / Pepabo R&D Institute, GMO Pepabo, Inc. 2025.03.25 ϕΫτϧݕࡧγεςϜͷؾ࣋ͪ
ใγεςϜͱAIͷ౷߹ͷୈҰา -
1. ͡Ίʹ 2. ϕΫτϧͷಛੑ 3. ϕΫτϧͷදݱ 4. ϕΫτϧͷ୳ࡧ 5. ࣮γεςϜͷద༻
6. ͓ΘΓʹ  2 ࣍ -
• ใγεςϜͱAIͷ౷߹ʹ͓͍ͯɺޓ͍ͷࣝΛޮతʹҾ͖ग़ͨ͢Ίͷɺϕ ΫτϧݕࡧγεςϜͷॏཁੑ͕૿͍ͯ͠Δ • ϕΫτϧݕࡧγεςϜɺσʔλͱΫΤϦΛϕΫτϧͰదʹදݱ͠ɺྨࣅ͢ ΔσʔλΛߴʹݕࡧ͢Δ͜ͱ͕తͱͳΔ • ͜ͷ࣮ݱʹ͓͍ͯɺϕΫτϧͷಛੑɾදݱɾ୳ࡧɺݸʑͷٕज़ʹؔ͢Δཧղ ͕ඞཁͰ͋Δ͕ɺԣஅతʹֶͿͷ༰қͰͳ͍ •
ຊൃදͰɺ͜ΕΒʹؔ͢Δઆ໌Λ௨ͯ͠ɺϕΫτϧݕࡧγεςϜΛಋೖɾӡ ༻͢Δʹ͋ͨͬͯͷצॴΛ༩͍͑ͨ  5 ͡Ίʹ -
• ʮαϯ;͡ʯʹࣅͨΓΜ͝Λ୳͢ʹʁ • ͱͯ͠େখΛൺֱͰ͖Δ͜ͱ • ෳͷ؍Λѻ͑Δ͜ͱ • ͦΕΒͷ؍ΛΈ߹ΘͤΛߟྀͰ͖Δ͜ͱ • ຯࢎຯΛݸผʹݟΕδϣφΰʔϧυԦྛ͕
͍͕ۙɺ૯߹తʹݟΔͱͲ͏͔ʁ  9 ྨࣅੑ 🍏 Ԧྛ 🍎 δϣφΰʔϧυ ຯ ࢎຯ 🍎 αϯ;͡ 🍎 ʁʁʁ -
• ෳͷ͔ΒͳΔҰͭͷʮྔʯ •  • ઌड़ͷҎԼͷཁ݅Λຬͨ͢ • ͱͯ͠େখΛൺֱͰ͖Δ • ෳͷ؍Λѻ͑Δ
• ͦΕΒͷ؍ΛΈ߹ΘͤΛߟྀͰ͖Δ x = x1 x2 ⋮ xD = [x1 x2 … xD]⊤  10 ϕΫτϧ -
• ෳͷ͔ΒͳΔҰͭͷʮྔʯ •  • ઌड़ͷҎԼͷཁ݅Λຬͨ͢ • ͱͯ͠େখΛൺֱͰ͖Δ • ෳͷ؍Λѻ͑Δ
• ͦΕΒͷ؍ΛΈ߹ΘͤΛߟྀͰ͖Δ x = x1 x2 ⋮ xD = [x1 x2 … xD]⊤  11 ϕΫτϧ -
• ϕΫτϧͷେ͖͞ • ݪ͔Βͷઢڑ •  ∥x∥ = x2 1
+ x2 2 + … + x2 n  13 ͓͞Β͍: ϕΫτϧͷେ͖͞ -
• ϢʔΫϦουڑ • ೋͭͷϕΫτϧͷࠩͷେ͖͞ •  d(xi , xj )
= ∥xi − xj ∥2 = D ∑ d=1 (xi,d − xj,d )2  14 ϢʔΫϦουڑ -
• ϕΫτϧͷੵ • ಉ͡ํͷͷେ͖͞ͷੵ •  x ⋅ y =
∥x∥∥y∥ cos θ = n ∑ i=1 xi yi = x1 y1 + x2 y2 + … + xn yn  15 ͓͞Β͍: ϕΫτϧͷੵ Y Z YZ 46. -
• ϕΫτϧಉ࢜ͷͳ֯͢Λྨࣅͱ͢Δ • ಉ͡ํͷ߹1.0Ͱٯ͖ͷ߹ʹ-1.0 • ϕΫτϧͷେ͖͞ʹґଘ͠ͳ͍ • ٖڑͱͯ͠1-ίαΠϯྨࣅΘΕΔ • 
cos θ = xi ⋅ xj ∥xi ∥∥xj ∥ = ∑D d=1 xi,d xj,d ∑D d=1 x2 i,d ⋅ ∑D d=1 x2 j,d  16 ίαΠϯྨࣅ ϕΫτϧΛࣗͷେ͖͞ͰׂͬͨޙͷϕΫτϧಉ࢜ͷੵͷ݁ՌʢεΧϥʣ ͦΕͧΕͷϕΫτϧͷେ͖͕͞ͷ࣌ɺίαΠϯྨࣅੵͱҰக -
RAWͳϕΫτϧදݱͷݶք  22 • RAWͳϕΫτϧදݱΛ༻͍ͨྨࣅੑɺඞͣ͠ར༻ऀͷతʹԊͬͨྨࣅ ੑͱҰக͠ͳ͍ ΦϒδΣΫτΛҠಈ͢Δͱɺྨࣅڑ ͕มԽ͢Δྫ ΦϒδΣΫτࣗମͷྨࣅੑධՁͷతʹ͓͍ͯɺҐ ஔճసʹґΒͣɺ͍ͣΕʮ9ʯͱͯ͠ಉఔͷྨ
ࣅੑΛ༗ͯ͠ཉ͍͠ ୯ޠΛϫϯϗοτϕΫτϧͰදݱ͢Δͱɺ֤୯ޠͷڑྨ ࣅ͕ಉҰʹͳΓɺ୯ޠಉ࢜ͷҙຯͷۙ͞Λѻ͑ͳ͍ྫ ୯ޠͷૠ֓͢೦จதͷίϯςΩετ ౿·্͑ͨͰͷ୯ޠͷۙ͞ͷྨࣅੑ ධՁͷతʹ͓͍ͯɺ͜ͷΑ͏ʹޓ ͍ʹಠཱͱͳΔΑ͏ͳϫϯϗοτΤϯ ίʔυͱҟͳΔදݱํ๏͕ඞཁ -
• ಛʹਂχϡʔϥϧωοτϫʔΫʢDeep Neural Network: DNNʣϞσϧɺ λεΫΛղ͘ͷʹదͨ͠σʔλͷมنଇΛ෦తʹࣗΒ֫ಘ͢Δ • DNNϞσϧͦͷมثʹΑΔมޙͷσʔλΛ༻͍ͯɺม෦ͱൺΕ ૬ରతʹ؆қͳ༧ଌثʹΑͬͯɺλεΫΛղ͘ •
→ ͜ͷಛੑʹண͢Δ͜ͱͰɺRAWͳϕΫτ ɹ ϧදݱ͔ΒɺతʹԊͬͨྨࣅੑΛѻ͑Δ ɹ Α͏ͳϕΫτϧදݱͷࣗಈతͳ֫ಘΛࢦ͢  25 ػցֶशͱϕΫτϧදݱ Transform Predict -
 26 DNNʹΑΔϕΫτϧมنଇͷ֫ಘʢ1/5ʣ  fw (x) ʁ • 2࣍ݩͷRAWͳϕΫτϧͰදݱ͞ΕΔσʔλʹ2छྨͷϥϕϧΛ༩ͨ͠ •
γϯϓϧͳ༧ଌثʹΑΔઢతͳׂͰ͜ͷྨΛ࣮ߦ͢Δ͜ͱ͍͠ -
 31 มޙͷϕΫτϧදݱΛ༻͍ͨλεΫ࣮ߦʢྨʣ y = σ(w1 x1 + w2 x2
+ w3 x3 + b) • ֶशޙͷϞσϧʹ͓͚ΔλεΫ࣮ ߦͷ༷ࢠɻ࠷ऴ͔ΒͷϕΫτϧ දݱΛ༻͍ͯγϯϓϧͳ༧ଌث͕ ΫϥεྨΛ͏·࣮͘ߦͨ͠ -
 33 తʹԠͨ͡ϕΫτϧදݱͷมԽ &QPDI &QPDI &QPDI I1 I2 H1 256
H2 128 H3 64 O1 O2 O3 Normalize &QPDI • ྨࣅੑͷൺֱධՁʹ͓͚Δઌͷཁ ݅Λຬͨ͢Α͏ͳλεΫʢରরֶ शʣΛઃఆ • Ϋϥε֎Ͱͷڽूͱ͕Մࢹ Խ͞Ε͍ͯΔɻ -
 34 తʹԠͨ͡ϕΫτϧදݱͷมԽ &QPDI &QPDI &QPDI I1 I2 H1 256
H2 128 H3 64 O1 O2 O3 Normalize &QPDI λεΫͷқʹԠͯ͡ෳࡶͳϞσϧߏ ͱ͕ͨ͠ɺϕΫτϧදݱʢஔͷมԽʣ λεΫઃఆʹґΔ෦͕େ͖͍ɻ ൺֱͷͨΊɺಉҰϞσϧߏͰͷྨ Ͱֶशͨ͠ࡍͷϕΫτϧදݱܝࡌ͢Δɻ -
 38 k-ۙ୳ࡧʢk-Nearest Neighbor Search: k-NNʣ • ϕΫτϧू߹  ʹରͯ͠ΫΤϦϕΫτϧ
 ͷۙ  ϕΫτϧΛಘ͍ͨ •  • ૯ͨΓʢBrute forceʣʹΑΔઢܗ୳ࡧͰ σʔλ  ͱ࣍ݩ  ʹԠͯ͡ ܭࢉྔͱϝϞϦ༻ྔ͕૿Ճͯ͠͠·͏ X q k 𝒩 k (q, X) = argminS⊂X,|S|=k ∑ x∈S d(q, x) N D ཁૉ͕LʹͳΔΑ͏ʹબΜͩ෦ू߹ͷ͏ͪ ֤ཁૉͱΫΤϦͱͷڑͷ߹ܭ͕ ࠷খ͘͞ͳΔΑ͏ͳ෦ू߹ -
• ઢܗ୳ࡧͷ՝ʹରॲ͢ΔͨΊɺεΧϥʹ͓͚ΔΠϯσοΫεʹ૬͢Δɺ ϕΫτϧݕࡧ༻ͷΠϯσοΫε͕ఏҊ͞Ε͍ͯΔ • KD-TreeϕΫτϧ͝ͱʹॱʹೋࢬΛߏங • Ball-TreeϕΫτϧͷؔੑΛߟྀͨ͠ٿΛϊʔυͱͨ͠πϦʔΛߏங • ͨͩ͠ɺे࣍ݩΛ͑ΔͱׂͷޮՌ͕ ബΕɺܭࢉྔ͕ઢܗ୳ࡧʹ͍ۙͮͯ͠·͏
→ ۙͷຒΊࠐΈඦʙઍ࣍ݩͰ͋Δ͜ͱ͕ଟ͍  39 ϕΫτϧ༻ͷΠϯσοΫε -
 40 ۙࣅۙ୳ࡧʢApproximate k-NNS: ANNʣ • ϕΫτϧू߹  ʹରͯ͠ΫΤϦϕΫτϧ 
ͷۙ  ϕΫτϧΛಘ͍ͨ •  • ݫີղͷΘΓʹۙࣅղΛٻΊΔ • ૯ͨΓʢBrute forceʣʹΑΔઢܗ୳ࡧͱ ൺͯɺ࠶ݱ͕Լ͢Δ͕ɺܭࢉྔͱ ϝϞϦ༻ྔΛݮগͰ͖Δ • → ༷ʑͳΞϓϩʔν͕͋ΔͷͰҰ෦Λհ X q k ˜ 𝒩 k (q, X) ≈ 𝒩 k (q, X) ۙࣅۙ୳ࡧͰɺ͜ͷྫͷ Α͏ʹਖ਼֬ͳۙϕΫτϧͷ ू߹ͱ߹க͢Δ෦ͱ͠ͳ͍ ෦͕ൃੜ͢Δ -
• ୯Ұͷྔɺ͘͠ϕΫτϧͷ͝ͱͷྔࢠԽ • ͜͜ͰͷྔࢠԽɺࢄԽʢάϧʔϐϯάʣͱଊ͑ͯΑ͍ • 0~1ͷൣғΛۉʹ4ׂ͢Ε2bitsͷσʔλͱͯ͠දݱͰ͖Δ • ϕΫτϧʹରͯ͠ద༻͢Δͱޡࠩͷੵ͕՝ʹͳΔ  42
ࢀߟ: εΧϥྔࢠԽ 0.12 0.15 0.67 0.72 0.89 0.91 0.34 0.38 ⟶ 0.125 (00) 0.125 (00) 0.625 (10) 0.625 (10) 0.875 (11) 0.875 (11) 0.375 (01) 0.375 (01) -
• ϕΫτϧू߹Λ  ݸͷදϕΫτϧ  Ͱදݱ͢Δ • ͜͜ͰͷྔࢠԽɺࢄԽʢάϧʔϐϯάʣͱଊ͑ͯΑ͍ • දϕΫτϧ
 ࣄલʹk-meansͳͲͰٻΊΔ K C = {c1 , …cK } C  43 ϕΫτϧྔࢠԽʢVector Quantization: VQʣʢ1/3ʣ -
• k-means ɺڭࢣͳֶ͠शͷҰछͰ͋ΓɺσʔλΛ  ݸͷΫϥελʹׂ͢Δ ΫϥελϦϯάख๏ • ֤Ϋϥελɺͦͷத৺ʢηϯτϩΠυʣΛ࣋ͪɺσʔλ࠷͍ۙηϯτ ϩΠυʹׂΓͯΒΕΔɻ •
ΞϧΰϦζϜɺσʔλͷׂΓͯͱηϯτϩΠυͷߋ৽Λ܁Γฦ͠ɺऩଋ ͢Δ·Ͱ࣮ߦ͞ΕΔɻ K  44 ࢀߟ: k-means → → ⋯ -
• ϕΫτϧू߹Λ  ݸͷදϕΫτϧ  Ͱදݱ͢Δ • ϕΫτϧू߹  ɺදϕΫτϧͷΠϯσοΫεͷू߹ͱͳΓɺྫ͑
256ύλʔϯͰ͋ͬͯϕΫτϧ͋ͨΓ8bitsͰදݱͰ͖Δ K C = {c1 , …cK } X ∈ RN×D  45 ϕΫτϧྔࢠԽʢVector Quantization: VQʣʢ2/3ʣ 0.12 0.85 … 0.43 0.67 0.23 … 0.91 ⋮ ⋮ ⋱ ⋮ 0.04 0.77 … 0.33 ⟶ 44 (00101100) 210 (11010010) ⋮ ⋮ 109 (01101101)  N  D * float32  uint8  N  X ⋮ ⋮ ⋱ ⋮ 44UI 0.10 0.80 … 0.40 ⋮ ⋮ ⋱ ⋮ 109UI 0.05 0.75 … 0.30 ⋮ ⋮ ⋱ ⋮ 210UI 0.65 0.20 … 0.88 ⋮ ⋮ ⋱ ⋮ ίʔυϒοΫ ʢදϕΫτϧͷू߹ʣ  K  D * float32 -
0.12 0.85 0.33 0.76 … 0.43 0.67 0.23 0.91 0.45
… 0.91 ⋮ ⋮ ⋮ ⋮ ⋱ ⋮ 0.04 0.77 0.19 0.63 … 0.33 ⟶ 11260 (00101100 10111001) 53981 (11010010 01011101) ⋮ ⋮ 28083 (01101101 01110011) • ϕΫτϧू߹Λ  ݸͷදϕΫτϧ  Ͱදݱ͢Δ • ϕΫτϧू߹  ɺදϕΫτϧͷΠϯσοΫεͷू߹ͱͳΓɺྫ͑ 256ύλʔϯͰ͋ͬͯϕΫτϧ͋ͨΓ8bitsͰදݱͰ͖Δ K C = {c1 , …cK } X ∈ RN×D  46 ϕΫτϧྔࢠԽʢVector Quantization: VQʣʢ3/3ʣ  N  D * float32  uint16  N  X • ۙࣅਫ਼  ͷେ͖͞ʹґΔ͕ɺߴ࣍ݩͷ߹ɺదͳ  େ͖͘ͳΓɺΫϥ ελϦϯάͷܭࢉྔʢΠςϨʔγϣϯ͋ͨΓ  ʣ૿Ճ͢Δ K K N × K × D -
• ߴ࣍ݩϕΫτϧΛ  ݸͷ࣍ݩαϒϕΫτϧʹׂ͠ɺݸʑʹVQΛద༻ • ΫϥελϦϯάʹ͓͚Δਫ਼ͱܭࢉྔͷύϥϝʔλ  ͱ  ͷݮΛਤΔ
M D K  47 ੵྔࢠԽʢProduct Quantization: PQʣʢ1/4ʣ 0.12 0.85 0.33 0.76 0.54 0.67 0.23 0.91 0.48 0.39 0.72 0.58 0.14 0.04 0.77 0.33 ⋮ ⋮ ⋮ ⋮ ⋮ ⋮ ⋮ ⋮ 0.67 0.92 0.11 0.75 0.83 0.46 0.28 0.59  N  D = 8  X -
 48 ੵྔࢠԽʢProduct Quantization: PQʣʢ2/4ʣ  N  D/M =
2  X 0.12 0.85 | 0.33 0.76 | 0.54 0.67 | 0.23 0.91 0.48 0.39 | 0.72 0.58 | 0.14 0.04 | 0.77 0.33 ⋮ ⋮ | ⋮ ⋮ | ⋮ ⋮ | ⋮ ⋮ 0.67 0.92 | 0.11 0.75 | 0.83 0.46 | 0.28 0.59 • ߴ࣍ݩϕΫτϧΛ  ݸͷ࣍ݩαϒϕΫτϧʹׂ͠ɺݸʑʹVQΛద༻ • ΫϥελϦϯάʹ͓͚Δਫ਼ͱܭࢉྔͷύϥϝʔλ  ͱ  ͷݮΛਤΔ M D K -
 49 ੵྔࢠԽʢProduct Quantization: PQʣʢ3/4ʣ 0.12 0.85 | 0.33 0.76
| 0.54 0.67 | 0.23 0.91 0.48 0.39 | 0.72 0.58 | 0.14 0.04 | 0.77 0.33 ⋮ ⋮ | ⋮ ⋮ | ⋮ ⋮ | ⋮ ⋮ 0.67 0.92 | 0.11 0.75 | 0.83 0.46 | 0.28 0.59 ⟶ 44 | 185 | 202 | 111 210 | 93 | 100 | 46 ⋮ | ⋮ | ⋮ | ⋮ 109 | 152 | 205 | 83  N  X  uint8 * M  D/M = 2 ⋮ ⋮ 44UI 0.18 0.72 ⋮ ⋮ 109UI 0.09 0.81 ⋮ ⋮ 210UI 0.60 0.30 ⋮ ⋮ ⋮ ⋮ 93UI 0.66 0.48 ⋮ ⋮ 152UI 0.14 0.69 ⋮ ⋮ 185UI 0.28 0.79 ⋮ ⋮ ⋮ ⋮ 100UI 0.22 0.09 ⋮ ⋮ 202UI 0.49 0.71 ⋮ ⋮ 205UI 0.76 0.55 ⋮ ⋮ ⋮ ⋮ 46UI 0.81 0.29 ⋮ ⋮ 83UI 0.25 0.63 ⋮ ⋮ 111UI 0.31 0.95 ⋮ ⋮ αϒϕΫτϧ͝ͱͷίʔυϒοΫ  N  K • ߴ࣍ݩϕΫτϧΛ  ݸͷ࣍ݩαϒϕΫτϧʹׂ͠ɺݸʑʹVQΛద༻ • ΫϥελϦϯάʹ͓͚Δਫ਼ͱܭࢉྔͷύϥϝʔλ  ͱ  ͷݮΛਤΔ M D K  D/M * float32 -
• ߴ࣍ݩϕΫτϧΛ  ݸͷ࣍ݩαϒϕΫτϧʹׂ͠ɺݸʑʹVQΛద༻ • ੵʢ  ʣͱɺू߹ಉ࢜ͷΈ߹ΘͤͰ৽͍͠ू߹ΛಘΔ͜ͱ • 
࣍ݩϕΫτϧΛ  ຊͷ  ࣍ݩαϒϕΫτϧʹׂ͠ɺͦΕͧΕͷ VQͰ  ύλʔϯʹྔࢠԽͨ͠ͳΒɺ  ύλʔϯΛදݱͰ͖Δ M × D M = 4 D/M 28 (28)4 = 232  50 ੵྔࢠԽʢProduct Quantization: PQʣʢ4/4ʣ 0.12 0.85 | 0.33 0.76 | 0.54 0.67 | 0.23 0.91 0.48 0.39 | 0.72 0.58 | 0.14 0.04 | 0.77 0.33 ⋮ ⋮ | ⋮ ⋮ | ⋮ ⋮ | ⋮ ⋮ 0.67 0.92 | 0.11 0.75 | 0.83 0.46 | 0.28 0.59 ⟶ 44 | 185 | 202 | 111 210 | 93 | 100 | 46 ⋮ | ⋮ | ⋮ | ⋮ 109 | 152 | 205 | 83  N  X  uint8 * M  2K/M  2K/M  2K/M  2K  2K/M  ×  ×  ×  D/M = 2 -
 51 ੵྔࢠԽͷۙࣅڑʢ1/2ʣ 0.12 0.85 0.33 0.76 0.54 0.67 0.23
0.91 ⋮ ⋮ 44UI 0.18 0.72 ⋮ ⋮ 109UI 0.09 0.81 ⋮ ⋮ 210UI 0.60 0.30 ⋮ ⋮ ⋮ ⋮ 93UI 0.66 0.48 ⋮ ⋮ 152UI 0.14 0.69 ⋮ ⋮ 185UI 0.28 0.79 ⋮ ⋮ ⋮ ⋮ 100UI 0.22 0.09 ⋮ ⋮ 202UI 0.49 0.71 ⋮ ⋮ 205UI 0.76 0.55 ⋮ ⋮ ⋮ ⋮ 46UI 0.81 0.29 ⋮ ⋮ 83UI 0.25 0.63 ⋮ ⋮ 111UI 0.31 0.95 ⋮ ⋮ ΫΤϦϕΫτϧ  q D K K K K q(1) q(2) q(3) q(4) c(1) c(2) c(3) c(4) 0.23 0.84 0.03 0.25 0.54 0.98 0.40 0.78 D σʔλϙΠϯτ  x1 x(1) 1 x(2) 1 x(3) 1 x(4) 1 0.25 0.75 0.05 0.25 0.50 0.75 0.25 0.75 ྔࢠԽ  x1 d(q(1), c(1) x1 ) d(q(2), c(2) x1 ) d(q(3), c(3) x1 ) d(q(4), c(4) x1 ) c(1) x1 c(2) x1 c(3) x1 c(4) x1 + + + ≈ d(q, x1 ) • ΫΤϦϕΫτϧͷαϒϕΫτϧͱରԠ͢Δσʔλͷ ྔࢠԽࡁΈαϒϕΫτϧͷڑΛ߹ࢉͯ͠ٻΊΔ -
 52 ੵྔࢠԽͷۙࣅڑʢ2/2ʣ 0.12 0.85 0.33 0.76 0.54 0.67 0.23
0.91 ΫΤϦϕΫτϧ  q D q(1) q(2) q(3) q(4) d(q(1), c(1) x1 ) d(q(2), c(2) x1 ) d(q(3), c(3) x1 ) d(q(4), c(4) x1 ) c(1) x1 c(2) x1 c(3) x1 c(4) x1 + + + ≈ d(q, x1 ) • ্࣮ɺΫΤϦͷαϒϕΫτϧͱίʔυϒοΫͷΈ߹ΘͤΛ༧Ίܭࢉͨ͠ ڑදΛ४උ͓ͯ͘͜͠ͱͰɺσʔλͷαϒϕΫτϧͷදϕΫτϧͷIDΛ༻ ͍ͯࢀর͢Δ͜ͱͰߴʹڑΛٻΊΔ d(q(1), c(1) 1 ) d(q(1), c(1) 2 ) d(q(1), c(1) 3 ) … d(q(1), c(1) 256 ) d(q(2), c(2) 1 ) d(q(2), c(2) 2 ) d(q(2), c(2) 3 ) … d(q(2), c(2) 256 ) d(q(3), c(3) 1 ) d(q(3), c(3) 2 ) d(q(3), c(3) 3 ) … d(q(3), c(3) 256 ) d(q(4), c(4) 1 ) d(q(4), c(4) 2 ) d(q(4), c(4) 3 ) … d(q(4), c(4) 256 ) d(q(i), c(i) j ) = ∥q(i) − c(i) j ∥2 = D/M ∑ k=1 (q(i) k − c(i) j,k )2 ฏํϢʔΫϦουڑ ڑද -
• ϕΫτϧू߹Λߥ͘ྨ͠ɺΫϥελ͝ͱʹΠϯσοΫεΛ࡞ • ΫΤϦ࣌ʹɺݕࡧରΛߜΓࠐΜͰݕࡧͰ͖ΔͨΊܭࢉྔͷݮ͕Մೳ • PQͱΈ߹ΘͤΔ͜ͱͰɺPQͷશ݅ݕࡧͷ՝Λ؇͢Δ  55 సஔΠϯσοΫεʢInVerted File:
IVFʣʢ1/2ʣ  …  ×  ≃  …  ×  ≃  …  ×  ≃ ⋮  ≃ -
• ϞμϦςΟͷҧ͍ • ςΩετɺը૾ʢ྆͘͠ํʣ • WebαʔϏεͷϢʔβʔͱΞΠςϜ • ֶशͷؔ༩ͷҧ͍ • θϩ͔ΒಠࣗσʔλͰֶश
• ֶशࡁΈϞσϧʹର͢ΔϑΝΠϯνϡʔχϯά • ֶशࡁΈϞσϧΛ׆༻  60 ຒΊࠐΈϞσϧͷબఆ -
• ΤϯίʔμʔܕͷTransformerʹରͯ͠ɺେنͳςΩετίʔύεΛ༻͍ͯ Masked Language ModelingNext Sentence PredictionλεΫͰࣄલֶश͞ ΕͨϞσϧ  61
BERTʢBidirectional Encoder Representations from Transformersʣ -
TransformerΛ༻͍ͨຒΊࠐΈʢΤϯίʔμʔܕʣ  62 τʔΫϯຒΊࠐΈ ΤϯίʔυϒϩοΫ ΤϯίʔυϒϩοΫ ΤϯίʔυϒϩοΫ  ⋮ ΤϯίʔυϒϩοΫ
0.5 0.3 ⋯ 0.2 0.2 0.1 ⋯ 0.6 ⋮ ⋮ ⋮ 0.3 0.9 ⋯ 0.8 2 148374 ⋮ 3 τʔΫϯ*%ྻ τʔΫϯຒΊࠐΈྻ 0.3 0.3 ⋯ 1.2 0.1 0.2 ⋯ 0.8 ⋮ ⋮ ⋮ 0.1 0.2 ⋯ 0.5 จ຺Λߟྀͨ͠τʔΫϯຒΊࠐΈϕΫτϧ  W 0 0 ⋯ 0 0 0 ⋯ 0 1 0 ⋯ 0 0 0 ⋯ 1 ⋮ ⋮ ⋮ 0 1 ⋯ 0 ⋮ ⋮ ⋮  ⋅ τʔΫϯ*%ྻΛϫϯϗοτΤϯίʔσΟϯάޙʹม͠ ͨͷΛຒΊࠐΈϕΫτϧྻͱ͢ΔʢҐஔຒΊࠐΈͷ লུʣ -
TransformerΛ༻͍ͨຒΊࠐΈʢΤϯίʔμʔܕʣ  63 τʔΫϯຒΊࠐΈ ҙ ػߏ ҙ ػߏ ҙ ػߏ
লུ  ⋯ ΤϯίʔυϒϩοΫ ΤϯίʔυϒϩοΫ ΤϯίʔυϒϩοΫ  ⋮ লུ ΤϯίʔυϒϩοΫ 0.2 0.1 ⋯ 0.2 0.1 0.6 ⋯ 0.8 ⋮ ⋮ ⋮ 0.7 0.9 ⋯ 0.5 1.0 0.2 ⋯ 0.1 0.5 0.3 ⋯ 0.9 ⋮ ⋮ ⋮ 0.4 0.6 ⋯ 0.4 Y Y Y τʔΫϯ*%ྻ τʔΫϯຒΊࠐΈྻ ҰͭલͷτʔΫϯຒΊࠐΈΛड͚औΓɺ ΫΤϦɺΩʔɺόϦϡʔϕΫτϧมͷޙɺ ͋ΔτʔΫϯΛଞͷτʔΫϯͱͷΈ߹ΘͤͰදݱ͢Δ ˎͲͷΑ͏ʹΈ߹ΘͤΔ͔σʔλ͔Β֫ಘ͢Δ ෳͷ؍ͰͷΈ߹ΘͤΛԿ܁Γฦ͢͜ͱͰ୯७ ͳݴ͍͔͑ΒɺෳࡶͳΓड͚ɺจ຺·ͰΛଊ͑Δ͜ ͱ͕Ͱ͖ΔΑ͏ʹͳΔͱߟ͑ΒΕΔ Ϛϧνϔουҙػߏ -
• ΤϯίʔμʔܕͷTransformerʹରͯ͠ɺେنͳςΩετίʔύεΛ༻͍ͯ Masked Language ModelingNext Sentence PredictionλεΫͰࣄલֶश͞ ΕͨϞσϧ 1. ֶशࡁΈͷϞσϧ͔ΒಘΒΕΔCLSτʔΫϯ֤τʔΫϯͷϓʔϦϯά
ʢฏۉ࠷େʣΛຒΊࠐΈͱͯ͠ར༻ 2. ରরֶशͷΑ͏ͳɺྨࣅੑͷධՁͱ͍͏؍ʹదͨ͠ϕΫτϧΛ֫ಘͰ͖ ΔΑ͏ϑΝΠϯνϡʔχϯάͨ͠Ϟσϧͷग़ྗΛຒΊࠐΈͱͯ͠ར༻ • ϑΝΠϯνϡʔχϯάࡁΈͷϞσϧͱࣗલͰͷϑΝΠϯνϡʔχϯά  64 BERTʢBidirectional Encoder Representations from Transformersʣ -
 65 TransformerΛ༻͍ͨຒΊࠐΈʢVision Transformerʣ τʔΫϯຒΊࠐΈ ΤϯίʔυϒϩοΫ ΤϯίʔυϒϩοΫ ΤϯίʔυϒϩοΫ  ⋮
ΤϯίʔυϒϩοΫ ը૾ τʔΫϯຒΊࠐΈྻ 🌃 0.5 0.3 ⋯ 0.2 0.2 0.1 ⋯ 0.6 ⋮ ⋮ ⋮ 0.3 0.9 ⋯ 0.8  W ը૾ΛύονྖҬʹׂ͠ɺྖҬ͝ͱͷνϟϯωϧ͝ͱ ͷըૉΛฒͨͷʢͱ$-4ʣΛมͨ͠ͷΛτʔ ΫϯຒΊࠐΈྻͱ͢ΔʢҐஔຒΊࠐΈͷলུʣ 0.3 0.3 ⋯ 1.2 0.1 0.2 ⋯ 0.8 ⋮ ⋮ ⋮ 0.1 0.2 ⋯ 0.5 จ຺Λߟྀͨ͠τʔΫϯຒΊࠐΈϕΫτϧ $-4 -
 66 CLIPʢContrastive Language-Image Pre-trainingʣ  ⋮  ⋮ 🌃
[1.0 0.2 ⋯ 0.1] 🌌 🌉  … 0.5 0.3 ⋯ 0.2 0.2 0.1 ⋯ 0.6 ⋮ ⋮ ⋮ 0.3 0.9 ⋯ 0.8 ʮԫࠚʹු͔Ϳڮʯ 0.68 0.60 ⋮ 0.88 ςΩετ͔ΒͷຒΊࠐΈ ͱը૾͔ΒͷຒΊࠐΈͷ ؒͰྨࣅΛఆ ςΩετΤϯίʔμʔ ը૾Τϯίʔμʔ ⚠ςΩετΤϯίʔμʔͱը૾Τϯίʔμʔ ΛҰॹʹֶशͤ͞Δ͜ͱͰɺϞʔμϧΛލ͍ ͩຒΊࠐΈΛ֫ಘ͍ͯ͠Δʹҙɻ ݸผʹֶशͨ͠Τϯίʔμʔͷग़ྗ͢ΔຒΊ ࠐΈಉ࢜ૢ࡞ͱͯ͠ͷൺֱՄೳͩ ͕ɺಉ͡εέʔϧͰྨࣅੑΛదʹධՁͰ͖ ΔͱݶΒͳ͍ɻ ͜ͷΑ͏ͳൺֱΛߦ͏߹ʹ$-*1Ϟσϧ͕ ఏڙ͢ΔΑ͏ͳ౷Ұ͞ΕͨຒΊࠐΈۭ͕ؒඞ ཁʹͳΔɻ ຊޠʹରԠֶͨ͠शࡁΈϞσϧ͕๛ʹ ެ։͞Ε͍ͯΔ -
 67 Dual EncoderʢTwo-Tower modelʣ [1.0 0.2 ⋯ 0.1] 0.5
0.3 ⋯ 0.2 0.2 0.1 ⋯ 0.6 ⋮ ⋮ ⋮ 0.3 0.9 ⋯ 0.8 0.68 0.60 ⋮ 0.88 Ϣʔβʔಛྔ͔Βͷຒ ΊࠐΈͱΞΠςϜಛྔ ͔ΒͷຒΊࠐΈͷؒͰྨ ࣅΛఆ ϢʔβʔΤϯίʔμʔʢλϫʔʣ ΞΠςϜΤϯίʔμʔʢλϫʔʣ %// %// 👤 🍎 🍓 ΞΧϯτใ ߦಈཤྺ ΞΠςϜใ ਓؾ 👤 ϞʔμϧΛލ͍ͩຒΊࠐΈͷ֫ಘςΩετ ը૾ʹݶΒͳ͍ɻϢʔβʔใΞΠςϜ ใΛ3"8ͳϕΫτϧͱͯ͠දݱ͠ɺ%// 5SBOTGPSNFSΛ༻͍ͯλεΫʹదͨ͠มΛ ߦ͏͜ͱͰಉ༷ʹ࣮ݱͰ͖Δɻ ͜ͷߏͷ࣮༻ੑɺϢʔβʔใͱൺͯ ใͷมԽ͕গͳ͍ΞΠςϜใʹ͍ͭͯ༧ ΊຒΊࠐΈΛࢉग़ͯ͠ϕΫτϧݕࡧγεςϜʹ ೖ͓ͯ͘͜͠ͱͰɺ࠷৽ͷϢʔβʔใ͔ Βஞ࣍ٻΊͨຒΊࠐΈʹରͯ͠ɺྨࣅ͢ΔΞ ΠςϜΛఏҊ͢ΔΑ͏ͳɺϦΞϧλΠϜਪનʹ ద͍ͯ͠ΔͰ͋Δɻ αʔϏεʹಛ༗ͷσʔλͰθϩ͔Βֶश͢Δ ϞσϧͱͳΔ͜ͱ͕ଟ͍ɻ I I H H H O O O Nor I I H H H O O O Nor -
• ۙࣅۙ୳ࡧΛ࣮ݱ͢ΔϕΫτϧݕࡧΤϯδϯଟ͘ఏڙ͞Ε͍ͯΔ ʢAnnoyɺFaissɺQdrantɺChromaʣ • ϚωʔδυͳαʔϏεͱͯ͠ఏڙ͍ͯ͠Δͷଟ ʢQdrant CloudɺGoogle Cloud Vertex AI
Vector Searchʣ  70 ۙࣅۙ୳ࡧϥΠϒϥϦɾαʔϏε -
• ࠶ݱͱͷτϨʔυΦϑ͕ଘࡏ ͢Δ͜ͱΛཧղ͢Δ • ཁ݅ʹΑͬͯɺઢܗ୳ࡧ͕ద͢Δ ߹͋Γ͏Δʢ1ສ݅ະຬ100࣍ݩະຬʣ • ਫ਼ͱɺΞϧΰϦζϜຒΊࠐ Έͷ࣍ݩɺ݅ͷ݅ʹ ΑͬͯҟͳΔͨΊɺݕূ͕ॏཁ
• ANN-Benchmarksࢀߟʹ͢Δ  71 ۙࣅۙ୳ࡧʹ͓͚ΔτϨʔυΦϑ "//#FODINBSLTΑΓҾ༻ (MPWFʹΑΔ୯ޠ࣍ݩͷຒΊࠐΈʹର͢Δۙ୳ࡧ ԣ͕࣠࠶ݱʢ3FDBMMʣɺॎ͕࣠ݕࡧʢඵؒΫΤϦʣ IUUQTBOOCFODINBSLTDPNHMPWFBOHVMBS@@BOHVMBSIUNM -
• ີͳϕΫτϧͰදݱ͞ΕΔຒΊࠐΈʹରͯ͠ɺޠኮதͷग़ݱճͳͲͰදݱ͞ ΕΔૄͳϕΫτϧɺΩʔϫʔυҰகɾྨࣅͳͲͷ໘Ͱ༗ޮ • ૄͳϕΫτϧΛಘΔʹɺTF-IDFɺBM25ʹΑΔࢉग़ɺSPLADEʢSparse Lexical and Expansion ModelʣϞσϧʹΑΔΤϯίʔυͳͲΛར༻Ͱ͖Δ •
ͦΕͧΕͷॴΛ׆͔ͨ͠ଟ༷ੑͷ͋Δݕࡧ݁ՌΛظ͢Δ߹ɺϋΠϒϦο υݕࡧͷαϙʔτͷ༗ແΛબఆ࣌ʹߟྀ͢Δͱྑ͍  72 ϋΠϒϦουݕࡧͷαϙʔτ ີϕΫτϧ༻ ΠϯσοΫε ૄϕΫτϧ༻ ΠϯσοΫε ΫΤϦ ີϕΫτϧ ૄϕΫτϧ Τϯίʔυ Lۙ Lۙ ౷߹ ʢ྆ํͰॱҐ͕ߴ͍ ͷΛ্Ґʹʣ ݁Ռ -
• ಛఆͷΧςΰϦͳͲʹݕࡧ݁ՌΛߜΓࠐΈ͍ͨ߹ͳͲɺີͳϕΫτϧ͕ඞͣ ͠ಘҙͰͳ͍ݕࡧ͋Δ • ʹෳͷ֓೦͕ԣஅͯ͠ରԠͯ͠࿈ଓతͳஔ͕ͳ͞ΕΔຒΊࠐΈͰ ɺࢄతͳෆಘख • ݺͼग़͠ଆͰϑΟϧλ͢Δ͜ͱՄೳ͕ͩɺݕࡧγεςϜଆͰαϙʔτ͕͋Ε ɺෆཁͳ௨৴ɺऔಘޙͷϑΟϧλॲཧΛݮͰ͖ΔͨΊɺݕࡧͷޮ͕ ্͢Δɻ
·ͨɺݕࡧγεςϜͱݺͼग़͠ଆͷঢ়ଶͷζϨճආͰ͖Δɻ  73 ଐੑϑΟϧλϦϯάͷαϙʔτ ີϕΫτϧ༻ ΠϯσοΫε ΫΤϦ ີϕΫτϧ Τϯίʔυ Lۙ ϑΟϧλϦϯά ʢLۙͷத͔Βࢦఆͨ͠ଐੑ ͷʹ߹க͢ΔͷͰߜࠐΈʣ ݁Ռ ଐੑʢϝλσʔλͳͲݺশ ΤϯδϯαʔϏεʹґΔʣ -
• શͯͷۙࣅۙ୳ࡧΞϧΰϦζϜͰɺߏஙࡁΈͷΠϯσοΫεͷࠩߋ৽͕Ͱ ͖ΔΘ͚Ͱͳ͍ • ࠩߋ৽୯७ͳϕΫτϧͷՃͰͳ͘ɺطଘͷΠϯσοΫεͷ༰ͱͷ όϥϯγϯάͳͲͦΕͳΓʹ͔͔࣌ؒΔ • ΠϯσοΫεͷөΛϦΞϧλΠϜͰ࣮ࢪ͢ΔͳΒཁ݅ͱͯ͠ߟྀ • ࣍Ͱͷߋ৽ͰՄೳͳΒ࠶ߏஙͰରԠՄೳͳ߹͕ଟ͍ʢಛʹΤϯίʔυ
࣌ؒͷํ͕ࢧతͳ߹ɻͦͷΑ͏ͳͱ͖ΤϯίʔυରΛࠩʹ͢Δ Έ࡞Γͷํ͕దʣ  74 ΠϯσοΫεͷࠩʢ૿ʣߋ৽ͷαϙʔτ