watsonx.data上のベクトル・データベース Milvusを見てみよう/20250418-milvus-dojo

2025/04/18(金)オンライン開催
watsonx.data上のベクトル・データベース Milvusを見てみよう
https://ibm-developer.connpass.com/event/351549/
の資料です。

【内容】『watsonx.data上のベクトル・データベース Milvusを見てみよう』

データレイクハウスwatsonx.data上でベクトル・データベース Milvusが利用可能になっています。

当セッションではwatsonx.dataとベクトル・データベース（Milvus）について簡単に説明後、watsonx.dataのMilvusを使った検索を実際にお見せします。

Transcript

1. *#.
   %BUBCBTF
   %PKP
    XBUTPOYEBUB্ͷϕΫτϧɾσʔλϕʔε .JMWVTΛݟͯΈΑ͏ ฏ໺ ਅٷ .BZVNJ
   )JSBOP ೔ຊΞΠɾϏʔɾΤϜגࣜձࣾ ςΫϊϩδʔࣄۀຊ෦ ੢ށ ژࢠ ,ZPLP
   /JTIJUP
2. ੜ੒"*ͷʮ3"(ʯͰ஫໨͞ΕΔʮϕΫτϧɾσʔλϕʔεʯ Ϣʔβʔ ࣭໰จ ݕࡧ ϓϩϯϓτ ੜ੒"*Ϟσϧ --. ੜ੒͞Εͨճ౴ ্Ґͷݕࡧ݁Ռ ࣭໰จΛݩʹݕࡧ اۀಠࣗͷ৘ใ ਖ਼֬ͳ࠷৽৘ใ ࢦࣔจ ࣭໰จ ݕࡧ݁Ռ 3"( 3FUSJFWBM
   "VHNFOUFE
   (FOFSBUJPO اۀಠࣗͷ৘ใ΍ਖ਼֬ͳ࠷৽৘ใ͔Βɺੜ੒"*Ϟσϧ --. ʹճ౴Λੜ੒ͤ͞Δ࢓૊ΈͰ͢ɻ ੜ੒"*Ϟσϧ͕ࣄલʹֶश͍ͯ͠Δ৘ใ͔Βճ౴Λੜ੒͢ΔͷͰ͸ͳ͘ɺ·ͣճ౴Λੜ੒͢ ΔͨΊʹඞཁͳ৘ใΛݕࡧ͠ɺͦͷ৘ใΛੜ੒"*Ϟσϧʹೖྗͯ͠ճ౴Λੜ੒ͤ͞·͢ɻ ΩʔϫʔυݕࡧͰ͸ͳ͘ ϕΫτϧɾσʔλͰྨࣅݕࡧ Λ͠·͢ ϕΫτϧɾσʔλΛྨࣅݕࡧͰ͖Δ ϕΫτϧ%#Λ࢖͍·͢ 
3. 3"(ͷͨΊʹඞཁͳ΋ͷ ϕΫτϧɾσʔλ ϕΫτϧ ۭؒͰදݱ ϕΫτϧԽ ը૾΍จॻͷಛ௃͕ίϯύΫτʹ؆୯ ʹΘ͔ΔΑ͏ʹσʔλΛʮϕΫτϧʯ ͱݺ͹ΕΔ਺஋ͷ഑ྻʹม׵͢Δ͜ͱ ͜ͷϕΫτϧԽͨ͠σʔλ͕ ϕΫτϧɾσʔλ ಛ௃͕͍ۙ΋ͷ͸ ϕΫτϧۭؒͰͷڑ཭͕͍ۙ ʹࣅ͍ͯΔ ྨࣅ౓͕ߴ͍ ϕΫτϧͰൺֱ͠ྨࣅ౓͕ߴ͍΋ͷΛ ݕࡧ͢Δͷ͕ྨࣅݕࡧ ݘ
   < 
    ɾɾɾɾ> ೣ
   < 
    ɾɾɾ> ϖοτ
   <
   
    ɾɾ> େࠜ
   <
   
    ɾɾɾ> ʮϖοτʯͱͷ ྨࣅ౓ ݘ  ೣ  େࠜ  ίαΠϯྨࣅ౓
   ʹ͍ۙ΄Ͳྨࣅ౓ ͕ߴ͍ ݘ ೣ ϖοτ େࠜ ΠϝʔδਤͰ͢ В В` В`` 
4. 3"(ͷͨΊʹඞཁͳ΋ͷ ϕΫτϧɾσʔλϕʔε • ϕΫτϧɾσʔλΛ֨ೲɺ؅ཧɺݕࡧ͢ΔͨΊʹઃܭ͞Εͨσʔλϕʔε • ߴޮ཰͔ͭߴ଎ʹྨࣅݕࡧՄೳ • ྫ͑͹ɺจॻݕࡧɺը૾ݕࡧ΍Ի੠ݕࡧʹ͓͍ͯɺ͋ΔϕΫτϧͱྨࣅͨ͠ಛ ੑΛ࣋ͭσʔλΛૉૣ͘ݕࡧ͢Δ͜ͱ͕Մೳ ΠϯσοΫεɾλΠϓ ݕࡧํ๏ͱΠϯσοΫεɾλΠϓͷύϥϝʔλʔ λΠτϧ͕ϕΫτϧԽ͞Εͨ΋ͷ 
5. σʔλͷϕΫτϧԽɾૠೖͷྲྀΕ • ը૾΍ಈըɺԻ੠ɺςΩετͳͲͷσʔλ͸ɺʮ&NCFEEJOH
   .PEFMʯʹΑͬͯɺ ϕΫτϧԽ͞Ε·͢ɻ • ಛఆͷಛੑ΍ؔ܎ੑΛO࣍ݩͰදݱ͢Δ͜ͱͰɺίϯύΫτʹσʔλॲཧΛߦ͏ ͜ͱ͕Ͱ͖·͢ɻ &NCFEEJOHT
   .PEFM <
   
   ɾɾɾ> <
   
   ɾɾɾ> <
   
   ɾɾɾ> <
   
   ɾɾɾ> <
   
   ɾɾɾ> <
   
   ɾɾɾ> ϕΫτϧ ɾσʔλ Λ ϕΫτϧ %#΁ૠೖ σʔλΛ ϕΫτϧԽ ը૾σʔλ΍ 1%'
   KTPO UFYU
   ͳͲ ϕΫτϧ%# ϕΫτϧɾΠϯσοΫε ଐੑϑΟϧλϦϯά ɾɾɾ  XBUTPOYEBUB .JMWVT ϕΫτϧ%# XBUTPOYBJ
   HSBOJUFFNCFEEJOHNNVMUJMJOHVBM
6. XBUTPOYEBUB
   ͸ϕΫτϧ%#
   .JMWVT͕࢖͑·͢ • "*σʔλ׆༻ଅਐͷͨΊͷσʔλɾϓϥοτϑΥʔϜ • ̎ͭͷإ͕͋Γ·͢ʂ ϨΠΫϋ΢εɾΞʔΩςΫ νϟʔ ৘ใܥΠϯϑϥ౳ʹ͓͚Δ ѹ౗తͳίετύϑΥʔϚ ϯεΛ࣮ݱ ϕΫτϧ%#
   .JMWVT ͓٬༷ͷࢿ࢈Ͱ͋Δσʔλ Λ࢖ͬͯੜ੒"*ͷΞ΢τ ϓοτʹର͢Δ৴པੑΛ޲ ্ ηϚϯςΟοΫɾΦʔτ ϝʔγϣϯ σʔλ΁ͷҙຯ͚ͮͱݕࡧॲ ཧΛ"*ͰڧԽ͠ΫΠοΫ͔ͭ ؆୯ʹཉ͍͠σʔλͷೖख͕ Մೳ ͓٬༷՝୊ʹର͢ΔιϦϡʔγϣϯ σʔλετΞ "*σʔλϕʔε "*ͷͨΊͷσʔλϕʔε
   
   "*૊ΈࠐΈܕͷ σʔλϕʔε   ઌਐιϦϡʔγϣϯ 
7. l 1SFTUPͱ4QBSLʹΑΔϦΞϧλΠϜ রձͱେن໛ͳ&5-ॲཧ l 1SFTUPʹ*#.ಠࣗͷ2VFSZ
   0QUJNJ[FS౥ࡌ l ੜ੒"*ͷ৘ใݯʹ࢖͑Δ ϕΫτϧɾσʔλϕʔε.JMWVT౥ࡌ l *#.
   
   ,OPXMFEHF
   $BUBMPHͱ઀ଓ ޓ׵ੑͷ͋ΔΨόφϯεػೳ l ΦʔϓϯͳදϑΥʔϚοτ*DFCFSH Ͱɺσʔλෳ੡ͳ͠Ͱଞͱڞ༗ l *#.
   %BUB
   (BUFʹΑΓ ϝΠϯϑϨʔϜσʔλΛ*DFCFSHද ΁ෳ੡ l ίετޮ཰ͷߴ͍ ΦϒδΣΫτɾετϨʔδΛ࠾༻ l 4BB4൛ͱ48൛͕͋ΓϑϨΩγϒϧ ͳσϓϩΠ͕Մೳ Amazon S3 Google Cloud Storage 1SFTUP
   Τϯδϯ +BWB
   $
   2VFSZ
   0QUJNJ[FS 4QBSL
   Τϯδϯ .JMWVT
   Τϯδϯ ϦΞϧλΠϜরձ#*"*.- ETL/AI/ML ੜ੒"*
   3"(༻ ϕΫτϧ%# Φʔϓϯͳ දϑΥʔϚοτ *DFCFSH ΦϒδΣΫτɾετϨʔδ ϝλετΞ ʢࢀߟʣXBUTPOYEBUB͸ΦʔϓϯͳσʔλϨΠΫϋ΢ειϦϡʔγϣϯ 
8. ʢࢀߟʣ XBUTPOYEBUB
   .JMWVTͱXBTUPOYBJ
   ج൫ϞσϧͰͷ3"(࣮૷ Ϣʔβʔ ࣭໰จ ྨࣅݕࡧ ϓϩϯϓτ ج൫Ϟσϧ XBUTPOYBJ ੜ੒͞Εͨճ౴ ্Ґͷݕࡧ݁Ռ ࣭໰จΛݩʹݕࡧ ࢦࣔจ ࣭໰จ ݕࡧ݁Ռ XBUTPOYEBUB .JMWVT ϕΫτϧ%# اۀಠࣗͷ৘ใ ਖ਼֬ͳ࠷৽৘ใ ͓٬༷ݸผσʔλ 1%'
   KTPO UFYU
   ͳͲ ΛࣄલʹϕΫτϧ%# ʹೖΕ͓ͯ͘ ϕΫτϧԽ FNCFEEJOH XBUTPOYEBUBͱ XBUTPOYBJΛ૊߹ͤͯ 3"(࣮૷ʂ ϕΫτϧԽ FNCFEEJOH XBUTPOYEBUBͷ.JMWVT • ੜ੒"*ͷճ౴ਫ਼౓޲্ • ࣗࣾ಺ͷσʔλΛ׆༻👍 
9. %FNP XBUTPOYEBUB্ͷ ϕΫτϧɾσʔλϕʔε .JMWVT ΛݟͯΈΑ͏👀 
10. %FNP  XBUTPOYEBUB
    ͷ.JMWVTΛݟͯΈΑ͏ • 4BB4Ͱ؆୯ʹ࡞Ε·͢ʂ • 044ͷ(6*πʔϧ
    "UUV • 
    ϕΫτϧɾσʔλΛݟͯΈΑ͏ • ϕΫτϧɾσʔλͱ͸ʁ • ྨࣅ౓ͱ͸ʁ • 
    .JMWVTʹσʔλΛೖΕྨࣅݕࡧΛݟͯΈΑ͏ • ίϨΫγϣϯͷ࡞੒ɺσʔλͷૠೖ • 044ͷ(6*πʔϧ
    "UUV • ྨࣅݕࡧ 
11. %FNP  XBUTPOYEBUB
    ͷ.JMWVTΛݟͯΈΑ͏ • 4BB4Ͱ؆୯ʹ࡞Ε·͢ʂ • 044ͷ(6*πʔϧ
    "UUV • 2JJUB
    .JMWVTͷάϥϑΟΧϧͳ؅ཧπʔϧ "UUVΛ.BDʹಋೖͯ͠Έͨ ࣮ࡍͷXBUTPOYEBUBͷ8FCը໘ͱ"UUVͰ্هΛ֬ೝͯ͠Έ·͢👀 
12. %FNP • 
    ϕΫτϧɾσʔλΛݟͯΈΑ͏ • จষͷϕΫτϧԽ • ྨࣅ౓Λग़ͯ͠ΈΔ • 
    XBUTPOYEBUB
    .JMWVTʹσʔλΛೖΕྨࣅݕࡧΛݟͯΈΑ͏ • ίϨΫγϣϯͷ࡞੒ • ίϨΫγϣϯΛ"UUVͰ֬ೝ • σʔλͷૠೖ • σʔλ͕ͲͷΑ͏ʹ͸͍͔ͬͨ"UUVͰ֬ೝ • ྨࣅݕࡧ QZUIPO
    
    "UUV
    Ͱ΍ͬͯΈ·͢
    👀 ঘɺσϞͰ͸ʮݟͯΈΔʯ͜ͱ͕໨తͷͨΊɺϓϩάϥϛϯάͷํ๏ͷઆ໌͸͠·ͤΜ ࢖༻͍ͯ͠ΔOPUFCPPL͸IUUQTHJUIVCDPNLZPLPOJTIJUPOPUFCPPLTCMPCNBJOEPKPNJMWVTEFNPJQZOC ʹ͋Γ·͢ 
13. ·ͱΊ 
14. XBUTPOYEBUB
    .JMWVTͱXBTUPOYBJ
    ج൫ϞσϧͰͷ3"(࣮૷ Ϣʔβʔ ࣭໰จ ྨࣅݕࡧ ϓϩϯϓτ ج൫Ϟσϧ XBUTPOYBJ ੜ੒͞Εͨճ౴ ্Ґͷݕࡧ݁Ռ ࣭໰จΛݩʹݕࡧ ࢦࣔจ ࣭໰จ ݕࡧ݁Ռ XBUTPOYEBUB .JMWVT ϕΫτϧ%# اۀಠࣗͷ৘ใ ਖ਼֬ͳ࠷৽৘ใ ͓٬༷ݸผσʔλ 1%'
    KTPO UFYU
    ͳͲ ΛࣄલʹϕΫτϧ%# ʹೖΕ͓ͯ͘ ϕΫτϧԽ FNCFEEJOH ϕΫτϧԽ FNCFEEJOH ˡຊ೔͓ݟͤͨ͠ͷ͸͜ͷ෦෼Ͱ͢ 
15. Ϣʔβʔ ࣭໰จ ྨࣅݕࡧ ϓϩϯϓτ ج൫Ϟσϧ XBUTPOYBJ ੜ੒͞Εͨճ౴ ্Ґͷݕࡧ݁Ռ ࣭໰จΛݩʹݕࡧ ࢦࣔจ ࣭໰จ ݕࡧ݁Ռ XBUTPOYEBUB .JMWVT ϕΫτϧ%# اۀಠࣗͷ৘ใ ਖ਼֬ͳ࠷৽৘ใ ͓٬༷ݸผσʔλ 1%'
    KTPO UFYU
    ͳͲ ΛࣄલʹϕΫτϧ%# ʹೖΕ͓ͯ͘ ϕΫτϧԽ FNCFEEJOH XBUTPOYEBUBͷ.JMWVT • ੜ੒"*ͷճ౴ਫ਼౓޲্ • ࣗࣾ಺ͷσʔλΛ׆༻👍 ϕΫτϧԽ FNCFEEJOH XBUTPOYEBUBͱ XBUTPOYBJΛ૊߹ͤͯ 3"(࣮૷ʂ XBUTPOYEBUB
    .JMWVTͱXBTUPOYBJ
    ج൫ϞσϧͰͷ3"(࣮૷ 
16. ೥݄೔ ਫ ʹϗςϧխঀԂ౦ژͰ։࠵͞Εͨ ʮ*#.
    5FDI9DIBOHF
    +BQBO
    ʯͰ࣮ࢪͨ͠ XBUTPOYϋϯζΦϯ ʮ͞ΘͬͯΈΑ͏ ϕΫτϧɾσʔλϕʔε XBUTPOYEBUBͰ3"(ମݧʯ ͷ಺༰͕2JJUBʹ͋Γ·͢ 2JJUBͰ͸1BSU
    1BSU
    1BSU
    1BSUͷ࢛෦ߏ੒Ͱ͢ 1BSU
    &YDFMΛϕΫτϧԽͯ͠ϕΫτϧ%#
    .JMWVTʹೖΕΑ͏ 1BSU
    ϕΫτϧ%#
    .JMWVTʹೖͬͨσʔλͰྨࣅݕࡧͯ͠ΈΑ͏ 1BSS
    ϕΫτϧ%#
    .JMWVTͱXBUTPOYBJ
    --.Ͱ3"(Λߏ੒ͯ͠ɺ࣭໰Λͯ͠ΈΑ͏ 1BSU
    ϕΫτϧ%#
    .JMWVTͱXBUTPOYBJ
    --.Ͱ3"(Λߏ੒ͯ͠ɺνϟοτΞϓϦΛ࡞ ੒ͯ͠ΈΑ͏ ͥͻ͓ࢼ͍ͩ͘͠͞ʂ XBUTPOYEBUB
    .JMWVTͱXBTUPOYBJ
    ج൫ϞσϧͰͷ3"(࣮૷