Java で統計とか機械学習とか自然言語処理とかをやりたい ときに役立つライブラリ達

BizReach 社にお邪魔して発表したときのスライドです。

Transcript

1. Java Ͱ౷ܭͱ͔ػցֶशͱ͔ ࣗવݴޠॲཧͱ͔Λ΍Γ͍ͨ ͱ͖ʹ໾ཱͭϥΠϒϥϦୡ 2014-10-24 at BizReach @komiya_atsushi / SmartNews, Inc.
2. τϐοΫ • ίϨΫγϣϯϥΠϒϥϦ • ܗଶૉղੳ • ਺ֶɾ౷ܭ • ػցֶश
3. ίϨΫγϣϯϥΠϒϥϦ
4. GNU Trove
5. GNU Trove net.sf.trove4j:trove4j:3.0.3 • ϓϦϛςΟϒܕΛޮ཰Α֨͘ೲɾΞΫηε͢ ΔͨΊͷίϨΫγϣϯΛఏڙ͢Δ • ϥΠηϯεɿLGPL
6. fastutil
7. fastutil it.unimi.dsi:fastutil:6.5.15 • GNU Trove ͱಉ͘͡ɺϓϦϛςΟϒܕΛޮ཰ Α֨͘ೲɾΞΫηε͢ΔͨΊͷίϨΫγϣϯ Λఏڙ͢Δ • ଟ༷ͳ Map ࣮૷Λఏڙͯ͘͠ΕΔ • AVL tree, RB tree, Open Hash, Linked Open Hash (?)
8. Koloboke
9. Koloboke • Trove / fastutil ͱಉ༷ • ࠷ۙͷϓϩμΫτʁ • ଎౓తʹ͸Ұ൪଎͍ͬΆ͍ʁ • ґଘϥΠϒϥϦΛ 2 ͭ௥Ճ͢Δඞཁ͕͋Δ • compile 'net.openhft:koloboke-api-jdk6-7:0.6.3' • runtime ‘net.openhft:koloboke-impl-jdk6-7:0.6.3' • ݱࡏ͸ Map ͷΈͷఏڙ
10. ܗଶૉղੳ
11. kuromoji
12. kuromoji org.atilika.kuromoji:kuromoji:0.7.7 • ೔ຊޠจʹରͯ͠Θ͔ͪॻ͖ˍ඼ࢺਪఆΛ͠ ͯ͘ΕΔ • ґଘϥΠϒϥϦʢͱΦϨΦϨϦϙδτϦʣΛ ௥Ճ͢Δ͚ͩͰ࢖ָ͑ͯͪΜ • Α͘ϦϙδτϦ͕མ͍ͪͯͯ͠ΐΜ΅Γ͢ Δ͜ͱ͕ଟ͍ͱ͔…
13. Stanford CoreNLP
14. Stanford CoreNLP edu.stanford.nlp:stanford-corenlp:3.4.1 • ϤʔϩούܥݴޠͷॲཧΛ͍ͨ͠ͱ͖͸͜Ε͕͓͢͢ Ί • ඼ࢺಉఆ΍ lemmatization ʢ׆༻ܗ → ݪܗʹ͢Δͳ ͲʣΛͯ͘͠ΕΔ • ϞσϧϑΝΠϧ΋ Maven Central Repo ʹ͋ΔͷͰɺ ηοτΞοϓָ͕ͪΜ • ͕͔ͩ͠͠਺ඦ MB…
15. ਺ֶɾ౷ܭ
16. commons-math3
17. commons-math3 org.apache.commons:commons-math3:3.2 • ਺ֶɾ౷ܭํ໘ͷػೳ͕๛෋ • Ծઆݕఆ΍Β֬཰෼෍͕ѻ͑ΔͷͰݸਓత ʹͱͯ΋ॏๅͯ͠·͢ • ػցֶशΞϧΰϦζϜͷࣗલ࣮૷Λ͢Δࡍͷ ͓ڙʹ
18. ػցֶश
19. liblinear-java
20. liblinear-java de.bwaldvogel:liblinear:1.94 • ΈΜͳ͍͖ͩ͢ LIBSVM ͷઢܗ෼ྨಛԽ൛ LIBLINEAR Λ Java ʹϙʔςΟϯάͨ͠΋ͷ • ΞϠϝσʔλͩͬͨΓχϡʔεهࣄΛΧςΰ Ϧ෼ྨͱ͔͔ͨͬͨ͠Βɺ·ͣ͸͜ΕΛ࢖ͬ ͯΈΑ͏
21. MLlib
22. MLlib org.apache.spark:spark-mllib_2.10:1.1.0 • Apache Spark ্Ͱಈ͘ػցֶशϥΠϒϥϦ • 1.1.0 ΑΓ Word2Vec ࣮૷͞Ε·ͨ͠ʂ
23. σϞ
24. ίϨΫγϣϯϥΠϒϥϦͷ ൺֱ
28. liblinear-java Ͱ ϩδεςΟοΫճؼ
30. MLlib ͷ Word2Vec Λ ৮ͬͯΈΔ