Upgrade to Pro — share decks privately, control downloads, hide ads and more …

みんなのPython勉強会#38登壇資料 tf-idfを使ったグロースハック

 みんなのPython勉強会#38登壇資料 tf-idfを使ったグロースハック

Avatar for sugaya takehiro

sugaya takehiro

September 12, 2018
Tweet

Other Decks in Technology

Transcript

  1.          

                                                  ಥવͰ͕͢ɺࢲ͸͋Δ਺ࣈΛͱͯ΋άϩʔεͤ͞·ͨ͠ ໨ඪ
  2.          

                                                  1 0 2       ࢲͷମॏͰ͢ దਖ਼ମॏ
  3. UGJEGͱ͸ʁ • tf-idfͱ͸ʁ • Term Frequency Inverse Document Frequencyͷུ •

    จষͷத͔Βಛ௃ޠΛநग़͜ͱ͕Ͱ͖Δ • tf-idfΛ࢖͏ཧ༝ • ʢݹయతͳख๏͚ͩͲʣ • ܭࢉ͠΍͍͢ • આ໌͠΍͍͢ • ͺͬͱग़ͤΔ
  4. UGJEGͷܭࢉ จষ಺༰ จষ1 ࢲ Python ຊ จষ2 ࢲ ຊ จষ3

    ࢲ Python ຊ Python ίʔυ TF ࢲ 1/5 = 0.2 Python 2/5 = 0.4 ຊ 1/5 = 0.2 ίʔυ 1/5 = 0.2
  5. UGJEGͷܭࢉ จষ಺༰ จষ1 ࢲ Python ຊ จষ2 ࢲ ຊ จষ3

    ࢲ Python ຊ Python ίʔυ TF ࢲ 1/5 = 0.2 Python 2/5 = 0.4 ຊ 1/5 = 0.2 ίʔυ 1/5 = 0.2 ର৅จষ಺ͷର৅୯ޠͷग़ݱճ਺
 ɹɹ/ ର৅จষͷશͯͷ୯ޠͷग़ݱճ਺ →ͦͷ୯ޠ͕ͦͷจষʹͲΕ͚ͩଟ͘ग़ݱ͍ͯ͠Δ͔
  6. UGJEGͷܭࢉ จষ಺༰ จষ1 ࢲ Python ຊ จষ2 ࢲ ຊ จষ3

    ࢲ Python ຊ Python ίʔυ TF IDF ࢲ 1/5 = 0.2 log2(3/3) + 1 = 1 Python 2/5 = 0.4 log2(3/2) + 1 = 1.58 ຊ 1/5 = 0.2 log2(3/3) + 1= 1 ίʔυ 1/5 = 0.2 log2(3/1) + 1= 2.58
  7. UGJEGͷܭࢉ จষ಺༰ จষ1 ࢲ Python ຊ จষ2 ࢲ ຊ จষ3

    ࢲ Python ຊ Python ίʔυ TF IDF ࢲ 1/5 = 0.2 log2(3/3) + 1 = 1 Python 2/5 = 0.4 log2(3/2) + 1 = 1.58 ຊ 1/5 = 0.2 log2(3/3) + 1= 1 ίʔυ 1/5 = 0.2 log2(3/1) + 1= 2.58 log(૯จষ਺ / ର৅୯ޠ͕ग़ݱ͢Δจষ਺ʣ+ 1 →ͦͷ୯ޠ͕શମͷจষʹରͯ͠ͲΕ͚ͩϨΞ͔
  8. UGJEGͷܭࢉ จষ಺༰ จষ1 ࢲ Python ຊ จষ2 ࢲ ຊ จষ3

    ࢲ Python ຊ Python ίʔυ TF IDF TF-IDF ࢲ 1/5 = 0.2 log2(3/3) + 1 = 1 0.20 Python 2/5 = 0.4 log2(3/2) + 1 = 1.58 0.63 ຊ 1/5 = 0.2 log2(3/3) + 1= 1 0.20 ίʔυ 1/5 = 0.2 log2(3/1) + 1= 2.58 0.52
  9. UGJEGͷܭࢉ จষ಺༰ จষ1 ࢲ Python ຊ จষ2 ࢲ ຊ จষ3

    ࢲ Python ຊ Python ίʔυ TF IDF TF-IDF ࢲ 1/5 = 0.2 log2(3/3) + 1 = 1 0.20 Python 2/5 = 0.4 log2(3/2) + 1 = 1.58 0.63 ຊ 1/5 = 0.2 log2(3/3) + 1= 1 0.20 ίʔυ 1/5 = 0.2 log2(3/1) + 1= 2.58 0.52 TF * IDF
  10. UGJEGͷܭࢉ จষ಺༰ จষ1 ࢲ Python ຊ จষ2 ࢲ ຊ จষ3

    ࢲ Python ຊ Python ίʔυ TF IDF TF-IDF ࢲ 1/5 = 0.2 log2(3/3) + 1 = 1 0.20 Python 2/5 = 0.4 log2(3/2) + 1 = 1.58 0.63 ຊ 1/5 = 0.2 log2(3/3) + 1= 1 0.20 ίʔυ 1/5 = 0.2 log2(3/1) + 1= 2.58 0.52
  11. UGJEGͷܭࢉ จষ಺༰ จষ1 ࢲ Python ຊ จষ2 ࢲ ຊ จষ3

    ࢲ Python ຊ Python ίʔυ TF IDF TF-IDF ࢲ 1/5 = 0.2 log2(3/3) + 1 = 1 0.20 Python 2/5 = 0.4 log2(3/2) + 1 = 1.58 0.63 ຊ 1/5 = 0.2 log2(3/3) + 1= 1 0.20 ίʔυ 1/5 = 0.2 log2(3/1) + 1= 2.58 0.52 ͜ͷจষͰ͸ Pythonͱ͍͏୯ޠ ͕ಛ௃తʂ
  12. UGJEGͷܭࢉ จষ಺༰ จষ1 ࢲ Python ຊ จষ2 ࢲ ຊ จষ3

    ࢲ Python ຊ Python ίʔυ TF IDF TF-IDF ࢲ 1/5 = 0.2 log2(3/3) + 1 = 1 0.20 Python 2/5 = 0.4 log2(3/2) + 1 = 1.58 0.63 ຊ 1/5 = 0.2 log2(3/3) + 1= 1 0.20 ίʔυ 1/5 = 0.2 log2(3/1) + 1= 2.58 0.52 ͜ͷจষͰ͸ Pythonͱ͍͏୯ޠ ͕ಛ௃తʂ
  13. ͔ͭͯ͜Μͳ͜ͱ͕͋Γ·ͨ͠ هࣄ಺༰ KPI هࣄ1 μΠΤοτʹ͸ӡಈ͕ॏཁ ྑ͍ هࣄ2 μΠΤοτ͸ద౓ͳӡಈͱӫཆɺ ಛʹ౶࣭ͷ੍ݶ͕ޮՌత ྑ͍

    هࣄ3 ౶࣭ΛμΠΤοτதʹ৯΂ͨ͘ͳͬͨΒʁ ѱ͍ هࣄ4 ӫཆΛؾʹͯ͠μΠΤοτɺ ӫཆ͸౶࣭΋όϥϯεΑ͘ઁऔ͠Α͏ ѱ͍
  14. ͔ͭͯ͜Μͳ͜ͱ͕͋Γ·ͨ͠ هࣄ಺༰ KPI هࣄ1 μΠΤοτʹ͸ӡಈ͕ॏཁ ྑ͍ هࣄ2 μΠΤοτ͸ద౓ͳӡಈͱӫཆɺ ಛʹ౶࣭ͷ੍ݶ͕ޮՌత ྑ͍

    هࣄ3 ౶࣭ΛμΠΤοτதʹ৯΂ͨ͘ͳͬͨΒʁ ѱ͍ هࣄ4 ӫཆΛؾʹͯ͠μΠΤοτɺ ӫཆ͸౶࣭΋όϥϯεΑ͘ઁऔ͠Α͏ ѱ͍
  15. ͔ͭͯ͜Μͳ͜ͱ͕͋Γ·ͨ͠ هࣄ಺༰ KPI هࣄ1 μΠΤοτʹ͸ӡಈ͕ॏཁ ྑ͍ هࣄ2 μΠΤοτ͸ద౓ͳӡಈͱӫཆɺ ಛʹ౶࣭ͷ੍ݶ͕ޮՌత ྑ͍

    هࣄ3 ౶࣭ΛμΠΤοτதʹ৯΂ͨ͘ͳͬͨΒʁ ѱ͍ هࣄ4 ӫཆΛؾʹͯ͠μΠΤοτɺ ӫཆ͸౶࣭΋όϥϯεΑ͘ઁऔ͠Α͏ ѱ͍ μΠΤοτهࣄ͕ ͍͍Μ͡Όͳ͍ʁ
  16. ͔ͭͯ͜Μͳ͜ͱ͕͋Γ·ͨ͠ هࣄ಺༰ KPI هࣄ1 μΠΤοτʹ͸ӡಈ͕ॏཁ ྑ͍ هࣄ2 μΠΤοτ͸ద౓ͳӡಈͱӫཆɺ ಛʹ౶࣭ͷ੍ݶ͕ޮՌత ྑ͍

    هࣄ3 ౶࣭ΛμΠΤοτதʹ৯΂ͨ͘ͳͬͨΒʁ ѱ͍ هࣄ4 ӫཆΛؾʹͯ͠μΠΤοτɺ ӫཆ͸౶࣭΋όϥϯεΑ͘ઁऔ͠Α͏ ѱ͍ ຊ౰͸ μΠΤοτهࣄ͸ ྑ͍΋ͷ΋ѱ͍΋ͷ ΋͋Δ
  17. UGJEGͩͯ͠ΈΔ هࣄ಺༰ KPI هࣄ1 μΠΤοτʹ͸ӡಈ͕ॏཁ ྑ͍ هࣄ2 μΠΤοτ͸ద౓ͳӡಈͱӫཆɺ ಛʹ౶࣭ͷ੍ݶ͕ޮՌత ྑ͍

    هࣄ3 ౶࣭ΛμΠΤοτதʹ৯΂ͨ͘ͳͬͨΒʁ ѱ͍ هࣄ4 ӫཆΛؾʹͯ͠μΠΤοτɺ ӫཆ͸౶࣭΋όϥϯεΑ͘ઁऔ͠Α͏ ѱ͍
  18. UGJEGͩͯ͠ΈΔ هࣄ಺༰ KPI هࣄ1 μΠΤοτ ӡಈ ྑ͍ هࣄ2 μΠΤοτ ӡಈ

    ӫཆ ౶࣭ ྑ͍ هࣄ3 ౶࣭ μΠΤοτ ѱ͍ هࣄ4 ӫཆ μΠΤοτ ӫཆ ౶࣭ ѱ͍
  19. UGJEGͩͯ͠ΈΔ هࣄ಺༰ KPI هࣄ1 μΠΤοτ ӡಈ ྑ͍ هࣄ2 μΠΤοτ ӡಈ

    ӫཆ ౶࣭ ྑ͍ هࣄ3 ౶࣭ μΠΤοτ ѱ͍ هࣄ4 ӫཆ μΠΤοτ ӫཆ ౶࣭ ѱ͍
  20. UGJEGͩͯ͠ΈΔ هࣄ಺༰ KPI هࣄ1 هࣄ2 μΠΤοτ ӡಈ μΠΤοτ ӡಈ ӫཆ

    ౶࣭ ྑ͍ هࣄ3 هࣄ4 ౶࣭ μΠΤοτ ӫཆ μΠΤοτ ӫཆ ౶࣭ ѱ͍
  21. UGJEGͩͯ͠ΈΔ tf-idf஋ μΠΤοτ ӡಈ ӫཆ ౶࣭ هࣄ1 هࣄ2 ※KPIྑ͍ 0.54

    0.75 0.27 0.27 هࣄ3 هࣄ4 ※KPIѱ͍ 0.56 0 0.58 0.58
  22. UGJEGͩͯ͠ΈΔ tf-idf஋ μΠΤοτ ӡಈ ӫཆ ౶࣭ هࣄ1 هࣄ2 ※KPIྑ͍ 0.54

    0.75 0.27 0.27 هࣄ3 هࣄ4 ※KPIѱ͍ 0.56 0 0.58 0.58 ӡಈͷهࣄ͕ Αͦ͞͏ʂ
  23. ·ͱΊ • tf-idf • PythonͰ؆୯ʹͩ͢͜ͱ͕Ͱ͖Δ • จষͷத͔Βಛ௃ޠΛநग़Ͱ͖Δ • ͬ͘͟Γͱ΢έΔ/΢έͳ͍Ωʔϫʔυͷ܏޲Λ͔ͭΊΔ •

    ςΩετͷཁ໿΍෼ྨͷ࠷ॳͷҰาʹ͓͢͢Ί • ࠓճ͸هࣄͷࣄྫ͕ͩɺϝϧϚΨɾϓογϡ௨஌ͳͲ
 Ͱ΋࢖͑Δ͸ͣ