形態素解析で勉強会のトレンドワードを調べてみた

Transcript

1. 形態素解析でconnpassの トレンドワードを調べてみた Hiroki Abe 2019.06.08
2. 自己紹介  阿部 弘樹  山形県出身、長野を経て山梨２年目  組込みソフトエンジニア(過去) -> 生産技術エンジニア 2
3. 形態素解析とは  自然言語処理の一つ。検索エンジンでも使われる。  形態素解析（けいたいそかいせき、Morphological Analysis）とは、文法的な情 報の注記の無い自然言語のテキストデータ（文）から、対象言語の文法や、辞 書と呼ばれる単語の品詞等の情報にもとづき、形態素（Morpheme, おおまか にいえば、 言語で意味を持つ最小単位）の列に分割し、それぞれの形態素の 品詞等を判別する作業である。 (By Wikipedia)  私は勉強会に参加します ↓  私 / は / 勉強会 / に / 参加 / し / ます 3
4. Pythonで使える 日本語の形態素解析ツール  Janome  Sudachi (ワークスアプリケーションズ)  Mecab bi-gram マルコフモデル (京都大学・NTT)  nagisa RNN  JUMAN++ RNN (京都大学)  英語の形態素解析には、英語の形態素解析ツールが必要 4
5. nagisa  https://github.com/taishi-i/nagisa  形態素解析に再帰型ニューラルネットワーク(RNN (Bidirectional-LSTM))を用い ており精度が高い  pip で簡単に導入できる  顔文字やURLに強い  インストール $ python -m pip install nagisa 5
6. nagisaを使ってみる import nagisa text = 'Flutterはモバイルアプリケーションフレームワークである。' words = nagisa.tagging(text) print(words) print(words.words) $ python3 nagisa_test.py Flutter/名詞 は/助詞 モバイル/名詞 アプリケーション/名詞 フレームワーク/名詞 で/助動詞 ある/動詞 。/補助記号 ['Flutter', 'は', 'モバイル', 'アプリケーション', 'フレームワーク', 'で', 'ある', '。'] 6
7. nagisaを使ってみる 品詞によるフィルタリング import nagisa text = 'Flutterはモバイルアプリケーションフレームワークである。' words = nagisa.extract(text, extract_postags=['名詞']) print(words.words) $ python3 nagisa_test2.py ['Flutter', 'モバイル', 'アプリケーション', 'フレームワーク'] 7
8. connpass(IT勉強会プラットフォーム)で トレンドワードを調べる  方針 1. connpass API https://connpass.com/about/api/ をつかって、イベントのタイトルを取得する 2. タイトルを形態素解析して、単語(名詞)を取り出す 3. 単語の出現頻度を集計する 4. 見える化する 8
9. connpass APIで取得できる情報 { "event_url": "https://yamanashi-it.connpass.com/event/133038/", "event_type": "participation", "owner_nickname": "ku_taka", "series": {"url": "https://yamanashi-it.connpass.com/", "id": 7759, "title": "山梨IT同好会(仮)"}, "updated_at": "2019-05-30T21:26:38+09:00", "lat": "35.657263100000", "started_at": "2019-06-08T13:30:00+09:00", "hash_tag": "flutter", "title": "Flutter 入門勉強会", "event_id": 133038, "lon": "138.565054500000", ～～～ 9
10. タイトルから名詞を抽出した結果 ['プログラミング', '最良', '方法', '実際', 'こと', 'フィード', 'バック', '大会'] ['4', '0', '回', 'Python', 'くもく', '会'] ['1', '0', '朝活', 'Friday', '五反田'] ['IEEEVR', '2', '0', '1', '9', 'CHI', '2', '0', '1', '9', '報告', '会', 'with', 'リリス', 'リリー', 'ホワイト'] ['3'] ['レベル', '目的', '3', '本', 'DeepLearning', '勉強', '会', '2'] ['DESIGN', '参加', '募', '集中'] ['3', '回', 'meDNA', '6', '月', '2', '1', '日', 'ワークショップ'] ['EC', 'CUBE', '千葉', 'UG', '業務', '無駄', '1', '%', '利益', '率', 'EC', '運営', '業務', '効率'] ['ももち浜', 'TECH', 'カフェ', 'in'] ['大阪', '3', '8', '回', '西中島', 'Group', 'くもく', '会'] ['2', '5', '回', '学生', 'エンジニア', 'LT', '大会', 'in', '名古屋'] ['学生', 'エンジニア', '限定', '難関', 'IT', '企業', '攻略', 'エンジニア', 'セミナー'] 10
11. 単語の出現頻度を集計する  形態素解析して抽出した名詞をリストに追加する  collections.Counter()を使って出現回数をカウントする Counter()は標準ライブラリcollectionsに含まれる。 {‘会’: 39, ‘1’: 33, ‘2’: 22, ‘勉強’: 18, ‘0’: 17, ‘9’: 15, ‘3’: 12, ‘6’: 11, ‘回’: 9, ‘AI’: 7, ‘4’: 6, ‘7’: 6, ‘5’: 6, ‘IoT’: 5, ‘in’: 5, ‘エンジニア’: 5, ‘月’: 5, ‘初心’: 4, ‘報告’: 4, ‘LT’: 4, ‘体験’: 4, ‘学習’: 4, ‘枠’: 4, ‘プロ グラミング’: 4, ‘アップ’: 4, ‘wifi’: 4, ‘完備’: 4, ‘コーヒー’: 4, ‘放題’: 4, ‘基礎’: 3, ‘IT’: 3, ‘AWS’: 3, …  月ごとのCSVファイルに出現回数を出力する 11
12. Plotlyで結果を可視化する  Plotly - インタラクティブなグラフを作ることができるライブラリ $ pip install plotly 12
13. Plotlyで結果を可視化する 13  月ごとの集計 (Top20) create_chart.py
14. Plotlyで結果を可視化する  キーワードごとの月別推移 14 create_trend_chart.py
15. まとめ  nagisa を使って簡単に形態素解析ができた  Plotlyと組み合わせてconnpassのトレンドワードを可視化した  入門、セミナー、勉強といった一般名詞ではなく固有名詞だけ抽出できれば 確度が高くなりそう  ソースコード https://github.com/hroabe/connpass_trend_chart 15