Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
グラフ解析で社長の脳内さらす!
Search
Chanmoro
October 26, 2017
Technology
0
280
グラフ解析で社長の脳内さらす!
社長の発言をグラフ解析して何を考えているのかをさらします
Chanmoro
October 26, 2017
Tweet
Share
More Decks by Chanmoro
See All by Chanmoro
LAPRAS クローラーの変遷
chanmoro
3
2.1k
クローラーをテストしよう!
chanmoro
2
1.7k
Shiva 〜Nextremerをscale upする機械学習環境〜
chanmoro
0
160
対話AI on Kubernetes
chanmoro
0
73
Other Decks in Technology
See All in Technology
Adopting Jetpack Compose in Your Existing Project - GDG DevFest Bangkok 2024
akexorcist
0
120
これまでの計測・開発・デプロイ方法全部見せます! / Findy ISUCON 2024-11-14
tohutohu
3
370
強いチームと開発生産性
onk
PRO
35
12k
Engineer Career Talk
lycorp_recruit_jp
0
190
組織成長を加速させるオンボーディングの取り組み
sudoakiy
2
220
適材適所の技術選定 〜GraphQL・REST API・tRPC〜 / Optimal Technology Selection
kakehashi
1
710
安心してください、日本語使えますよ―Ubuntu日本語Remix提供休止に寄せて― 2024-11-17
nobutomurata
1
1k
マルチモーダル / AI Agent / LLMOps 3つの技術トレンドで理解するLLMの今後の展望
hirosatogamo
37
13k
Introduction to Works of ML Engineer in LY Corporation
lycorp_recruit_jp
0
140
FlutterアプリにおけるSLI/SLOを用いたユーザー体験の可視化と計測基盤構築
ostk0069
0
110
個人でもIAM Identity Centerを使おう!(アクセス管理編)
ryder472
4
240
なぜ今 AI Agent なのか _近藤憲児
kenjikondobai
4
1.4k
Featured
See All Featured
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
25
1.8k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
26
1.4k
Automating Front-end Workflow
addyosmani
1366
200k
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
44
6.8k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
356
29k
How to train your dragon (web standard)
notwaldorf
88
5.7k
Rails Girls Zürich Keynote
gr2m
94
13k
How to Think Like a Performance Engineer
csswizardry
20
1.1k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
26
2.1k
KATA
mclloyd
29
14k
jQuery: Nuts, Bolts and Bling
dougneiner
61
7.5k
Six Lessons from altMBA
skipperchong
27
3.5k
Transcript
©2017 Nextremer Co., Ltd. グラフ解析で社⻑の脳内さらす! 26th Oct. 2017 株式会社 Nextremer
両⾓和軌 皆 さ ん こ ん に ち は
©2017 Nextremer Co., Ltd. ⾃⼰紹介 両⾓ 和軌 (もろずみ かずき) 株式会社
Nextremer プログラマー / 採⽤・⼈事 ※対話システムの研究開発をしている企業です • やってること • エンジニアのスカウト・⾯接 • ⼈事制度の整備 • サーバーサイド開発 • ここ最近扱った技術 • Terraform, Ansible, Packer ← Infrastructure as Code! • Docker, kubernetes, Apache Mesos ← ポータビリティさいこう! • Python, Scala, javascript(ES6) ← 関数型うまく書けると気持ちいい! • Finagle, React.js ← マイクロサービスしたい!リアクティブしたい!
©2017 Nextremer Co., Ltd. Nextremer CEO 向井とは 「僕は全部オープンデータだから好きに使って!」と⾔ってくれます お⾔葉に⽢えて脳内を晒してやりました ヤバイBotになったり
イケてるCEOみたいになったりします
©2017 Nextremer Co., Ltd. グラフ解析で社⻑の脳内さらす! 弊社社⻑の向井が Slack, facebook に投稿したデータをグラフ解析 こ
う な っ て る ん だ
©2017 Nextremer Co., Ltd. どうやって脳内を晒すか? 1. 単語の共起関係からグラフを作る 2. PMI を計算しエッジ(辺)の重みにする
3. PageRankを計算しノード(点)の重みにする 4. ノードをクラスタリングする 5. 可視化する
©2017 Nextremer Co., Ltd. 1. 単語の共起関係からグラフを作る • 単語をノード、同じ⽂に出た単語間にエッジ • ストップワード、特定の品詞を除く
• 単語の出現回数、単語ペアの共起回数を記録しておく • 後のPMIの計算で使うので
©2017 Nextremer Co., Ltd. 2. PMI を計算しエッジ(辺)の重みにする • PMIを計算してエッジの重みにセット •
1でカウントした単語の出現回数、共起回数を利⽤
©2017 Nextremer Co., Ltd. 2. PMI を計算しエッジ(辺)の重みにする • PMIって?? •
Pointwise Mutual Information (⾃⼰相互情報量) • ある2つのデータがどれくらい⼀緒に出現しやすいかを表す尺度 • PMIが⼤きいほどその単語ペアは同じ⽂に出現しやすいということ • 計算式 , = log+ (, ) () = log+ 共起回数 / 総単語数 単語0の出現回数 / 単語1の出現回数
©2017 Nextremer Co., Ltd. 3. PageRankを計算しノード(点)の重みにする • PageRankを計算し、スコアをノードの重みにセット • エッジの重みを考慮したPageRankを計算
©2017 Nextremer Co., Ltd. 4. ノードをクラスタリングする • Infomapでノードをクラスタリング • エッジ媒介中⼼性,
貪欲アルゴリズム, スペクトラル, スピングラス, ラベル伝播法 …など多数のクラスタリングアルゴリズム • 構造に⼤きく左右されるので、どれがベストとは⼀概には⾔えない
©2017 Nextremer Co., Ltd. 5. 可視化する • Gephi を利⽤して可視化 •
全体を俯瞰して⾒れて、必要に応じて部分にフォーカスできる • javascriptベースのものは巨⼤なグラフ全体を⾒るのは使いにくい
©2017 Nextremer Co., Ltd. グラフ解析で社⻑の脳内さらす! それらの⼿順を経てこの図が作られています な る ほ ど
©2017 Nextremer Co., Ltd. Neo4jとの使い分け • データ設計の検討にR, Python や Gephi
などのツールを使う • 全体を俯瞰していろいろなパターンを試したい • システムに組み込むために neo4j を使う • Cypher のクエリは超強⼒ • ⼤量データの格納や分析 • Spark GraphX とかも使えるらしい
©2017 Nextremer Co., Ltd. 続きはWebで! • 詳しくは「もろずblog 社⻑の脳内晒す」で検索! • 今回話した内容についてのブログ記事です
©2017 Nextremer Co., Ltd. 最後に・・・! Nextremerでは⼀緒に対話システムを開発して頂けるエンジニアを 探しています! Facebookから両⾓へメッセージ or Wantedly
よりご連絡いただければ、 いつでもNextremerオフィスの雰囲気をご案内させていただきます 両⾓のFacebookアカウント Nextremer Wantedly ページ
©2017 Nextremer Co., Ltd. これで本当におしまい ありがとうございました! Nextremer東京オフィス 開発⽤GPUマシン 謎に包まれた対話ロボット AI-Samurai
待 っ て る よ
©2017 Nextremer Co., Ltd. 補⾜. GML (Graph Modeling Language) •
グラフ構造をテキストで表すデータ形式 • ノード、エッジのプロパティが記述できる点がGood
©2017 Nextremer Co., Ltd. 補⾜. Gephi • グラフ可視化・解析ができるデスクトップアプリケーション • Windows,
Mac, Linux に対応 • GMLファイルをロードできる
©2017 Nextremer Co., Ltd. 補⾜. igraph • R, Python, C
から利⽤できるグラフ解析のパッケージ • GMLファイルをロードできる • PageRank, infomap 等の多くのアルゴリズムをサポート