flowstatd

Transcript

1. flowstatd - 那五年 Kudo Chien
2. Kudo Chien CCUCSIE 2002-2008 BS+MS (GAIS Lab)! CNA ! 曾⼯工作於 Trend Micro、︑Waveface! 現任 biideal CTO
3. Kudo Chien 打雜! UN*X system programming! Windows programming! Network programming! Cloud/Web backend! Web frontend! Browser extension development! DevOps! Hacking! iOS! Android! Debug
4. 在 biideal 我們沒有辦不到的事 *誤*
5. flowstatd 是?
6. 這樣的系統需要什麼樣的機器來跑 Image source: https://www.flickr.com/photos/horiavarlan/4273913966
7. memory/disk 使⽤用量多⼤大 Image source: https://www.flickr.com/photos/horiavarlan/4273913966
8. The difference between genius and stupidity is that genius has its limits.
9. 因為有限制
 才得以出類拔萃
10. Netflow introduction From Cisco! Analyze traffic! SRC/DST IP! SRC/DST Port! TOC! IP Protocol
11. 宿網流量統計 v1 來⾃自交⼤大 open source 的版本! flow-tools + Perl script! 每⼩小時”重頭”算⼀一次統計! 是網管的災難，使⽤用者的福⾳音
12. 宿網流量統計 v2 由⽉月光⼩小俠 Eintisy 學長⽤用 PHP 重寫的版本! “累加”流量解決了第⼀一版的問題! 慢慢還是撐不住全校的流量! 兩⼩小時跑⼀一次，網路速度越來越快，兩⼩小時可 以衝很多 GB
13. 年少輕狂的 MySQL 時代 不管 3721，往 MySQL 丟就對了 *誤*! MySQL ⼤大神會幫你管理⼀一切事務! Malicious Detection
14. 年少輕狂的 MySQL 時代 以 CCU 全校流量來說，倒進 MySQL 平均每 ⼩小時佔⽤用 Disk 1xx MB
15. 吳昇⽼老師的教誨 Data Structure! 對資料本質的掌握與計算! Hash Hash Hash
16. 重視統計流量的本質 累加流量! IP address hash table - ⼀一個蘿蔔⼀一個坑
17. 那五年 2007~2012 2009 才開始在這個 project ⽤用 git *冏*
19. 統計全宿網⼀一天的流量只需要 3.1 MB
20. 全中正 Class B 的流量只需要
 25.7 MB
21. Flow daemon! All in memory! Real time
22. Hash function v1
23. Over Design Image source: https://www.flickr.com/photos/sixybeast/8690039773/
24. Hash function v2
25. Architecture v1 collector! process! 
 listen port 1025 query! process! 
 named pipe! socket shm Command! topN! over 5G
26. query! process! 
 named pipe! socket @WanCW
 <(_ _)>
27. Over Design Image source: https://www.flickr.com/photos/sixybeast/8690039773/
28. Architecture v2 Single process multiplexing! kqueue / select UDP! collector port TCP! command port 那⼀一年，我還不知道 libevent / libev
29. Object Oriented Programming Trained from Trend Micro ! 常⾒見的好習慣是把 shared code 拆成 functions
 OOP 則更進⼀一步把 shared behaviors 詮釋成 共同的 interfaces! 以上是本⼈人不負責任亂掰的說法 *誤*
30. –Butler Lampson “All problems in computer science can be solved by another level of indirection”
31. Object Oriented C Abstract + struct + function pointer! select()/kqueue multiplexer! Netflow v5/v9 handlers
34. Usage in caller is simple
35. Over design 之 container_of 直接 cast 就好啦 冏
36. Multiple subnets 全校⽤用⼀一個 hash table 相對 簡單! 宿網 30 個 subnets 反⽽而麻煩 subnet 1! hash table subnet 2! hash table subnet N! hash table Binary Search
37. Netflow version 9 template! multiple source + multiple source id Image source: http://www.lancope.com/blog/netflow-v5-vs-netflow-v9/
38. Netflow version 9 多個 source ip 下⾯面又可以有多個 source id! 又想⽤用 hash 又不想⽤用太多 memory! two hash tables! source table! template table
39. Hash from two factors source! table template! table template! table template! table source! table template table
40. Over Design Image source: https://www.flickr.com/photos/sixybeast/8690039773/
41. Netflow version 9 debugging 時好時壞的 bug 真難抓! tcpdump -> pcap! 對照組! pcap -> wireshark! pcap -> tcpreplay
42. Misc JSON input command! JSON output! cmake! logger! gzopen() / gz*()
43. flowstatd-frontend 圖像化才有感，偏偏我 UI 實作能⼒力很差
 ⼀一年半載又過去了! Open flash chart -> Google Chart API! PHP -> Rails (純練習）
44. Release 每每回頭來看，⼀一點都不滿意，但是，好像是 該讓他出⾨門的時候了! global variable! clean code! Many TODO
45. fork me please https://github.com/Kudo/flowstatd! https://github.com/Kudo/flowstatd-frontend
46. 因為有限制
 才得以出類拔萃 不只是設計系統，run startup 也是
47. Image source: https://www.flickr.com/photos/vernhart/1574355240/