私が知っておきたかった統計手法 / Statistical methods I wanted to know

Kanazawa.rb meetup #93 で発表した資料です。

Transcript

1. 私が知っておきたかった 統計手法 Kanazawa.rb meetup #93 Takayuki Takagi
2. Who am I? • Takayuki Takagi (高木貴之 / ニボシーニョ) • @TAKAyuki_atkwsk / takayukiatkwsk • Freelance programmer • Working from home • Scala, Ruby, Python, AWS, Docker, etc. • Like beer and gyoza
3. 今日の話 私が知っておきたかった統計手法を紹介します。 皆さんにとっては当たり前のことが多いかもしれません。 間違っていたら後で教えてください。
4. なぜ知っておきたかったのか • 数字やグラフを見ても意味が分からない ◦ Webサービスの監視 ◦ 調査レポート ◦ Covid-19 • 判断材料があるのにないことになってしまう ◦ それは困るので読めるようになりたい
5. 分位数(quantile) • 定義 ◦ 「ある種の正の整数 m に対し、分布を m 等分する m-1 個の値、つまり、 i=1,...,m-1 に対する i/m 分位数を、m 分位数（ただし m は漢数字）とい う。」 ◦ https://ja.wikipedia.org/wiki/%E5%88%86%E4%BD%8D%E6%95%B0 • 中央値(第2四分位数、50パーセンタイル)、90パーセンタイ ル、95パーセンタイルはよく見る • ex.) レスポンスタイム
6. 分位数: 降水量の例 金沢市の1月〜3月の降水量(ミリ/日) mean: 6.05 min: 0.00 median: 3.50 75 percentile: 8.75 90 percentile: 15.00 95 percentile: 18.25 max: 39.00 東京の1月〜3月の降水量(ミリ/日) mean: 2.49 min: 0.00 median: 0.00 75 percentile: 0.50 90 percentile: 6.00 95 percentile: 14.25 max: 55.50
7. 移動平均(moving average) • 定義(単純移動平均) ◦ 「直近の n 個のデータの重み付けのない単純な平均である」 ◦ https://ja.wikipedia.org/wiki/%E7%A7%BB%E5%8B%95%E5%B9%B3% E5%9D%87 • データを平滑化する効果がある • 時系列データでよく使われる • ex.) Webサーバーへのリクエスト数、株価
8. 移動平均: 最高気温の例 金沢市の最高気温(2020-04-04〜2020-05-04)
9. 片対数グラフ(semi-log graph) • 定義 ◦ 「グラフの一方の軸が対数スケール（縦を対数スケールとすることが多い） になっているグラフである。極端に範囲の広いデータを扱える。」 ◦ https://ja.wikipedia.org/wiki/%E7%89%87%E5%AF%BE%E6%95%B0%E 3%82%B0%E3%83%A9%E3%83%95 • ex.) Covid-19の感染者数グラフ ◦ https://datausa.io/coronavirus
10. 片対数グラフ: Covid-19の例 東京都と石川県のCovid-19累計感染者数(2020-01-24〜2020-05-09)
11. まとめ • 挙げたものについては、データの傾向が読み取れるように なった • 傾向が分かれば(将来的な)変化や異常値に気付ける ◦ 要因はこれだけでは分からないことを念頭に置く • Survive していきましょう
12. 参考資料 • 気象データ(CSV形式でダウンロード可) ◦ https://www.data.jma.go.jp/gmd/risk/obsdl/index.php • Covid-19感染者数データ ◦ https://raw.githubusercontent.com/tokyo-metropolitan-gov/covid19/ master/data/data.json ◦ https://raw.githubusercontent.com/prefishikawa/covid19/master/dat a/patients_summary.json