辞書攻撃における国や地域のパスワード特性分析

2022年7月にDICOMO2022で発表した論文の発表スライドです。

1. 辞書攻撃における 国や地域のパスワード特性分析 Analysis of Country and Regional User Password Characteristics in Dictionary Attacks 2022/07/13 〇倉﨑 翔大、金岡 晃 (東邦大)
2. 1 目次 1. 概要 – 背景 – 目的とアプローチ – 結果と考察 2. 関連研究 3. 分析手法 – 利用データ – 推測耐性評価 4. 結果・考察 – 自TLD推測と他TLD推測の推測成功率の差 – 推測攻撃時に有効な辞書TLD – 推測攻撃に耐性のあるTLD – 辞書掲載単語の変更ルールの適正 5. まとめ
3. 背景 2 パスワードの強度指標には 推測攻撃への耐性が適していることが示唆されている （Tanら@CCS2020）。 一方、ユーザが設定するパスワードの特徴が、 国ごとに違うことがいくつかの研究で知られている （森ら@IEICE Trans. On Inf. & Sys.2020）。 より正確な推測攻撃耐性の計測には 国ごとに辞書の用意が必要となる。 しかし、辞書の違いによる推測攻撃の成功率の差異が そもそも細かく論じられていない。
4. 目的と視点 国Aのパスワード群への推測攻撃に用いる辞書を 国A用のものにしたときの特徴と 他国用のものにしたときの推測成功率の差異がどのようになるか 3 パスワード推測攻撃の成功率の差異を国別に調べ その特徴を明らかにする どの国のデータセットが汎用性の高い辞書として使えるか どの国のデータセットが他国用の辞書による推測への耐性が強いか 1 視点 2 3
5. 結果・考察 辞書や推測対象に用いるデータセットの違いにより パスワード推測攻撃の成功率に大きな差があることが判明した。 4 さらにその詳細をみていくと以下の二つの可能性が示された。 – 言語や地域の違いがかかわってくる – 言語自体の特徴に加えて、 パスワード設定時の変更傾向も言語や地域ごとに違う パスワード強度評価の結果が パスワードの強度を 正しく示せていない可能性が明らかになった。
6. 5 目次 1. 概要 – 背景 – 目的とアプローチ – 結果と考察 2. 関連研究 3. 分析手法 – 利用データ – 推測耐性評価 4. 結果・考察 – 自TLD推測と他TLD推測の推測成功率の差 – 他TLD推測時に有効な辞書TLD – 他TLD推測に耐性のあるTLD – 辞書掲載単語の変更ルールの適正 5. まとめ
7. 関連研究 6 Weirらの研究 Weir, Matt, et al. ”Testing metrics for password creation policies by attacking large sets of revealed passwords.” Proceedings of the 17th ACM conference on Computer and communications security. 2010. • RockYouの漏洩データを分析しパスワードの大規模な分析 • 推測攻撃の機械学習を提案 Tanらの研究 Tan, Joshua, et al. ”Practical recommendations for stronger, more usable passwords combining minimumstrength, minimum-length, and blocklist requirements.” ACM CCS 2020, 2020. • パスワード設定時のポリシー設定や強度フィードバックなどを 組み合わせた網羅的なパスワードの強度評価を行い、 その中で機械学習をベースにした推測攻撃への耐性を フィードバックとして提供することを推奨
8. 関連研究 7 Liらの研究 Z. Li, W. Han, and W. Xu, “A large-scale empirical analysis of chinese web passwords.” Proc. 23rd USENIX Security Symposium, pp.559–574, 2014. • 中国のユーザがつけるパスワードの特性が 米国ユーザと同様な性質を示すかの大規模分析 – 大きな差があることを示している 森らの研究 Mori, Keika, et al. ”Comparative analysis of three language spheres: are linguistic and cultural differences reflected in password selection habits?.” IEICE Trans. on Inf. & Sys., 2020 • Liらの分析範囲をさらに拡大し、日本や台湾、インドの違いを明らかに
9. 8 目次 1. 概要 – 背景 – 目的とアプローチ – 結果と考察 2. 関連研究 3. 分析手法 – 利用データ – 推測耐性評価 4. 結果・考察 – 自TLD推測と他TLD推測の推測成功率の差 – 他TLD推測時に有効な辞書TLD – 他TLD推測に耐性のあるTLD – 辞書掲載単語の変更ルールの適正 5. まとめ
10. 利用データ 9 • 平文パスワードだけでなく、 IDとなるメールアドレスとペアになったデータセット • 1,400,553,869ペア 2017年に発見されたパスワード漏洩データセット 国別という明確なラベルがない 分割後、データ数が10万以上であった64のTLDのデータセットを利用した 各TLDのデータごとの頻出パスワード上位10000位をそのTLDに特化した辞書とした 国の影響を色濃く受けると想定されるラベルとして メールアドレスのTLDを採用し、データセットを分割した
11. 略語 10 1 自TLD辞書 推測攻撃の対象となるTLDの推測に特化した辞書 2 他TLD辞書 推測攻撃の対象となるTLD以外のあるTLDの推測に特化した辞書 3 自TLD推測 自TLD辞書による推測 4 他TLD推測 他TLD辞書による推測 例:推測対象のデータセットがjpのデータセットのとき – jpのデータセットから作成した辞書を自TLD辞書と呼ぶ – comのデータセットから作成した辞書は他TLD辞書と呼ぶ
12. 評価方法 推測耐性評価 hashcat 11 辞書に掲載している単語をルールに基づいて 変更や切り取り、拡張などをすることで 網羅的かつ効率的な推測攻撃を行う攻撃モード 例:password→Password, password1 Rule-based attackモードで攻撃 ルールには”best64.rules”を採用 Rule-based attackモード hashcatに標準で付属している77個のルールのセット best64.rules 利用ツール
13. 推測耐性評価 12 64個のTLDそれぞれに特化した辞書を用いて 64個のTLDデータセットに対する推測の成功率を 計64×64=4096パターンで計測 自TLD推測となる際は、10分割交差検証で計測 評価方法
14. 13 目次 1. 概要 – 背景 – 目的とアプローチ – 結果と考察 2. 関連研究 3. 分析手法 – 利用データ – 推測耐性評価 4. 結果・考察 – 自TLD推測と他TLD推測の推測成功率の差 – 他TLD推測時に有効な辞書TLD – 他TLD推測に耐性のあるTLD – 辞書掲載単語の変更ルールの適正 5. まとめ
15. 14 自TLD推測と他TLD推測の成功率(視点 ) 1 自TLD推測の成功率 ＞ 他TLD推測の成功率 平均推測成功率 21.9% 平均推測成功率 11.3%
16. 15 推測対象のTLDデータセット (縦軸) と 辞書として用いたTLDデータセット (横軸) ごとの推測成功率のヒートマップ (赤:高％, 白:中％, 青:低％) 対角線の成分が赤くなっていることは、自TLD 推測が高い推測成功率を示すことを示している。 また、辞書として他TLD推測にも推測成功率が 高い辞書と低い辞書があることや、さまざまな 推測にも推測成功率が低いTLDがあることが 視覚的にわかる。 自TLD推測と他TLD推測の成功率(視点 ) 1
17. 16 自TLD推測の成功率が低いTLDが上位から タイ・フィンランド・ベルギー・スイス・台湾・ EU・トルコ・マレーシア・韓国・日本 となっており、 欧州でも北寄りの国家とアジアの国家のccTLDが多い 利用辞書によって推測成功率が大きく変わる より正確に推測攻撃耐性を評価するには、 各データセットごとに学習をしたほうがいい可能性 自TLD推測と他TLD推測の成功率(視点 ) 1 考察
18. 推測攻撃時に有効な辞書TLD(評価 ) 17 2 本研究では 推測攻撃において推測成功率が高かった辞書のTLDが、 辞書TLDとして汎用性の高いTLDであると判断した。 自TLD推測と他TLD推測の合わせて4096の組み合わせに対して 以下のものを求めた。 • 辞書TLDごとの平均推測成功率 • 各辞書TLDの 推測成功率上位100位に入る頻度と下位100位に入る頻度
19. 汎用性の高い辞書TLD TLD(国・地域名) 平均推測 成功率 com 15.22% de (ドイツ) 15.08% cz (チェコ) 14.83% ca (カナダ) 14.66% net 14.61% TLD(国・地域名) 出現数 ca (カナダ)・com・net・org 9 edu・uk (イギリス) 6 au (オーストラリア) us (アメリカ) 5 cz (チェコ) 4 de (ドイツ)・gov 3 org, uk, fr, au, za, ru, edu, us, es, pl 推測成功率上位100位以内に 3回以上入ったもの (出現数順) 平均推測成功率 上位15位 汎用性が高いTLDには、gTLDと英語圏のccTLDが多くみられた。 結果 18 6位以降: 汎用性 高い
20. 汎用性の低い辞書TLD TLD(国・地域名) 平均推測 成功率 kr (韓国) 7.72% tr (トルコ) 7.85% cn (中国) 7.88% th (タイ) 7.90% vn (ベトナム) 8.33% TLD(国・地域名) 出現数 cn (中国) 15 kr (韓国) 12 tr (トルコ) 10 th (タイ) 9 vn (ベトナム) 7 fi, hr, ee, my, il, lt, tw, by, ua, gr 推測成功率下位100位以内に 3回以上入ったもの (出現数順) 平均推測成功率 下位15位 汎用性が低いTLDとしては、 アジア諸国や欧州の国のccTLDが多くみられた。 結果 19 tw, lt・my, by・hr・il・ua 6位以降: 汎用性 低い
21. 推測攻撃時に有効な辞書TLD(視点 ) 20 2 辞書として汎用性が高いTLDにgTLDと英語圏のccTLDが多くみられるのは、 英語圏のTLD数が多いことが原因と考えられる。 汎用性が低いTLDにアジア諸国や欧州の国のccTLDが多くみられるのは、 非英語圏かつ他地域のユーザによるそのccTLDの利用が少ないことが 原因と考えられる。 考察
22. 21 本研究では 推測攻撃において推測成功率が低く済んだ推測対象のTLDが 推測耐性の強いTLDであると判断した。 自TLD推測と他TLD推測の合わせて4096の組み合わせに対して 以下のものを求めた。 • 推測対象TLDごとの平均推測成功率 • 各推測対象TLDの 推測成功率上位100位に入る頻度と下位100位に入る頻度 推測攻撃への耐性の強いTLD(視点 ) 3
23. 推測耐性の強いTLDデータセット TLD(国・地域名) 平均推測 成功率 fi (フィンランド) 5.41% hu (ハンガリー) 7.28% be (ベルギー) 7.45% nl (オランダ) 7.58% eu 7.72% TLD(国・地域名) 出現数 fi (フィンランド) 32 be (ベルギー) 14 nl (オランダ) 12 hu (ハンガリー) 7 eu 6 6位以降: 推測成功率下位100位以内に 3回以上入ったもの (出現数順) 平均推測成功率 下位15位 22 ch, se, cc・lv・pl 推測耐性の強いTLDには、欧州の国のTLDが多くみられた。 結果 耐性 強い jp, cc, lv, my, th, tw, pl, se, ch, fr
24. 推測耐性の弱いTLDデータセット TLD(国・地域名) 平均推測 成功率 vn (ベトナム) 21.23% bg (ブルガリア) 17.19% om (オマーン) 15.59% us (アメリカ) 15.51% cn (中国) 15.20% TLD(国・地域名) 出現数 au (オーストラリア) 13 us (アメリカ)・vn (ベトナム) 12 ca (カナダ) 9 nz (ニュージーランド) 7 gov・net・uk (イギリス) 6 ca, au, il, cm, uk, nz, co, ie, net, ph 推測成功率上位100位以内に 3回以上入ったもの (出現数順) 平均推測成功率 上位15位 23 om, ie 推測耐性の弱いTLDには、英語圏のTLDが多くみられた。 結果 6位以降: 耐性 弱い
25. 推測攻撃への耐性の強いTLD(視点 ) 24 3 推測耐性が強いTLDに欧州の国のccTLDが多くみられるのは、 非英語圏かつ他地域のユーザによるそのccTLDの利用が少ないことが 原因と考えられる。 推測耐性が弱いTLDに英語圏のccTLDが多くみられるのは、 英語圏のTLD数が多いことが原因と考えられる。 考察
26. 辞書掲載単語の変更ルールの影響 25 「最初に ”the” をつける」というルールがあるが、日本のユーザが つけやすいパスワードの上位にある “sakura” を例に挙げて考えると、 ”thesakura” とすることは考えにくい。 このことと汎用性が高い辞書や推測耐性の弱い推測対象として英語圏の TLDが多く見られたことから、best64.rulesにあるルールのうちいくつかは、 英語圏ユーザのつけたパスワードに特に効果的であることなどが考えられる。 言語ごとに適した変更ルールセットを作成し、利用したほうがいい 可能性が考えられる。 考察 ルール 変更例 反転させる drowssap 最初に ”the” をつける thepassword “o”を”0”に置き換える passw0rd best64.rulesに含まれるルールの抜粋 (変更前:password)
27. まとめ 26 パスワード強度評価の結果が、 パスワードの強度を 正しく示せていない可能性が明らかになった。 パスワード推測攻撃の成功率の差異を国別に調べ、その特徴を明らかにする。 目的 国別データの代わりにTLD別データを用い、 64のTLDに関して推測耐性評価を行った。 アプローチ 推測攻撃の成功率には、TLDごとに差異があり 地域差やユーザ層、辞書掲載単語の変更ルールなども かかわっている可能性が示された。 結果
28. 参考:評価対象となったTLD ar at au be bg br by ca cc ch cl cm cn co com cz de dk edu ee es eu fi fm fr gov gr hk hr hu id Ie il in it jp kr lt lv mil mx my net nl no nz om org ph pl pt ro ru se sg sk th tr tw ua uk us vn za 27
29. 参考:評価対象外となったTLD (1) ac ad ae af ag ai al am an ao aq as aw ax az ba bb bd bf bh bi bj bl bm bn bo bq bs bt bv bw bz cd cf cg ci ck cr cu cv cw cx cy dj dm do dz ec eg eh er et fj fk fo ga gb gd ge gf gg gh gi gl gm gn gp gq gs gt gu gw gy hm hn ht im int io iq ir is je jm jo ke kg kh ki km kn kp kw ky kz la 28
30. 参考:評価対象外となったTLD (2) lb lc li lk lr ls lu ly ma mc md me mf mg mh mk ml mm mn mo mp mq mr ms mt mu mv mw mz na nc ne nf ng ni np nr nu pa pe pf pg pk pm pn pr ps pw py qa re rs rw sa sb sc sd sh si sj sl sm sn so sr ss st sv sx sy sz tc td tf tg tj tk tl tm tn to tp tt tv tz ug um uy uz va vc ve vg vi vu wf ws ye yt zm zw 29