本当にあったコードの話 ～バッドオープンデータ供養寺

Code for Japan Summit2020にて、『本当にあったコードの話』と題して、オープンデータを利用していると散見される、データの表記ゆれ（今回はhttpプロトコルの表記ゆれ）と、IDを利用していて困る話について発表してきました。

[動画] Code for Japan Summit 2020 「BADオープンデータ供養寺 〜本当にあったデータの怖い話〜」
https://youtu.be/PaTPh8rh-xE?t=4252

Transcript

1. 本当にあったコードの話 株式会社自動処理 代表取締役 ミーカンパニーCDO 高木祐介
2. このLTで扱うデータやデータ構造について、 問題を指摘する事はありますが、 特定の団体、個人を非難するつもりはなく、ネタとして扱う事で、 より良いデータの在り方を一緒に考えていきましょうという 気持ちで作っています。 既存のデータには今までの検討経緯等の理由から、 課題は認識していても、改善できない事もありますので、 非難するのではなく、応援する気持ちで見ていただければ幸いです。 はじめに
3. 自己紹介 高木祐介 デジタル改革アイデアボックス開発元の 株式会社自動処理 代表取締役 病院薬局介護施設など医療系のオープンデータを 取引先マスタデータに仕立て直して販売する 狂気の会社ミーカンパニー CDO
4. 今年もやってまいりました供養寺。 毎回参加で今回で3回目の参加になりました。 去年参加された方見てないよ という方もいらっしゃるかもしれません。 そういう方に去年の参加の様子を少しだけ紹介し ます。
5. 去年の参加の様子
6. 復活しました！
7. 気を取り直して本題に
8. 皆さん、供養してますか！？
9. 私はオープンデータを供養する事を 仕事にしています＝地獄
10. どういう事が大変かというと 例えばホームページのURLデータを集めます。
11. とりあえず社内にあった 108万件のURLデータを対象としてみます。 ※このデータは国ないしは自治体に届けられた 正式なデータになります。
12. URLってなんじゃ？ 典型的なパターン https://summit2020.code4japan.org/program/?id =4
13. https://summit2020.code4japan.org/program/?id=4 最初のhttpがプロトコル ホームページはほとんど httpもしくはhttps
14. https://summit2020.code4japan.org/program/?id=4 次の :// は固定
15. https://summit2020.code4japan.org/program/?id=4 次の ここはドメイン ドメインの中には『.』が何回出てくるかはわからない。
16. https://summit2020.code4japan.org/program/?id=4 その後ろは利用できる文字は 決まっているが基本自由
17. ルールが決まっているという事は、正規表現で抽出で きるな。 という事は、インターネットで探してきて こんな感じで抽出可能かな？ http(s)?://([¥w-]+¥.)+[¥w-]+(/[¥w- ./?%&=~]*)? なんか行けてそうな気がする。
18. さて抽出してみよう。
19. 素晴らしい。ちゃんと出来てる気がする。
20. うまくいったけど、漏れてるケースもあるかもしれない から一旦、さっきの正規表現で抽出できなきなかった データを調べてみよう
21. おかしい、めちゃくちゃ出てくる あれ？なんでだろう？めちゃくちゃ出てくる（死 ※このデータは国ないしは自治体に届けられた 正式なデータになります。
22. ここからがオープンデータ本当の付き合い ※ダメなデータは捨てるという選択肢もあります。
23. プロトコルのこの中から救えるデータを探す ・全角のデータ ｈｔｔｐ：／／ ・・・ 全角 → 半角化 ・プロトコルの文字が多い hhttp:// ・・・ hが多い → hを1つに変換する htttp:// ・・・ tが多い → tを2つに変換する httpp:// ・・・ pが多い → pを1つに変換する http::// ・・・ :が多い → :を1つに変換する http:/// ・・・ /が多い → /を1つに変換する 実例） hhttp://www.city.asahikawa.hokkaido.jp/hospital/index
24. プロトコルのこの中から救えるデータを探す ・プロトコルの文字が少ない ttp:// ・・・ hがない → hを1つに変換する htp:// ・・・ tが1文字少ない → tを2つに変換する htt:// ・・・ pがない → pを1つ追加する http// ・・・ :がない → :を1つ追加する http:/ ・・・ /が１つすくない → /を2つに変換する http: ・・・ /がない → /を2つに変換する 実例） http//www.mikami-dc.012372.com
25. プロトコルのこの中から救えるデータを探す ・誤字が混入している http;// ・・・ :が;になっている。・・・:に変換する 実例） http;//www.meron-net.jp/higashimachi ・プロトコルが2回書かれている ・・・ http:に変換 実例）http://htttp://www.cslk.jp ・:と/の順番が逆 ・・・ http//:に変換 実例）https//:www.kayahospital.com
26. プロトコルの対応だけでもこれだけ大変 いろいろ全部対応すると、 どうしようもないデータが残ります
27. ・ドメインが指定されてない http://care-netbiz/36/awashishakyo/ ・.の代わりに,が入っている http://careguid,co,jp ・解釈の仕様がないＵＲＬ http:/wwwjp/ja/kouseiren http://excare./jyurakudai/ http:ﾘﾊ倶楽部,com http://hp: このデータは国ないしは自治体に届けr。。。
28. こういったデータは 申請様式で入力時バリデーションをかければ 十分に対応できる。 申請時点でだめデータを 生み出さない仕組みが必要。
29. 前振りが終わったので、コードの話。 オープンデータを複数扱う場合、 複数のデータをつなげるにはコードが必要 例えばデータには
30. 取り込むデータ 実例 Excel（CSV）
31. 取り込むデータ 実例 HTML
32. 取り込むデータ 実例 PDF
33. 取り込むデータ 実例 紙・画像
34. オープンデータを集めてくると ・必要な情報が散逸 ・データを作っている主体が違うので、 形式がバラバラ という問題に直面します。 ここで登場するのがコード
35. １つの法人番号は１つの法人に１つだけ 付与される。つまり、法人番号を基準と して、情報を集約すれば、別のデータセ ットを統合できる。 法人番号で出来る事
36. 平成30年度 競争入札一覧表(委託費の類) 例えばGoogle検索を行うだけで、コード フォージャパンの調達情報が見つかった。 ググるだけで関連情報が見つかる
37. 同じように法人番号が入ったデータを探 すなら、こんな感じでデータを探せば割 と簡単に法人番号が含まれるオープンデ ータを探すことが出来る。 オープンデータ万歳 ググるだけでデータセットが見つかる
38. コードを信じてデータ統合すればありと あらゆるオープンデータを組み合わせ て、1つのデータベースにすることが出 来る。市場調査や統計解析に生かすこ とが出来る。 ※コードを利用しないと、名寄せ作業が発生す るが、この話は長くなりすぎるので、また別の機 会に・・
39. ただし、 継続的かつ適切にコードが 公開されていて、 正しい場合に限る。 ここからが本当にあった コードの怖い話。。。
40. 介護事業所番号は、ウェイト ２・１分割方式で検査するこ とになっている。 １つ目の怖い話、介護事業所番号の場合 チェックデジットとは手入力ミス をなくすために、入力したデータ が正しいか確認する為につける番 号で、人力での誤入力防止用途に 使われる。 例 123 という3桁コードの最後にチェッ クデジットを付けるとして、3桁 を足して10で割った余りをチェッ クデジットとすれば 1236 となる。 １、２、３どこかで誤入力すれば、 ６の計算が合わなくなる為、入力 ミスを検知できる。
41. 青森県の場合、ウェイト ２・１分割方式で検査し てOK
42. 発番ルールが公開ルールと違う 岩手県の場合、ウェイト ２・１分割方式で検査して NG
43. 発番ルールが公開ルールと違う PDFスキャンして、元のコードが分 からなかったので、チェックデジッ トから逆算しようとしたが、上記の 仕様アンマッチ 岩手県の場合、基本NG。 県単位でチェックデジット の付け方が違うようだ。
44. 外部に仕様を公開する場合には、 組織内で徹底し、確認出来る仕組みを入れましょう。 コードが仕様に従っているか、確認を出来るようにしま しょう。
45. ちなみにチェックデジットと言えば モジュラス10 ウェイト2・1分割方式の誤り率
46. マイナンバー方式の誤り率
47. 法人番号方式の誤り率
48. Damm方式の誤り率 コード（分類体系）導 入実践ガイドブック を参照しながらコード 2000件処理して 1桁、2桁誤り発生ゼロ！
49. 2つ目の怖い話、介護事業所の場合 この介護事業所は法人番号 を公開している
50. コードが非公開になる 2019年は公表してたのに、 2020年は非公表に 変わっている。
51. コードが非公開になる 同一サイトなのに そもそも法人番号項目がない ケースがある
52. 一度、公開したデータは利用されるため、 データの非公開はなるべくせず、 するとしても十分な周知期間をもって、 周知しましょう。 また事前に仕様を出来れば利用者と合意を取れると なおよいです。
53. 3つ目の怖い話、表示されているデータについて 法人番号を元に法人番号ポータルを検索
54. 公開されているコードが誤っている
55. 公開されているコードが誤っている 施設A ・・・ コードAAAA 施設B ・・・ コードBBBB 記入ミスにより、施設単位に振られているコード が誤っている。翌月の公開上より修正された。 そもそもデータがない事だけじゃなく、 存在するデータに対して誤ったデータがあること にも気を付ける必要がある。 施設A ・・・ コードBBBB 施設B ・・・ コードAAAA 逆転しているコ ード付与された データが見つか る。
56. 前回データと今回データについては、 データの変化を追えるような仕組みがあれば、 確認可能です。 情報を出す際には、出来れば前回データとの比較が 出来るようにしましょう。
57. 4つ目の怖い話、都市群番号 医療機関番号には、都道府 県番号、都市群番号が含ま れる
58. 医療機関の厚生労働省がな んの番号がどう変わったか 持含め、定期的に公開して いる。
59. 情報公開フロー 医療機関が届出 県毎の事務所が 受付 地方厚生局が公開 届出をきっかけに、 （多分）ここで番号を発行 している
60. コードが非公開で変わる 市区町村合併した場合、 医療機関番号は都市群番号が変わるため、 医療機関番号が変わりますが、 届け出はされていない為（？）、 どう変わったのか公開情報公開はされません。 しれっと、翌月から変わっています。
61. 問題の根本は有意採番。 コードの意味整合性を保つために 無意味なコード変更をしないように。 コードを変更するなら届け出に関係なく、 情報公開をしましょう。 コードをつける場合には、 UUIDの様に無為採番をお勧めします。 コード（分類体系）導 入実践ガイドブック を参照しながらコード を設計しましょう
62. 4つ目の怖い話、辞退 医療機関Aが届出 県毎の事務所が 受付 地方厚生局が公開 番号１が付与される
63. コードが再利用される 医療機関Bが届出 県毎の事務所が 受付 地方厚生局が公開 医療機関Aが届出 県毎の事務所が 受付 番号１の利用を停止 番号１が空いたので 再利用して付与
64. 一度付与した番号は空き番にして、 再利用しない事が大事 例えば、無限に採番できるような UUIDのようなID形式を使うべき。 またそういうわけにいかない場合には、 郵便番号は1年は再利用しないというポリシーがある。 そういった再利用しない運用ルールを作って運用すべき
65. コードを信じてデータを処理したいが、 以下の状況が簡単にデータを扱う事を 阻害している。 ・発番ルールが公開ルールと違う ・途中から非公開になる ・コードが誤っている ・コードが非公開で変わる ・コードが再利用される
66. コードが誤っていると、コード単独では利用者側では、 確認が出来ない。 コードが公開してしまった後は、 データ利用側は非常に苦労をする為、 コード設計や公開前のチェックが非常に大事。 この内容がうまく伝わって、改善されればと思っています。
67. ご清聴ありがとう ございました。