Upgrade to Pro — share decks privately, control downloads, hide ads and more …

01_Code for Japan Summit2021 この世の無限地獄はオープンデータ活用...

高木祐介
September 19, 2021

01_Code for Japan Summit2021 この世の無限地獄はオープンデータ活用への道のりにあり

Code for Japan Summit2021にて、『この世の無限地獄はオープンデータ活用への道のりにあり』と題して、データ活用までの困難さをプレゼンさせて頂きました。

Day2 Track3 BADオープンデータ供養寺
https://youtu.be/Fttg4YnA4g8?t=723

延長戦として2021年10月06日に『01_新月の夜はデータ供養会〜第一夜〜』では延長戦として、もっと詳しく1時間かけてデータの供養の困難さを説明しています。よろしければそちらもご覧ください。

新月の夜はデータ供養会 第一夜
https://youtu.be/sRgSoJPVJDY

SpeakerDeck URL
https://speakerdeck.com/yuutakasan/01-xin-yue-falseye-hadetagong-yang-hui-di-ye

高木祐介

September 19, 2021
Tweet

More Decks by 高木祐介

Other Decks in Technology

Transcript

  1. • APIデータ • 1件づつリクエスト メタ情報 データ 愚痴 その2 出来れば メタ情報とデータは分けてほしい。

    愚痴 その3 可能なら、資料を見ないでいいよう に、項目名を追加して欲しい
  2. 氏名、法人名、事業所名変換 • 姓、名分割名前形式を、名前1項目に統合 • 田中 太郎 → 田中太郎 • 一部の省略ケース

    • 株)自動処理 → 株式会社自動処理 自動変換可能パターン例 • 正しい漢字が分からない。 • 高木祐介という名前について、髙木祐介が正しかったとしても自動変換は出 来ない。 • 姓名分割の分割場所がわからない。 • 田中太郎 →田中 太郎 (田中 苗字ランキング 4位) • 田中太郎 →田 中太郎 (田 苗字ランキング 8,074位) • 複数パターンある省略 • 医) →医療法人、医療法人社団、医療法人財団のどれか • 山大 →山口大学か山形大学のどちらか 自動変換困難パターン例
  3. 電話番号変換 •形式変換 •03-3543-021 •033543021 •(03)3543-021 •033543021 •国際番号変換 •+81-3-3543-021 •+81(3)3543-021 自動変換可能パターン例

    •市外局番が欠落 • 35430211 (Excelなどで先頭の0の文字が欠けがちです) •不正な文字が混入 •084-926-0139 日曜日・祝日は担当者携帯電話 •複数電話番号が混入 •0974-75-2124、もしくは、0974-42-2270 自動変換困難パターン例
  4. 住所変換 • 住所形式違い • 東京都豊島区東池袋3丁目1番1号サンシャイン60・43階・20号 • 東京都豊島区東池袋3丁目1番1号サンシャイン60 4320号 • 東京都豊島区東池袋3-1-1

    サンシャイン60 4320号 • 東京都豊島区東池袋サンシャイン60(43階)20号 • 東京都豊島区東池袋サンシャイン60 F43 20号 • 異体字変換 • 宮城県塩釜市字杉ノ入裏39-176 • 宮城県塩竃市字杉ノ入裏39-176 • 宮城県塩竈市杉ノ入裏39-176 • 緯度系譜度付与 • 住所から郵便番号(90%前後)付与 • 住所から緯度経度(70%前後)付与 • 名称変更・市区町村合併の対応 自動変換可能パターン例
  5. 住所変換 •一丁目の一がハイフンになっている •東京都中央区築地一丁目1番1号 •複数の書き方がある文字列 •兵庫県加古川市上荘町井ノロ390ー2 •兵庫県加古川市上荘町井野ロ390ー2 •兵庫県加古川市上荘町井乃ロ390ー2 •法人登記に存在する平成以前の旧住所 •東京市小石川区久堅町91番地(東京市小石川区は現在の東京都文京区) •別の文字が利用されている

    •兵庫県加古川市上荘町井ノロ390ー2(ロの文字がカタカナ) •北海道北見市留辺蕊町旭公園95-4(蕊の文字が書き間違いで本来は蘂) •茨城県つくば市白井2090-20 (白の文字が書き間違いで本来は臼) •文字が欠けている •南区御幸笛田7丁目13-21(熊本県熊本市が欠けている) •静岡県浜松市浜北区貴布1200(貴布祢の祢が欠けている) •不正な文字が入力されている •〒305-0005 茨城県00000つくば市天久保2-1-1 (郵便番号や意味のない数字が含まれている) 自動変換困難パターン例
  6. 対応困難ケース 対応が困難なケース-誤った情報が含まれている 日本赤十字社の代表として公開されてい る 代表者名 8パターン 近藤忠煇 ← 誤字 近藤忠輝

    ← 誤字 近衛忠 ← 誤字・文字欠け 近衛忠煇 ← 誤字 近衛忠輝 ← 誤字 近衞忠 ← 文字欠け 近衞忠煇 ← 正解 近衞忠輝 ← 誤字
  7. 対応困難ケース 対応が困難なケース-その他 データの意味を表す表側 が 空白のレコードが存在 する。 同上や〃などを利用して 別セルを指示する繰り返し文字がある 土地区画整理事業内など住所が未確定な場合がある 項目に対応しない文字列が格納されている。

    その他 メタデータ ・データの主幹の記載がない為、どこに問い合わせしていいかわか らない。 ライセンス ・ライセンスの記述がない為、どこまで自由に使っていいのかわか らない。 あり・なしで回答されている ・ホームページURLを記入する個所に『あり』と記載されている