CSVこわい - 複雑なフォーマットのCSVを取り込むアプリを作りました

2022/04/17 フィヨルドブートキャンプ卒業生LT会(vol.1) の発表資料です。
資料の中で登場するサンプルアプリはこちら↓
https://github.com/chihaso/csv_import_sample

Transcript

1. CSVこわい chihaso 2022/04/17 フィヨルドブートキャンプ卒業生LT会(vol.1) 複雑なフォーマットのCSVを取り込むアプリを作りました
2. 自己紹介 - chihaso（ちはそ） - フィヨルドブートキャンプ 26期生 - 実務歴 約２年
3. 業務の中で、CSVデータを 取り込む機能を実装することに
4. Ruby、標準でCSVクラスあるし、 サクッといけるっしょ！ と、思っていたが・・・
5. 実際は、とても大変だった・・・
 (なぜ大変だったかは後述)

6. CSVこわい・・・

7. きっとまた同じような機能を 作ることあるだろうな・・・
8. 次やるときはもっと スムーズに作りたい！
9. ポイントを整理するために サンプルアプリを作ってみた
10. あらかじめ登録された市区町村の、 年ごとの人口を記録・表示するアプリ （データはCSV形式で入力する）
11. デモ
12. CSVと聞いて思い浮かべたフォーマット
13. 実際指定されたフォーマット（こわい）
14. なぜこわいか？ 列が可変長 一列に複数レコード 一行だけでは情報 が完結しない
15. さらに、不正なフィールドはまとめて表示したい 4行目, 5000年の列: 人口 を入力してください 8行目, 5002年の列: 人口 は数字で入力してください 11行目, 5001年の列: 人口 は数字で入力してください みたいなエラーメッセージを 出したい
16. デモ （バリデーション）
17. コードはこちら https://github.com/chihaso/csv_import_sample
18. ER図 更新するのはこのテーブル
19. CSV取り込みの実装イメージ CSV PopulationsController Population::CsvImporter - バリデーション - DBの人口データを更新 - bulk_upsertを実行 Population::CsvImporter::Parser - 個々のフィールドの検証 - bulk_upsert用のデータを生成 [ { municipality_id: 1, year: 5000, value: 1000000 },... ] ActiveModelのモジュールをinclude
20. ざっくりとしたポイント - CSVを取り込むための専用モデルを作る - CSVの中身を解析するロジックはさらに別のクラスに切り 出す
21. 改めてアプリを作ったことで 自分の中ではかなり整理できた
22. CSVこわくない ・・・かもしれない
23. まとめ - CSVを取り込む機能を実装するのは結構大変 - でも改めて作ってみて自分としては整理できた - もっといい方法知ってる方いたら教えてください󰢛
24. ご静聴 ありがとうございました！ 🙌