100万レコード超えそう（その２）

Transcript

1. 100万レコード超えそう その２
2. 自己紹介 名前：ミヤワキ 個人開発＆受託開発 組込からスマホアプリまでやります 好きな言語はKotlin 山を走るのが趣味
3. とある家計簿アプリのお話です
4. 基本スタンドアローンで動きますが、 家計簿の同期はサーバ経由です
5. 現在、登録ユーザ1700人→4000人程度で 24万→87万レコードのテーブルがあります 収入・支出履歴テーブルのレコード数の推移
6. このまま順調にいくと 100万レコードを超えるかも！
7. 100万レコードを超えると パフォーマンスの劣化が顕著になるらしい 実際、1回の同期に5,6秒かかる ケースもでてきた
8. でも安易にサーバ増強するとか 富豪的アプローチはとりたくない t3.microで頑張りたい！ ※ t3.micro: vCPU2個 メモリ1GB
9. 4個の施策 ・手動で同期してもらう ・古いデータをS3に逃がす ・Bulk Insertを使う ・パーティショニング
10. S3 EC2 RDS 年1の移動 ユーザ登録・ログイン 古いデータをS3に逃がす 2年分だけ保存
11. 1万レコードの挿入(MariaDB) Bulk単位 処理時間(msec) Bulkなし 2,440 1000 410 10000 259 1万レコードの挿入(SQLite) Bulk単位 処理時間(msec) Bulkなし 44,189 10 2,839 100 1,537 200 1,867 500 2,967 t3.micro Huawei P20lite Android9 Bulk Insertを使う
12. ここまでやって、現在は1回の同期が 平均90ms未満、最大3秒
13. 100万レコード超えて パフォーマンスが劣化したらやってみます 乞うご期待！ パーティショニング