Data Versioning with Dolt at Microservice Applications

Transcript

1. Data Versioning with at Microservice Applications Ahmet Pirimoğlu Software Team Lead |
2. Ahmet Pirimoğlu • 2006 yılından beri yazılım geliştirici • 15+ yıldır farklı sektörlerde • Finans Çözümleri • Yükseköğretim Çözümleri • Genellikle yazılım altyapı ekiplerinde • yaklaşık 2 yıldır • Şu an "Open Banking" projesinin yazılım altyapı tarafında "Yazılım Takım Lideri"
3. Ajanda Open Banking Platform Projemizin kısa aktarımı Dolt ile Tanışma Hikayemiz Dolt Nedir? Dolt’un özellikleri Dolt API Pipeline ve Migration Open Banking Projesinde Dolt’u nasıl kullandık Data Migration Kavramı Soru & Cevap
4. Open Banking Platform • Microservice Application • CQRS & DDD • DB & Cloud & Platform Agnostic • Code First Migration (Multi-DB Provider)
5. Open Banking Platform Database server per service (each service has its own database server)
6. Open Banking Platform • 30+ Microservice • 30+ X Tenant Count Databases • 4 Database Provider • PostgreSQL • Oracle • MS SQL Server • MySQL
7. Dolt ile Tanışma Her yeni projedeki gibi seed data'ları sisteme nasıl atacağımızla ilgili toplantıda bir tartışma başladı. - Developer lar seed data ları yönetsin! - Olmaz analistler de verileri girecek, arayüzden girebilmemiz lazım - O zaman nasıl yöneteceğiz? - ...
8. Dolt ile Tanışma Sonra bir arkadaşımızın kafasında bir ışık yandı, • bu verileri kod gibi saklayabileceğimiz bir sistem var mı acaba? • Git gibi olsun • Git data desek google da arasak ...
9. Dolt is “Git for data” Aranan kan bulundu
10. Dolt Nedir? • Git'in veri için olan hali • Fork, clone, branch, merge, push, pull vs. git'te karşılaştığımız tüm kavramlar • Dolt > git, dolthub > github, doltlab > gitlab • MySQL uyumlu ama içerisinde herhangi bir MySQL kodu barındırmayan bir veritabanı
11. Dolt Nedir? • Dolthub başlarda veri toplama yarışmaları için kullanılıyor • Git’te olduğu gibi hangi tarihte nasıl bir içerik vardı, kim nasıl bir değişiklik yaptı bunların tamamı hızlı bir şekilde kontrol edilebilir • Sistemsel parametrelerin versiyonlanması ve canlıya geçişi için kullanılabilir
12. Dolt Çalışma Yapısı • Veriler işlenerek tablo formatına getirilir • Dolt ile yeni bir commit oluşturulur • Remote repo’muza (doltlab) push’lanır • Main branch'e geçmesi için PR oluşturulur
13. Dolt Çalışma Yapısı
14. Open Banking Projesinde Dolt Seed (tohum) ve parametre verileri olarak adlandırdığımız ve uygulamanın ilk kurulduğu/konfigüre edildiğinde sistemin çalışması için gerekli olan tanımların; • kolay şekilde, • kullanıcı arayüzünden girilmesi, • versiyonlanması, • dağıtılması, • developer ve analistlerin istedikleri gibi branchler açıp gerek lokal, gerekse de ortak alanda çalışabilmeleri • ve bu veri setlerinin kolaylıkla paylaşımı/dağıtılmasını sağlamak amacıyla kullanılmaktadır.
17. DOLT CLI
18. Doltlab Veri Giriş Yöntemleri
19. SQL Query
20. Spreadsheet
21. File Upload
24. Dolt API • Dolt içerisinde yer alan database tablo ve kolon yapılarına SQL sorgusu atmak için bir API yapısı bulunmaktadır
25. Dolt API •dolt_diff •dolt_diff_$TABLENAME •dolt_commit_diff_$TABLENAME
26. Pipeline Yapımız
27. Migration Yapısı
28. Data Migration SELECT * FROM `dolt_commit_diff_{0}` WHERE from_commit = '{1}' and to_commit = HASHOF('HEAD')
29. Yeni Hedef: Dolt Mode
30. Kendin Sor Kendin Cevapla
31. “ Dolt open source mu?
32. “ Dolt’u cloud ortamda kullanabiliyor muyum?
33. “ Dolt'a alternatif var mı?
34. “ Dolt'a alternatif var mı? https://lakefs.io/blog/dvc-vs-git-vs-dolt-vs-lakefs
35. “ Dolt üzerinden schema’yı da yönetebiliyor muyum?
36. “ Dolt sadece MySQL üzerinde mi çalışıyor?
37. “ Dolt sadece MySQL üzerinde mi çalışıyor?
38. Teşekkürler pirimoglu@gmail.com https://www.pirimoglu.com https://twitter.com/ahmetpirimoglu https://www.linkedin.com/in/ahmetpirimoglu https://medium.com/dgpays-tech DnA Ekibimizin oluşturduğu Wiki Dokümanları