Upgrade to Pro — share decks privately, control downloads, hide ads and more …

ETL, Google Wave, TDD/BDD, Compass, Versioning

ETL, Google Wave, TDD/BDD, Compass, Versioning

Jérémy Lecour

June 05, 2009
Tweet

More Decks by Jérémy Lecour

Other Decks in Technology

Transcript

  1. Mon programme • 5 minutes sur l’ETL : Extract-Transform-Load •

    5 minutes sur Google Wave • 5 minutes sur le TDD/BDD : Test/Behavour Driven Development • démo : Sprockets et Compass : gestion d’assets web (JS/CSS/img) • présentation d’intro au Contrôle de version
  2. 5 minutes sur l‘ETL • C’est quoi ? À quoi

    ça sert ? • Exemple d’utilisation
  3. ETL : c’est quoi ? • extraction de données externes

    (pas toujours maîtrisées) • nettoyage des données • conformation des données • chargement dans un entrepôt de données
  4. ETL : Extract • récupération : fichiers texte, bases (non)

    relationnelles, aspiration, … • analyse (parsing) : structure réelle =? structure attendue
  5. ETL : Transform • choix des colonnes à conserver •

    transcodage de valeurs : codes pays issus des noms de pays • calculs basés sur les valeurs : total = quantité x prix unitaire • filtrages, tris, jointures (multiples sources de données), agrégation, … • génération de clés • fusion/fission de colonnes : nom + prenom = nom_complet
  6. ETL : Load • sortie du résultat sous forme de

    fichier • injection dans des bases de données relationnelles “classiques” • injection dans un entrepôt de données (Data Warehouse)
  7. ETL : pour quoi faire ? • homogénéisation de données

    hétérogènes, inconsistentes, … • cycles reproductibles à l’identique • recettes personnalisées par source/destination • contrôle du flux et du résultat • automatisation
  8. ETL : + • ETL : http://en.wikipedia.org/wiki/Extract,_transform,_load • Data Warehouse

    : http://en.wikipedia.org/wiki/Data_warehouse • Livré référence : http://www.amazon.com/Data-Warehouse-ETL- Toolkit-Techniques/dp/0764567578/
  9. Google Wave : un produit • un système de communication

    et collaboration via/sur le web • une “wave” est à la fois une conversation et un document • les échanges sont (quasi) en temps réel • une wave supporte du texte enrichi, images, vidéos, carto, …
  10. Google Wave : une plateforme • le code produit par

    Google est Open Source • le système est ouvert aux extensions tierces • des API sont disponibles
  11. Google Wave : un protocol • le système est fédératif

    • on peut monter son propres serveur “wave”, public ou privé • Google n’est qu’un serveur parmi d’autres • les données ne circulent entre serveurs que si c’est nécessaire