$30 off During Our Annual Pro Sale. View Details »

Le crawl pour les développeurs - AFUP Reims mai...

Le crawl pour les développeurs - AFUP Reims mai 2018

Les SEOs ont l'habitude d'utiliser des crawlers au quotidien, mais ce type d'outil peut également être très utile pour les développeurs.
Découverte de l'outil Screaming Frog et de quelques uses-cases à mettre en place dans vos workflows.

Conférence flash lors du Meetup AFUP Reims de mai 2018

Julien Deneuville

May 30, 2018
Tweet

More Decks by Julien Deneuville

Other Decks in Marketing & SEO

Transcript

  1. Qui suis-je ? Julien Deneuville • 29 ans • Monte

    des sites depuis ~2004 • SEO Pro depuis 2011 • Twitter : @diije • Blog : databulle.com/blog • Vélo • Musique Quelques références ©2018 – Tous droits réservés Databulle – www.databulle.com 2
  2. Qu’est-ce qu’un crawler ? Un logiciel qui est capable de

    : • Télécharger une page web • En analyser le contenu • En extraire des éléments § Les liens vers d’autres pages § Le title, le H1, la description … • Stocker la liste des pages web à traiter • Stocker les résultats ©2018 – Tous droits réservés Databulle – www.databulle.com 3
  3. Bots & crawlers ©2018 – Tous droits réservés Databulle –

    www.databulle.com 4 52% du trafic mondial web mondial provient des bots. Source : Incapsula
  4. Screaming Frog Outil SEO de référence Simple et pratique Version

    gratuite (limitée à 500 URLs) Version payante: £149,00/an ©2018 – Tous droits réservés Databulle – www.databulle.com 5 https://www.screamingfrog.co.uk/seo-spider/
  5. Liens cassés Identifier les liens pointant vers des erreurs :

    pages introuvables, redirections, erreurs serveur, … ©2018 – Tous droits réservés Databulle – www.databulle.com 6
  6. Liens cassés ©2018 – Tous droits réservés Databulle – www.databulle.com

    7 Répartition par type de code réponse Filtre par type de code réponse Liste des liens pointant vers l’URL sélectionnée
  7. D’autres cas d’utilisation Vérifier l’accessibilité des contenus Détecter le contenu

    dupliqué S’assurer de la bonne réécriture des URLs Vérifier la présence d’un tag sur une liste de pages Comparer le HTML avant/après exécution du JavaScript … ©2018 – Tous droits réservés Databulle – www.databulle.com 8
  8. Allez plus loin Prenez de bonnes habitudes • Améliorez vos

    recettes • Validez vos mises en production • Faites chauffer vos caches Créez vos propres outils • Par exemple avec Scrapy (en Python, désolé) ©2018 – Tous droits réservés Databulle – www.databulle.com 9