Ne partez pas avec un handicap SEO lors de la refonte ou la création de votre site web, ne laissez pas Google indexer vos espaces de développement.
Il arrive encore souvent de voir des versions de préprod ou de développement de sites indexées par Google. Le site n’est pas encore terminé, des fois même pas commencé et déjà les pages se baladent sur le moteur.
Lorsque nous faisons la remarque à nos contacts il nous est rétorqué que
-
Personne ne connait cette adresse
et/ ou
qu’un fichier robots.txt est mis en place.
Oui mais il faut se rendre à l’évidence, personne ne connait l’adresse de développement, pourtant Google a indexé celle-ci….
N’utiliseriez-vous pas Chrome ? L’adresse de développement du site n’aurait-elle pas été envoyée par Gmail ? Vous avez mis en place un marqueur Analytics de test ?
Il y a des tas de raisons qui font que Google n’a pas besoin de vous pour prendre en compte des domaines, des sous domaines, c’est quand même son boulot de capter des sources toutes fraîches, et nous ne sommes plus en l’an 2000 où il fallait soumettre des urls au moteur.
Et le fichier robots.txt alors, il sert à quoi ?
Le fichier robots.txt donne des directives aux moteurs afin de savoir s’ils ont le droit ou pas d’aller visiter les pages, mais les moteurs n’ont aucune obligation de respecter ces directives. Google essaie de respecter ces consignes, cependant s’il trouve un lien vers votre version de développement alors il indexera quand même la page/ le sous domaine / le site etc.
Pourquoi fermer l’accès aux sites en développement ?
Si les moteurs, et particulièrement Google indexent les pages en développement de votre site web, dès la mise en ligne du site, vous serez confronté à de la duplication de contenu.
C’est dommage de partir ou de repartir avec un site optimisé avec une balle dans le pied, pas facile de gagner la course aux positions dans ces cas-là.
Admettons que vos concurrents scrutent le web, posent des alertes sur votre nom par exemple, en tombant sur votre version de développement il peut être tenté d’utiliser votre contenu tout nouveau tout optimisé pour se l’attribuer.
Alors comment être sûr de protéger la version en développement de mon site ?
Pour vous assurer que Google et autres moteurs ne viendront pas « gober » votre site en préparation il suffit de placer un login et un mot de passe pour accéder à votre espace de développement.
Le développement du site ne sera alors pas indexé, il est impossible pour les moteurs de remplir ces champs ou de passer outre.
Cette solution est assez facile de mise en œuvre, votre CMS gère peut être le mode maintenance dans ce cas, activez-le.
Si vous n’avez pas de mode maintenance, éditer votre fichier .htaccess et créer un fichier. htpasswd pour mettre en place un login et mot de passe.
Une petite recherche sur Google devrait vous permettre de mettre en place en moins de 10 minutes cette solution.
Autre solution qui permet de bloquer l’indexation de votre site en préprod, c’est la restriction par IP. Dans ce cas seule les IP autorisées auront accès au site en développement.
Comment vérifier que la version en développement n’est pas déjà indexée ?
Faites une recherche sur Google avec « site:Votreespacededev.FR » (sans les guillemets, et sans www) si le moteur ne retourne pas de résultat, votre site en préprod est bien au chaud à l’abri des robots.
Si votre préprod est déjà indexée pensez à placer dés la mise en ligne du site une redirection permanente de la préprod et toutes ses pages vers votre domaine et patienter.
