Une augmentation soudaine de votre trafic ? Etes vous sure que ce trafic vous appartient ? Surveillez votre trafic référent
Depuis quelques jours les stats du site Bee4 montrent une augmentation inexpliquée du trafic.
La liste des sites référents indique une forte proportion de visite en provenance d’un forum (Darodar), et d’un autre domaine attirant notre attention : BlackHatWorth.com
Une petite recherche pour obtenir l’ip avec Reverse IP et la liste des domaines concernés apparaît.
Ah tient ! On retrouve notre forum, et d’autres domaines qui produisent de la visite sur notre site.
Pollution des stats, consommation de bande passante, tentative de placement de liens… Il faut réagir.
Ce phénomène, le spam referer, peut facilement se détecter avec tout outil de mesure d’audience digne de ce nom. Pour nous, c’est avec Google Analytics.
On le voit très bien sur la partie Référents, si votre vue Analytics affiche votre host, vous verrez également ce trafic en utilisant la section comportement > Toutes les pages du site. Si, au contraire, vous n’avez pas fait de filtre et que vous utilisez votre vue par défaut, ce trafic risque de passer inaperçue, comme étant du trafic sur votre page d’accueil.
Exemple : A gauche une vue avec l’affichage du host dans les rapports (création d’un filtre appliqué à la vue), alors qu’a droite c’est la vue par défaut de Google Analytics.
Sur la vue de droite, le trafic de spam est comptabilisé sur la page d’accueil. Autrement dit le spam de référer passe alors inaperçu.
Dépister à partir de Google Analytics :
Vous avez plusieurs possibilités pour dépister le spam referer dans vos stats Google Analytics :
En utilisant un segment sur le trafic référent :
Nous avons choisi de créer le segment pour le réfèrent contenant Darodar, et de le partager.
Ce segment est un début il peut être compléter avec d’autres référer identifiés. À vous d’ajouter et de personnaliser ce segment pour votre site.
Connectez-vous à Google Analytics, et copier/coller le partage du segment ci-après https://www.google.com/analytics/web/template?uid=dEVrCo71QE6Pq_-pdUupIQ
Enregistrer le segment, appliquer le, si une courbe apparaît, vous êtes impacté !
Je ne veux pas utiliser un segment partagé !
Il va falloir chercher « à l’ancienne », pour ce faire sur l’interface Analytics, allez dans Acquisition, puis tout le trafic > Source/support.
Si un des domaines listé sur la 1ère image ci-dessus est affiché, alors vous êtes concerné par le spam référer.
À partir de là, et si vous utilisez la configuration par défaut, donc sans avoir mis en place un filtre de vue, votre rapport du comportement sur les pages du site n’est pas fiable.
Vous n’aviez pas remarqué une hausse de trafic sur la page d’accueil sans raisons apparente ? Et bien nous venons de vous donner la raison.
Solution Pour vos rapports d’audience :
Pour supprimer cette audience parasite dans vos rapports Analytics, il va falloir configurer un filtre de vue.
Attention, un filtre de vue mal configuré peut réduire à néant vos données.
Nous vous conseillons vivement de dupliquer votre vue principale et d’effectuer un test de votre définition sur cette nouvelle vue, en patientant quelques jours pour avoir des données.
Nous ne sommes en aucun cas responsables de vos éventuelles erreurs en copiant ce filtre. Pour en savoir plus sur les vues Google Analytics et les bonnes pratiques (en anglais)
Filtre de vue pour exclure un référer des rapports Google Analytics
Ci dessous un exemple de filtrage des spam référer.
Nous concernant nous avons exlu les sources suivantes :
blackhatworth|darodar|iloveitaly|hulfingtonpost|isalko|lumb
Une fois que votre test est concluant, vous pouvez alors appliquer celui-ci sur votre profil général.
Filtre de vue pour ajouter le nom de domaine du site devant les uris :
Attention ce filtre ne vous permettra plus d’ouvrir les extraits de pages dans Analytics. Nous vous conseillons de dédier une vue à cette configuration.
Ce filtre va alors vous permettre de contrôler que seul votre domaine est inclus dans les rapports.
Si vous avez des sous domaines, alors ils seront clairement stipulés. Vous pourrez repérer tout nouveau spam référer et mettre à jour le filtre de vue d’exclusion des référers.
Après ces manipulations vous contrôler votre audience, mais ceci n’empêche pas les spammeurs de continuer à visiter votre site, à consommer de la bande passante, pourrir vos logs etc.
L’objectif est donc de dégager ces pseudo visiteurs de votre site et pourquoi pas de leur rendre la monnaie de la pièce !
Bye bye Le Spam Referer
Tout se passe dans le fichier htaccess, il s’agit de repérer le nom des référers spammeurs dans l’entête http et de les promener un peu.
Pourquoi ne pas les renvoyer sur un de leurs autres domaines, et les faire tourner en bourrique ? La même ip servant à plusieurs domaines avec quelques lignes dans htaccess on peut les faire se spammer eux même, ou encore le renvoyer d’où il vient, c’est-à-dire sur lui-même.
RewriteCond %{HTTP_REFERER} (darodar|ilovevitaly) [NC]
RewriteRule ^.* %{HTTP_REFERER} [L]
Si le referer contient Darodar ou Iloveitaly, alors les renvoyer sur leur propre référer !
Vérification de la config :
Si tout est ok, possibilité de supprimer les lignes de ces spammeurs de vos logs, pour éviter d’écrire ces lignes et alourdir vos fichiers de log.
Il faut alors modifier la configuration d’apache, sur la ligne :
CustomLog logs/access_log combined
Ajouter en fin de ligne :
env=!nolog
CustomLog logs/access_log combined env=!nolog
Les visites de ces spammeurs seront désormais exclues de vos logs.
Bien sur chaque jours de nouveaux spammeur arrivent il faut donc tenir à jour vos filtres de vues Analytics ainsi que les règles de votre fichier .htaccess
Vous souhaitez en savoir plus sur le Spam Réfere, a quoi ça peut servir, d’autres pistes de solutions ? : Voir l’article Spam Referer sur Oseox
Merci pour l’info, je n’arrivai pas à supprimer ces données, sans comprendre d’où elles provenaient.
Et au delà du htaccess, c’est évidemment possible de le faire au niveau du serveur, de façon plus globale donc.
Effectivement Yannick il est possible aussi de le faire du coté serveur. A noter quand même que certains de ces spams ne visitent même pas la page, mais utilisent des urls de test de configuration Analytics juste pour polluer les stats, et tenter de gagner une visite par le webmasters/ gestionnaire un peu trop curieux qui suivra le lien à partir de ses stats. Dans ce cas, que ce soit par htaccess ou au niveau serveur il ne sera pas possible de supprimer ces indésirables.
Ping : Darodar le spam de referrer dans Google Analytics
Merci pour ces infos 🙂 Il y a aussi une option intégrée à Google Analytics pour filtrer les robots d’exploration. Cet article détaille le procédé : http://www.mikii.fr/blog/2015/07/08/comment-supprimer-referrer-spam/
J’ai essayer cette option, j’ai attendu pour voir si les stats se modifiaient et nada… Toutes mes recherches montrent que google ne se soucie de ce détails.
J’ai vu qu’il existait une possibilité d’intégrer google analytic via PHP mais je n’arrive pas à trouver comment tester ça. Si vous avez des infos la dessus, je suis preneur 😉
Avec le filtre de vue ou avec le segment ?
Dans les deux cas il faut mettre à jour les sources à exclure. Pour eviter ce travail fastidieux vous pouvez créer un filtre de vue qui « affiche » le domaine, puis appliquer un autre filtre de vue pour exclure tout ce qui n’est pas votre host. Même si vous passer par une intégration Analytics en PHP vous aurez ces spams referer
Il y a plus simple et moins technique : plutôt que de paramétrer des exclusions à plusieurs niveaux, autant faire un filtre par Inclusion (au niveau du nom de domaine). Inclure seulement le trafic réellement présent sur son site règle le problème. Après 1 an de tests en tout genre, cette méthode est la plus efficace, et recommandée par la Digital Analytics Association.