Comment supprimer un site ou ses fragments de l'index Google

Selon le concept d'indexation adopté par Google, ont représenté l'exhaustivité, l'objectivité de l'information et de sa conformité à la requête de recherche dans la publication des résultats. Si l'indice tombe site Web avec un contenu illicite ou d'une ressource pour le spam, les pages de ce site ne seront pas marqués dans le moteur de recherche de base de données commune. Pour nous , il est important d'apprendre comment supprimer un site de la publication des résultats du serveur de recherche.

Des variantes de Google zéro indexation

Une fois que le robot de recherche – un programme pour recueillir des informations sur les nouvelles ressources – balayera la page du site par page, puis, quand en vertu des exigences de la politique de Google pour l'analyse, il sera indexé. Mais nous vous montrons aussi comment supprimer votre site ou de fragments pour les moteurs de recherche par un robots.txt – index et recherche en même temps d'arrêt.

Pour exclure de l'émission de la ressource dans son ensemble, dans le dossier racine du serveur sur lequel le site est situé, crée une zone de texte – dit robots.txt. Cette zone est traitée avec les moteurs de recherche et d'agir selon les instructions lues.

Gardez à l'esprit que les index des moteurs de recherche Google la page, même si un utilisateur a accès à la vue interdite. Lorsque le navigateur répond avec 401 ou 403 « L' accès est non valide », il applique uniquement aux visiteurs, plutôt que des programmes qui se rassemblent pour ce moteur de recherche.

Pour comprendre comment supprimer le site de l' indexation des moteurs de recherche, un pointeur de texte doit entrer dans les lignes suivantes:

User-agent: Googlebot

Disallow: /

Cela indique à l'crawler d'indexer l'interdiction de tout le contenu du site. Voici comment supprimer un site Google, afin que ce dernier ne cache pas la ressource dans la liste des détectés.

Modes de réalisation de balayage pour différents protocoles

Si vous avez besoin d'énumérer les différentes normes de communication, pour lesquels vous souhaitez appliquer des règles spéciales pour l' indexation de Google, par exemple, séparément pour hypertexte protocoles http / https, il est également nécessaire d'enregistrer dans le fichier robots.txt de la manière suivante (exemple).

(Http://yourserver.com/robots.txt) – un nom de domaine de votre site (tout)

User-agent: * – un moteur de recherche

Autoriser: / – permettre une indexation complète

Comment supprimer un site de la question complètement au protocole https

(Https://yourserver.com/robots.txt):

User-agent: *

Disallow: / interdiction complète sur l'indexation

adresses suppression des ressources Expedited URL- de Google SERPs

Si vous ne voulez pas attendre réindexation, et le site que vous voulez cacher comme, je vous recommande d'utiliser le http://services.google.com/urlconsole/controller de service dès que possible. Pré robots.txt doit être placé dans le répertoire racine du serveur de site. Il doit être prescrit des instructions appropriées.

Si le pointeur pour une raison quelconque ne peut pas être modifié dans le répertoire racine, créez assez dans le dossier avec les objectifs pour lesquels vous souhaitez masquer des moteurs de recherche. Une fois que vous faites cela et reportez-vous au service supprimant automatiquement les adresses hypertexte, Google ne scanne pas les dossiers qui orthographiés une faille dans le robots.txt.

La période de cette invisibilité est réglée pendant 3 mois. Après cette période, le répertoire retiré de la question, sera à nouveau traitée par le serveur Google.

H oe pour supprimer un site pour balayer partiellement

Quand un robot de recherche est en train de lire le contenu de robots.txt, que certaines décisions sont prises sur la base de son contenu. Disons que vous voulez exclure de montrer tout le répertoire appelé anatom. Il suffit de prescrire ces règlements:

User-agent: Googlebot

Disallow: / anatom

Ou, par exemple, vous voulez pas indexer tous les types d'images .gif. Pour ce faire, ajoutez la liste suivante:

User-agent: Googlebot

Disallow: /*.gif$

Voici un autre exemple. Qu'ils soient supprimés de l'analyse des informations sur les pages générées dynamiquement, tout en ajoutant au type d'entrée d'index:

User-agent: Googlebot

Disallow: / *?

C'est à peu près, et précise les règles pour les moteurs de recherche. Une autre chose est qu'il est beaucoup plus facile à utiliser juste cette balise META. Et les webmasters utilisent souvent une telle norme réglementant le fonctionnement des moteurs de recherche. Mais nous en reparlerons dans les prochains articles.