robots.txt

El fichero de robots.txt que ha de estar en la carpeta raíz del hostname de la instalación (aunque tu WordPress esté en una carpeta), es un fichero que no viene por defecto en WordPress, aunque si lo llamas el sistema genera uno sencillo, y que deberías crear.

Este fichero de texto lo que hace es decirle a los robots de búsqueda (como GoogleBot, BingBot, YandexBot, Slurp!…) qué deben y qué no deben analizar de tu sitio.

¿Qué deberíamos bloquear de WordPress en este fichero? En principio nada. Hoy en día se pueden conseguir bloquear muchos elementos mediante las configuraciones internas de plugins de seguridad, por lo que si quieres tener un sitio seguro lo mejor es no dar información en este fichero.

De esta manera, el fichero tendrá un contenido simple:

User-Agent: *

Por defecto WordPress genera un fichero virtual con el siguiente contenido:

User-Agent: *
Disallow: /wp-admin/
Disallow: /wp-admin/admin-ajax.php

Aunque esto que expone no es grave, teniendo en cuenta que el acceso al /wp-admin/ ha de pasar previamente por un acceso de usuario, no deja de ser una pista muy clara de que este sitio está construido con WordPress.

Deja un comentario