Si no necesito bloquear el acceso a rastreadores, ¿Debería crear un archivo robots.txt?
La respuesta rápida: Sí, incluso vacio.
No tener un archivo robots.txt puede ser un poco arriesgado, no muy arriesgado, pero sí un poquito. Esto es porque a veces cuando no tienes el archivo tu servidor retornará la página de error 404, ya sea la personalizada o estandar, y eso puede tener varios comportamientos extraños.
Google, por suerte, es capaz de detectar eso bastante bien, por lo que puede ser sólo un 1% de riesgo. Pero es posible, por lo que puedes tener un archivo robots.txt vacio o que indique directamente:
Que significa que todo el mundo tiene permiso de rastrear cualquier cosa que quiera, de esta manera estás diciendo: Sí, tienes permiso para rastrear cualquier cosa. Es bastante parecido a tenerlo vacio, Google lo tratará sintácticamente como lo mismo.
Fuente: http://www.youtube.com/watch?v=P7GY1fE5JQQ
No tener un archivo robots.txt puede ser un poco arriesgado, no muy arriesgado, pero sí un poquito. Esto es porque a veces cuando no tienes el archivo tu servidor retornará la página de error 404, ya sea la personalizada o estandar, y eso puede tener varios comportamientos extraños.
Google, por suerte, es capaz de detectar eso bastante bien, por lo que puede ser sólo un 1% de riesgo. Pero es posible, por lo que puedes tener un archivo robots.txt vacio o que indique directamente:
User-Agent: *
Disallow:
Disallow:
Que significa que todo el mundo tiene permiso de rastrear cualquier cosa que quiera, de esta manera estás diciendo: Sí, tienes permiso para rastrear cualquier cosa. Es bastante parecido a tenerlo vacio, Google lo tratará sintácticamente como lo mismo.
Fuente: http://www.youtube.com/watch?v=P7GY1fE5JQQ