Usar Google Webmasters Tools (GMT) para controlar los errores de rastreo es algo totalmente necesario en cualquier sitio web. GWT nos ofrece esos datos en su panel a los que hay que prestarle atención, el único problema es que pueden tardar bastante en mostrarlos actualizados. Para dejar tu sitio limpio de errores lo antes posible sin esperar a que actualice se puede combinar estos reportes con la herramienta Screaming frog

Hay que seguir los siguientes pasos:

1.- Descargar el informe de errores de rastreo desde Webmaters tools

2.- Rastrear el sitio completo con Screaming frog y exportar los resultados a una hoja de cálculo de excel.

3.- Combinar los resultados de los dos pasos anteriores y combinar duplicados.

4.- Copiar todas las URLs 404 en un solo archivo .txt (por ejemplo errores_rastreo.txt) y dárselo a Screaming frog para rastrear. Para ello vamos a Mode > List y nos aparecerá un formulario para subir un archivo. Le damos nuestro archivo de errores txt.


Ya podemos rastrear solamente las páginas afectadas y repararlas.