En los últimos días, algunos proveedores han tenido ciertos problemas debido a errores DNS de Google. Concretamente, durante este periodo las webs dejaron de estar accesibles desde el buscador, ya que el bot de Google no podía encontrar los sitios. Al “desaparecer” estas webs los enlaces a las mismas también dejaron de estar disponibles, poniendo el peligro la indexación de las mismas.
Parece que durante días el bot de Google no ha sido capaz de recuperar los archivos robots.txt de miles de sitios web, haciendo que no le fuera posible a sus ‘arañitas’ rastrear las webs. También se dieron casos en los que Google conseguía recuperar archivos robots.txt antiguos en los que se permitía el acceso a páginas que en ese momento estaban bloqueadas o no existían; y al contrario, no aparecían URLs importantes para los sitios webs.
El problema afectaba únicamente al robot de Google, ya que otros servicios incluso del propio Google como PageSpeed sí podían acceder con normalidad a las webs. Es decir, el problema se encontraba en el DNS de Google, y ni siquiera en su totalidad.
Tal y como explicó el propio John Mueller en Twitter, el DNS de Google tiene un funcionamiento peculiar, especialmente en caso de que se produzcan errores.
Por norma general, el robot de Google realiza todas sus consultas DNS en los mismos servidores; de ahí que haya como consecuencia de estos errores hayan publicado las direcciones IP para que pueda verificarse y permitirse el acceso a las mismas. Si se encuentra con algún problema, el robot de Google lo considerará inicialmente como un error 5xx. Al no haber sido posible acceder a esa web, reducirá la frecuencia con la que volverá a intentarlo y, en caso de que el erro se mantenga durante un día, lo tratará como un error real. Es decir, que según va rastreando las URLs puede ir eliminando de su índice las que en varias ocasiones han devuelto errores.
Cuando el problema se resuelve, el robot de Google vuelve a pasar y se solucionan los problemas de indexación que se hayan podido producir. Con ello la frecuencia de rastreo vuelve a aumentar y los errores van desapareciendo. Además, con el paso de los días irán volviendo al índice, y recuperando la visibilidad perdida, las URLs que se hubieran podido eliminar.
Si quieres comprobar que el robot de Google puede rastrear correctamente tu sitio web, puedes utilizar la herramienta de inspección de URLs de Search Console. Así podrás verificar que todo funciona correctamente o si tienes que realizar algún cambio para que tu web esté totalmente accesible.
Nuestro sitio web utiliza cookies para mejorar la navegación y obtener datos estadísticos sobre las visitas obtenidas.
Leer más