Anónimo
Problema con el archivo robots.txt
Tengo un archivo robots.txt y acabo de subir todo al servidor, pero en las herramientas para web master de google hay una opción para probar el robots.txt. Y todos los folder que bloque en el archivo Google me dice que son perfectamente accesibles.
No entiendo que pasa.
El código del archivo robots.taxt es este:
User-agent: * Disallow: /upload/ Disallow: /slider/ Disallow: /img/ Disallow: /editor/
Entonces a mi entender esto en la primera línea le permite la indexación a todos los motores, y en la línea 2,3,4 y 5 estoy negando la indexación de esos folder (upload, slider, img, editor).
Y Google dice que se puede acceder perfectamente bien.
Ayudenme por favor
Saludos y gracias
Aclárame un par de dudas antes de intentar solucionar el problema:
- En tu texto hablas de robots. Taxt, ¿es un error tipográfico? Como sabes, debe llamarse robots.txt
- Los folder que tratas de negar están ubicados en la raíz de tu web, ¿seguro qué es así?
- ¿Te importa mandar una captura de pantalla de cómo estás usando la herramienta de comprobación de robots.txt de Google Webmaster Tools?
Hola xavi.
Bueno efectivamente lo de la extensión del archivo fue un error tipográfico mio. El archivo realmente se llama robots.txt.
Luego si estoy seguro que el archivo esta bien puesta, Estoy usando laravel por lo tanto el archivo está ubicado dentro de la carpeta public. Por lo demás cuando uno descarga el framework este archivo ya viene colocado en esta ubicación. y solo trate la siguiente instrucción
User-agent: *
Disallow:
Y fui yo el que completo el resto.
Esta bien lo que hice o hay algún error.
Saludos.
¡Pues yo lo veo todo bien! ¿Qué te parece si utilizas otra herramienta para comprobar tu robots.txt?
Te recomiendo https://webmaster.yandex.com/robots.xml
Ya me dices qué tal :D