Hay dos archivos diminutos que tienen un poder desproporcionado sobre si tu sitio aparece o no en los buscadores. Uno es el mapa del sitio, el otro es el archivo de instrucciones para robots. Los dos se pueden abrir desde el navegador, ninguno de los dos ocupa más de unos kilobytes, y sin embargo un error en cualquiera de ellos puede dejar tu sitio entero fuera de los resultados de búsqueda sin que nada parezca roto a simple vista.
El archivo robots.txt: qué pueden recorrer
Vive siempre en la raíz del dominio y es lo primero que consulta un buscador antes de recorrer tu sitio. Su función es indicar qué zonas puede visitar y cuáles conviene que no.
Hay una confusión gigante que vale la pena aclarar de una vez: bloquear una dirección acá no la saca de Google. Solo impide que el buscador la lea. Si esa dirección tiene links apuntándola desde otros sitios, puede seguir apareciendo en los resultados, con un título raro y sin descripción, porque el buscador sabe que existe pero no puede ver qué hay adentro. Para sacar realmente una página de los resultados hay que dejar que la lean y ponerle una instrucción de no indexar en la propia página. Bloquear y esperar que desaparezca es el error conceptual más común del SEO técnico.
Qué conviene bloquear de verdad: zonas administrativas, carpetas internas del sistema, resultados de búsqueda interna que generan infinitas combinaciones, direcciones con parámetros de filtro que multiplican páginas casi idénticas, y carritos o zonas de cuenta de usuario. Qué nunca hay que bloquear: las hojas de estilo y los scripts, porque el buscador necesita verlos para entender cómo se ve tu página en un teléfono, y las imágenes si querés que aparezcan en la búsqueda de imágenes.
El mapa del sitio: qué querés que encuentren
Si el archivo de robots dice por dónde no ir, el mapa del sitio hace lo contrario: es la lista de todas las direcciones que te interesa que se indexen, entregada en bandeja. No garantiza la indexación, pero acelera muchísimo el descubrimiento, sobre todo en sitios nuevos, en sitios grandes y en páginas a las que casi no llegan enlaces internos.
Cada entrada puede incluir la fecha de última modificación, que es el dato más útil de todos porque le dice al buscador dónde vale la pena volver. Los otros dos datos que existen en el formato, la frecuencia de cambio y la prioridad, hace años que los buscadores prácticamente ignoran; podés incluirlos o no, no cambia nada.
Cuando un sitio crece, un solo archivo se vuelve incómodo. El formato admite un índice de mapas: un archivo principal que apunta a varios archivos hijos, cada uno con su propia lista. Es la forma correcta de organizar un sitio con miles de direcciones, y además permite separar por tipo de contenido o por idioma, lo cual hace mucho más fácil detectar dónde está el problema cuando algo no se indexa.
Sitios en varios idiomas
Si tenés el sitio en dos idiomas, cada dirección debería declarar cuáles son sus versiones alternativas. Eso se hace en el encabezado de cada página o dentro del propio mapa del sitio, y evita el problema más típico de los sitios bilingües: que el buscador considere las dos versiones como contenido duplicado, o que le muestre la versión en inglés a alguien que busca en español.
La regla es que las declaraciones sean recíprocas: si la página en español dice que su versión en inglés está en tal dirección, la página en inglés tiene que decir lo mismo a la inversa. Una declaración que no se devuelve simplemente se ignora.
Los errores que más veces vi
- El bloqueo total que quedó del desarrollo. Durante la construcción se bloquea todo el sitio, y en el apuro del lanzamiento nadie lo saca. El sitio funciona perfecto y no aparece en ningún lado. Es, sin exagerar, el error más caro de esta lista.
- Direcciones del entorno de pruebas en el mapa. Se genera el mapa antes de mudar el sitio y queda apuntando a la dirección de desarrollo.
- Incluir páginas que no querés indexar. Si una dirección está en el mapa y a la vez tiene instrucción de no indexar, le estás mandando señales contradictorias al buscador.
- Mapas desactualizados. Un mapa generado a mano hace dos años, con la mitad de las direcciones muertas, hace más daño que bien.
- Bloquear estilos y scripts. El buscador ve tu página como un esqueleto sin formato y no puede evaluar si es apta para móviles.
- No enviarlo. El mapa existe, es correcto, y nadie lo dio de alta en las herramientas para webmasters. Se descubre igual, pero mucho más lento.
Cómo verificar que están bien
La verificación es más simple de lo que parece y toma cinco minutos. Abrí en el navegador tu dominio seguido de /robots.txt y leé lo que dice, línea por línea; si hay una línea que bloquea todo, ahí está tu problema. Después abrí la dirección de tu mapa del sitio y fijate que cargue sin errores y que las direcciones sean las de producción. Por último, entrá a las herramientas para webmasters, enviá el mapa y usá la herramienta de inspección para verificar que una página cualquiera se puede indexar. Esa herramienta te dice exactamente qué ve el buscador, que casi nunca es lo mismo que ves vos.
Una recomendación de arquitectura
Si podés elegir, hacé que el mapa se genere solo. Un archivo estático que hay que regenerar a mano se desactualiza siempre, sin excepción. Un mapa dinámico que se arma leyendo el contenido real del sitio nunca está desactualizado, porque se construye en el momento en que alguien lo pide. Es más trabajo la primera vez y cero trabajo para siempre.
Del lado del servidor, lo que necesitás es poder generar y servir estos archivos sin trabas: acceso al archivo de configuración para las reglas de reescritura, cPanel para editar cómodamente, y un servidor que responda rápido cuando el buscador recorre miles de direcciones, porque si tarda demasiado, el buscador reduce el ritmo y tarda semanas en recorrerte entero. Por eso uso BanaHosting: LiteSpeed con LSCache, SSD puro sobre servidores Dell con RAID-10 y cPanel completo, desde 4,95 dólares al mes con migración gratis y 30 días de garantía.