Lo que los archivos de registro revelan sobre tu desperdicio de indexación
Search Console te dice que tienes 85,000 páginas indexadas. Te sientes bien hasta que analizas los server logs y descubres la verdad incómoda.
Google rastrea tu sitio de forma completamente diferente a como imaginas. Pasé tres meses analizando logs de cinco sitios medianos usando Screaming Frog Log Analyzer y Splunk. Los patrones son consistentes y desalentadores.
El primer shock: Google desperdicia entre 40-70% de su presupuesto de rastreo en páginas sin valor. Parámetros de sesión, páginas de búsqueda interna vacías, URLs generadas por filtros que nunca deberían existir. Un sitio tenía 200 URLs únicas generadas solo por combinaciones de ordenamiento de productos.
GoAccess es gratuito y te da visualizaciones básicas de qué bots visitan qué secciones. Pero necesitas Botify o escribir scripts personalizados en Python con pandas si quieres cruzar datos de rastreo con métricas de rendimiento orgánico.
Segundo descubrimiento: las páginas importantes reciben visitas de Googlebot con frecuencia ridículamente baja. Tu página de producto más vendido podría recibir rastreo cada 45 días mientras páginas de archivo antiguo se rastrean semanalmente. ¿Por qué? Estructura de enlaces internos deficiente.
Elasticsearch combinado con Kibana te permite construir dashboards personalizados que muestran correlaciones entre frecuencia de rastreo y caídas de tráfico. Identificamos que páginas rastreadas menos de una vez al mes perdían rankings consistentemente.
El análisis reveló otro problema: respuestas 304 Not Modified excesivas. Google revisaba páginas frecuentemente pero no veía contenido actualizado porque los headers de caché estaban mal configurados. Corregir esto incrementó la frecuencia de indexación real en 340%.
AWStats y herramientas similares no sirven para SEO serio. Necesitas parsear logs directamente, filtrar bots falsos que se identifican como Googlebot pero vienen de IPs sospechosas, y correlacionar timestamps con actualizaciones de contenido.