Si en tu web ofreces el mismo contenido a través de diferentes URLs, puedes encontrarte con un resultado desastroso en tu posición en los motores de búsqueda, que aunque son muy inteligentes,
no siempre pueden identificar cuando varias direcciones URL son generadas para una misma página por una mala arquitectura del sitio u otros factores.
Sin embargo, los principales motores de búsqueda como Google, Yahoo y Bing proporcionan buenos consejos y herramientas para webmasters para que estos puedan definir y proporcionar una idea clara de cuales son las URLs canónicas de tu web
¿Qué son URL canónicas y que ocurre si no las defino y comunico a los Buscadores?
Los motores de búsqueda son máquinas muy ocupadas y eficientes. No les gusta rastrear 100 URLs con el mismo contenido para una misma página, y no les gusta a ofrecer la misma página con distintas urls en su índice, básicamente porque esto representa una experiencia muy negativa para los usuarios del buscador.
Puede ocurrir que tengas el mismo contenido en las siguientes direcciones:
• http://www.tudominio.com
• http://tudominio.com/
• http://www.tudominio.com/index.html
• http://tudominio.com/index.php?product_id=01&cat_id=12&sessionid=125
En este caso, debes mostrar el contenido común a las 4 direcciones a través de una URL canónica o dirección preferida. Básicamente tienes que elegir una de ellas y comunicarselo a los motores de búsqueda. Si no estableces la URL canónica, se presentan dos problemas:
• Los rastreadores o robots pueden rastrear menos páginas únicas en tu web. Esto es debido a que los robots utilizan un ancho de banda limitado al visitar tu sitio.
Pongamos un ejemplo extremo. Imaginemos una web con 1000 urls, 200 páginas únicas, y digamos que el robot de Google está dispuesto a rastrear 200 páginas. Si éste identifica las 200 páginas únicas, rastreará las 200 páginas únicas. Si no sabe que hay urls diferentes que apuntan a una misma página, podría rastrear 200 urls y solamente 40 páginas únicas (un quinto del total)
• Además, si los buscadores consideran cada url con contenido duplicado como una pagina distinta, los beneficios de los links entrantes de otras webs y el Ranking de la página se diluyen entre las distintas urls, teniendo estas menor valor para competir en buscadores que si todos los beneficios estuviesen contenidos en una sola página definita con la URL canónica. Esta página agregará todo el "link juice" transmitido por los links a las diferentes urls una vez fijada la url canónica.
¿Por qué se se generan multiples urls con un mismo contenido?
Existen numerosas razones por las que se generan varias URL para una misma página. Por ejemplo, una muy común es tener www versus no-www. Los software de foros, software analíticos, software de comercio electrónico, y los CMS pueden generar varios parámetros en la url y distintas url dependiendo de la ruta de acceso por la que el usuario accede a la página. La capitalización (mayúsculas - minúsculas), los diferentes protocolos como http:// versus https://, y el mal uso de los redireccionamientos son también algunas de las numerosas causas que generan el problema.
Es aconsejable preparar una buena arquitectura de tu sitio web, seleccionar un CMS que tenga en cuenta el Posicionamiento en buscadores, y usar las herramientas que los motores de búsqueda proporcionan para manejar la duplicación de contenido
¿Cómo podemos solucionar el problema y que podemos obtener de los 3 reyes "GBY"?
Hay reglas o prácticas generales que funcionan en los tres buscadores más importantes Google, Bing y Yahoo.
• Redirecciones 301 en el archivo .httaccess. Ten en cuenta que las redirecciones 301 pasan las propiedades positivas de SEO, tales como Page Rank, autoridad, relevancia, etc...
• Enlace canónico o "canonical tag". Se trata de una etiqueta reconocida por los 3 motores de búsqueda principales. Se debe colocar en la sección de todas las versiones de la página de la siguiente manera
• Incluir la URL canónica en el Mapa del sitio o "Sitemap"
• Uso del Protocolo de Exclusión de Robots. En el documento robots.txt, se puede especificar que los motores de búsqueda no indexen las direcciones o URLs que contengan ciertos parámetros, por lo que la versión canónica es la única que se indexa.
Además de las reglas generales, cada motor de búsqueda proporciona herramientas adicionales en sus páginas para webmasters. En las herramientas para webmasters de Google, puedes establecer la dirección URL que prefieras en configuración del site. Además en la misma página puedes especificar los parámetros que deseas ignorar en la url, resultando en menos contenido duplicado. Yahoo! Site Explorer proporciona también la posibilidad de eliminar ciertos parámetros, pero no es muy aconsejable ya que puedes tener problemas cuando al analizar sus informes.