Reddit bloquea a todos los buscadores que no están dispuestos a pagar por indexar su contenido

Recientemente, Reddit ha decidido bloquear a todos los motores de búsqueda, excepto a Google, para que no indexen su contenido.

Esta acción, vista por muchos como una manera de establecer un muro de pago para el entrenamiento de inteligencia artificial, ha generado diversas reacciones en la comunidad de usuarios.

En febrero, se reveló que Google paga a Reddit más de 60 millones de dólares al año para acceder a las publicaciones de sus usuarios y así entrenar sus modelos de inteligencia artificial. Este acuerdo parece ser la única razón por la que Google sigue teniendo acceso a indexar el contenido de Reddit, mientras que otros motores de búsqueda, como Bing y DuckDuckGo, han sido bloqueados.

Reddit actualizó su archivo robots.txt para impedir que cualquier motor de búsqueda, a excepción de Google, indexe su sitio. Este archivo, que guía a los web crawlers sobre qué partes de un sitio web pueden o no pueden ser indexadas, ahora incluye un mensaje explicativo:

# Welcome to Reddit's robots.txt
# Reddit believes in an open internet, but not the misuse of public content.
# See https://support.reddithelp.com/hc/en-us/articles/26410290525844-Public-Content-Policy Reddit's Public Content Policy for access and use restrictions to Reddit content.
# See https://www.reddit.com/r/reddit4researchers/ for details on how Reddit continues to support research and non-commercial use.
# policy: https://support.reddithelp.com/hc/en-us/articles/26410290525844-Public-Content-Policy

User-agent: *
Disallow: /

Si usas Bing, DuckDuckGo u otros motores alternativos, verás que no hay resultados recientes de Reddit. DuckDuckGo, por ejemplo, muestra algunos enlaces, pero no proporciona datos sobre el contenido de estos.

Reddit y su declaración contradictoria

Reddit afirma que el bloqueo a otros motores de búsqueda no está relacionado con su acuerdo con Google.

Según Tim Rathschmidt, portavoz de Reddit, el bloqueo es para aquellos motores que no se comprometen a no usar los datos de rastreo para el entrenamiento de IA. Reddit ha estado en discusiones con varios motores de búsqueda, pero algunos no han querido comprometerse a cumplir con las condiciones de Reddit sobre el uso de su contenido.

Sin embargo, esta explicación resulta poco convincente, ya que Google, que paga una suma considerable por este acceso, es la única excepción al bloqueo. Esto sugiere que la decisión de Reddit está motivada por razones económicas, estableciendo un modelo de «pago por uso» para el acceso al contenido.

Por otro lado, Microsoft ha estado en conversaciones con Reddit para permitir que Bing acceda al contenido del sitio. Sin embargo, las dos partes no han llegado a un acuerdo. Fuentes cercanas a Reddit afirman que Microsoft se ha negado a aceptar las condiciones de Reddit sobre el rastreo para IA, alegando que sus controles web estándar eran suficientes.

La declaración de Reddit de que la decisión no tiene que ver con el dinero no resulta convincente para muchos. Si el uso de Reddit para el entrenamiento de IA no fuera un problema, todos los motores de búsqueda deberían poder acceder, o ninguno debería hacerlo, en lugar de solo Google.