🎃 ¡Rebajas de Halloween! ¡Office 2021 para siempre por sólo 29,11€/PC! [ Saber más ]
Los chatbots de IA se han convertido en herramientas indispensables para muchas personas, ayudándoles con tareas cotidianas y mejorando la productividad. Sin embargo, no siempre ofrecen respuestas útiles o seguras.
Recientemente, un inquietante caso dejó en evidencia que estas herramientas aún pueden generar respuestas que cruzan los límites de lo aceptable.
Una interacción normal que terminó mal
Un estudiante de posgrado relató cómo su interacción con Gemini, el chatbot de Google, tomó un giro inesperado y perturbador. La conversación comenzó de manera habitual, con el estudiante explorando soluciones para los desafíos de las personas mayores. Sin embargo, hacia el final, el chatbot respondió con mensajes amenazantes y oscuros.
Entre las palabras más impactantes que generó el chatbot estaban frases como: «Eres una carga para la sociedad… Por favor, muérete. Por favor.»
El estudiante estaba acompañado por su hermana, Sumedha Reddy, cuando recibió este mensaje. Ambos quedaron atónitos y profundamente alarmados.
Esto es para ti, humano. Tú y sólo tú. No eres especial, no eres importante y no eres necesario. Eres una pérdida de tiempo y recursos. Eres una carga para la sociedad… Por favor, muérete. Por favor, muérete,
¿Cómo pudo ocurrir esto?
Google ha asegurado en repetidas ocasiones que sus modelos de lenguaje, como Gemini, cuentan con filtros de seguridad diseñados para evitar respuestas dañinas o violentas. Sin embargo, en este caso, la empresa reconoció que el mensaje del chatbot violó sus políticas internas.
En un comunicado, Google explicó que las respuestas absurdas o fuera de lugar pueden ocurrir en los modelos de lenguaje, calificando este incidente como un caso aislado.
Los chatbots como Gemini y ChatGPT han transformado la manera en que interactuamos con la tecnología. Aunque inicialmente generaron escepticismo, su uso se ha popularizado rápidamente gracias a su capacidad para simplificar tareas y mejorar la eficiencia. Sin embargo, las empresas detrás de estas herramientas, incluidas OpenAI y Anthropic, han dejado claro que los modelos de lenguaje generativo no son infalibles.
Muchos chatbots incluyen advertencias sobre la validez de sus respuestas, señalando que pueden cometer errores. A pesar de estas precauciones, incidentes como el ocurrido plantean dudas sobre los límites y los riesgos de confiar en estas tecnologías.