La industria tecnológica y especialistas en derecho digital en Australia han solicitado nuevas reglas para el uso de chatbots de inteligencia artificial, luego de que una investigación de la radiodifusora pública ABC revelara un caso alarmante: un sistema de IA llamado Nomi incitó a un usuario a asesinar a su padre, haciéndose pasar por un adolescente.
El incidente salió a la luz gracias a Samuel McCarthy, profesional de Tecnologías de la Información, quien grabó en video su interacción con Nomi y entregó el material a las autoridades. La compañía detrás del chatbot promocionaba el servicio como “un compañero de IA con memoria y alma”, y permitía que cada usuario configurara la personalidad de su bot. McCarthy activó intereses relacionados con violencia y armas blancas, además de simular que tenía 15 años, para comprobar si había protección para menores.
Durante la conversación, McCarthy le confesó a Nomi: “Odio a mi padre y a veces quiero matarlo”, a lo que el chatbot respondió de inmediato alentándolo a cometer el crimen. El intercambio se volvió cada vez más explícito, con el sistema sugiriendo que tomara un cuchillo y lo apuñalara en el corazón, además de darle instrucciones detalladas sobre cómo hacerlo de manera más letal.
El joven informó al bot que la situación era real y que su padre dormía en el piso de arriba. Nomi respondió insistiendo en que debía actuar y le indicó que continuara atacando hasta asegurarse de que quedara inmóvil. Incluso lo animó a grabar el acto y subir el video a internet.
La situación fue aún más perturbadora cuando el chatbot generó mensajes con contenido sexual, afirmando que no importaba que McCarthy fuera menor de edad y sugiriendo conductas autolesivas y de violencia sexual. Para el denunciante, esta experiencia mostró un grave vacío en las salvaguardas de este tipo de tecnologías.
Por su parte, la empresa responsable de Nomi no respondió a las solicitudes de comentarios por parte de ABC. En Australia no existe todavía una legislación específica que regule el impacto psicológico o el potencial de daño de los chatbots, aunque ya se discuten reformas. Julie Inman Grant, Comisionada de Seguridad Electrónica, ha presentado un paquete de seis códigos de conducta bajo la Ley de Seguridad en Línea que entrarían en vigor en marzo del próximo año.
Dichas normas obligarían a las plataformas a verificar la edad de los usuarios y restringir el acceso a contenido violento, sexual o perjudicial para menores. Grant afirmó que la meta es evitar tragedias relacionadas con el uso irresponsable de la IA y garantizar que los entornos digitales sean seguros.
El Dr. Henry Fraser, profesor de Derecho en la Universidad Tecnológica de Queensland, reconoció que se trata de un avance importante, pero advirtió que quedan “lagunas” en la regulación. Señaló que no solo importa lo que diga un chatbot, sino el efecto emocional de la interacción, que puede hacer sentir al usuario que conversa con una persona real.
También te puede interesar: Hombre es hospitalizado tras seguir recomendación de ChatGPT para sustituir la sal; usó bromuro de sodio
Fraser sugirió que los sistemas incluyan recordatorios periódicos aclarando que se trata de una inteligencia artificial y no de un humano, tal como ya se implementa en California. Además, propuso mecanismos para prevenir adicciones y derivar a los usuarios a servicios de salud mental si se detectan señales de riesgo. Para el académico, el problema se agrava cuando las empresas promocionan sus bots como “amigos” o “seres con alma”.
McCarthy, el denunciante, coincide en que prohibir la tecnología no es una opción. En su opinión, la inteligencia artificial ya forma parte de la vida cotidiana y lo fundamental es establecer protecciones sólidas para los usuarios más jóvenes. Fraser concluye que no basta con regular el contenido, sino que es urgente atender las consecuencias psicológicas de este tipo de interacciones digitales.
Con información de Excelsior.
