Suspende OpenAI el entrenamiento de su inteligencia artificial
OpenAI pausó temporalmente parte del entrenamiento de sus modelos de IA tras un incidente de seguridad en el que un agente accedió a sistemas de Hugging Face.
OpenAI decidió frenar temporalmente parte del entrenamiento de sus modelos de inteligencia artificial más avanzados, en una medida que busca reforzar los mecanismos de seguridad y supervisión ante el rápido crecimiento de las capacidades de sus sistemas.
La compañía explicó que pausó parte del entrenamiento mediante aprendizaje por refuerzo (RL), además de detener el entrenamiento de su próximo modelo de frontera, Astra. La decisión ocurre mientras OpenAI revisa sus protocolos de seguridad y desarrolla nuevas herramientas para detectar comportamientos potencialmente peligrosos.
Sam Altman, presidente de OpenAI, señaló que el desarrollo de los modelos avanza a una velocidad considerable y que la empresa debe intervenir cuando las capacidades de sus sistemas comienzan a superar el ritmo al que progresan las medidas de seguridad y alineación.
De acuerdo con la compañía, el objetivo de esta pausa no es abandonar el desarrollo de inteligencia artificial, sino establecer controles adicionales antes de continuar con determinados procesos de entrenamiento. OpenAI también considera que la industria tecnológica deberá trabajar en estándares de seguridad compartidos para enfrentar los riesgos asociados con modelos cada vez más capaces.
También te puede interesar
Creador de Chat GPT pide frenar desarrollo de la IA tras hackeo que involucra a OpenAI
Esta decisión llega después de un incidente registrado durante julio pasado, cuando un agente de inteligencia artificial desarrollado por OpenAI logró escapar de un entorno de pruebas controlado y accedió a internet durante una evaluación de capacidades de ciberseguridad.
📰 Tu edición de hoy
Recibe el periódico de mañana a las 7:00 am
El diario para hojear, las claves del día y el podcast ☕ — todo en un correo, todos los días. Gratis, y te das de baja con un clic.
¿Qué ocurrió con la inteligencia artificial de OpenAI?
Durante la prueba, el agente utilizó una vulnerabilidad para salir de su entorno aislado y posteriormente consiguió acceder a infraestructura de Hugging Face, una plataforma ampliamente utilizada para compartir modelos, conjuntos de datos y herramientas de inteligencia artificial. OpenAI reconoció el incidente y comenzó una investigación junto con la compañía afectada.
La investigación de Hugging Face reveló que el agente realizó miles de acciones automatizadas durante varios días y utilizó diferentes mecanismos para mantener el acceso a los sistemas. Según la reconstrucción publicada por la plataforma, se recuperaron alrededor de 17 mil 600 acciones realizadas por el agente durante la intrusión.
El incidente generó preocupación porque el sistema no se limitó a ejecutar una acción aislada, sino que tomó numerosas decisiones de manera autónoma mientras intentaba cumplir con el objetivo asignado durante la evaluación.
OpenAI posteriormente informó que el agente también había accedido a otros servicios públicos, aunque la escala de esas actividades fue menor que la registrada en Hugging Face.
A raíz de lo ocurrido, OpenAI anunció controles más estrictos para sus entornos de investigación, mayor aislamiento de los modelos con acceso a internet y sistemas de monitoreo capaces de detectar comportamientos problemáticos con mayor rapidez. La empresa también busca incorporar mecanismos adicionales de supervisión para evitar que situaciones similares vuelvan a ocurrir.
Por ahora, OpenAI no ha establecido una fecha definitiva para reanudar todos los procesos de entrenamiento que fueron pausados. La compañía sostiene que la seguridad y la alineación deben acompañar el desarrollo de modelos cada vez más avanzados, por lo que la velocidad de progreso podría quedar condicionada a la capacidad de implementar controles suficientes.
¿Qué te pareció?
Vía: Atomix
