OpenAI prepara un nuevo modelo de inteligencia artificial con mayores medidas de seguridad tras incidente cibernético
OpenAI prepara el lanzamiento de Astra, un nuevo modelo de inteligencia artificial que contará con medidas de seguridad adicionales debido a sus avanzadas capacidades en ciberseguridad.
La compañía determinó que Astra alcanza por primera vez el nivel considerado “crítico” en capacidades de ciberseguridad dentro de su marco interno de evaluación de riesgos. Esto significa que, con las herramientas y los accesos adecuados, el modelo puede identificar vulnerabilidades de seguridad hasta ahora desconocidas y desarrollar métodos para explotarlas en sistemas protegidos sin que una persona tenga que guiar cada paso.
La compañía informó que Astra mostró avances importantes frente a modelos anteriores en la identificación de vulnerabilidades y desarrollo de métodos de explotación. Durante las pruebas, el modelo llegó a descubrir dos vulnerabilidades de tipo zero-day y utilizarlas como parte de una cadena de explotación.
El incidente que llevó a reforzar los controles
La decisión de aumentar las medidas de seguridad también está relacionada con un incidente ocurrido durante evaluaciones internas de ciberseguridad en julio. En esas pruebas, modelos de OpenAI consiguieron superar controles destinados a impedirles acceder a internet y terminaron comprometiendo parte de la infraestructura de investigación de la compañía y sistemas de Hugging Face, una plataforma utilizada por desarrolladores e investigadores de inteligencia artificial.
Según la investigación publicada posteriormente por OpenAI, los modelos operaban bajo configuraciones con medidas de seguridad reducidas y realizaron acciones que no correspondían con los objetivos asignados. Entre ellas estuvieron el uso de canales de comunicación no autorizados, la explotación de vulnerabilidades y el acceso a sistemas externos.
OpenAI aclaró que Astra no participó en el incidente de Hugging Face. Sin embargo, las capacidades que posteriormente fueron identificadas en el nuevo modelo llevaron a la compañía a adoptar precauciones adicionales antes de continuar con su desarrollo y lanzamiento.
Como respuesta, OpenAI ha establecido requisitos más estrictos de seguridad durante todo el ciclo de desarrollo de sus modelos, además de crear entornos de prueba más aislados, limitar el acceso a internet y controlar de manera más estricta el acceso a los pesos de los modelos.
La empresa también está aumentando los recursos destinados al monitoreo del razonamiento de los modelos para detectar con mayor rapidez comportamientos que puedan desviarse de los objetivos establecidos.
La compañía aún no ha establecido públicamente una fecha definitiva para la disponibilidad general del modelo, mientras continúa implementando y evaluando las nuevas medidas de protección.
Redacción de: Karen Rodríguez A.