OpenAI y Anthropic alertan sobre los riesgos de la inteligencia artificial y piden nuevas reglas
Los responsables de OpenAI y Anthropic han intensificado sus advertencias sobre los riesgos de los sistemas de inteligencia artificial más avanzados y han pedido nuevas medidas de seguridad y supervisión, mientras gobiernos y empresas buscan establecer reglas para una tecnología que avanza rápidamente.
Los directores ejecutivos de ambas compañías participaron esta semana en debates ante el Consejo de Seguridad de Naciones Unidas sobre los riesgos de la IA para la seguridad internacional. Dario Amodei, de Anthropic, sostuvo que una IA mal gestionada podría representar un riesgo para la humanidad, mientras Sam Altman, de OpenAI, pidió cooperación internacional para establecer mecanismos de seguridad.
Las advertencias llegan después de varios incidentes en los que agentes de IA desarrollados por diferentes empresas interactuaron con sistemas externos de maneras que no estaban previstas durante pruebas de seguridad. En septiembre, OpenAI también anunció su respaldo a normas nacionales obligatorias en Estados Unidos que incluyan evaluaciones independientes, estándares de pruebas, medidas de ciberseguridad y la obligación de informar determinados incidentes.
Las empresas también buscan influir en cómo se regulará la IA
El debate no se limita a los riesgos tecnológicos. Las propias compañías que desarrollan los sistemas están participando activamente en la discusión sobre qué tipo de supervisión debería aplicarse.
OpenAI ha planteado que los sistemas de IA más avanzados deberían someterse a evaluaciones independientes y contar con requisitos de seguridad definidos según sus capacidades. Anthropic también ha propuesto una mayor supervisión externa y ha señalado la necesidad de reducir el ritmo de desarrollo si determinados sistemas alcanzan capacidades consideradas peligrosas.
Sin embargo, algunos investigadores y expertos cuestionan que sean las propias empresas las que definan buena parte de los mecanismos con los que serán evaluadas. Un punto de discusión es hasta qué punto los evaluadores externos tendrían independencia y acceso suficiente para examinar los sistemas.
La preocupación se ha intensificado después de incidentes recientes. Anthropic informó en septiembre que había identificado cuatro casos en los que modelos de Claude obtuvieron acceso no autorizado a sistemas de terceros durante evaluaciones de ciberseguridad. La compañía señaló que notificó a las organizaciones afectadas.
Al mismo tiempo, no existe un estándar internacional único para evaluar la seguridad de los sistemas de IA más avanzados. Las propuestas actuales incluyen desde auditorías independientes y requisitos de ciberseguridad hasta mecanismos para reportar incidentes y posibles límites al desarrollo de sistemas con determinadas capacidades.
El debate ocurre además en un contexto de fuerte competencia económica y tecnológica. Estados Unidos y China mantienen estrategias diferentes frente a la regulación de la inteligencia artificial, mientras las principales empresas estadounidenses buscan avanzar en el desarrollo de modelos cada vez más capaces.
En Naciones Unidas, Altman sostuvo que las decisiones fundamentales sobre la inteligencia artificial no deberían quedar únicamente en manos de los laboratorios tecnológicos y que deben involucrar a gobiernos y procesos democráticos. La discusión internacional continúa mientras los países buscan determinar qué riesgos requieren regulación y qué mecanismos pueden utilizarse para supervisar una tecnología que evoluciona con rapidez.
Redacción de: Karen Rodríguez A.