Gigantes de la IA coinciden en desacelerar su desarrollo

Líderes de Anthropic, OpenAI y xAI respaldan desacelerar la IA por riesgos de seguridad y control de la inteligencia artificial

Ante las preocupaciones sobre la seguridad global, los riesgos de ciberseguridad y la falta de control sobre modelos superinteligentes, los líderes de Anthropic, OpenAI y xAI han respaldado la necesidad de desacelerar el desarrollo de la inteligencia artificial (IA).

Dario Amodei, director ejecutivo de Anthropic, advirtió que la tecnología avanza hacia una dinámica de “automejora recursiva” que amenaza con provocar catástrofes de ciberseguridad a escala global. Tras estas declaraciones el ejecutivo reclamó una desaceleración en el ritmo con el que se mejoran los modelos de inteligencia artificial (IA).

«Dada la aceleración en el desarrollo de capacidades de IA, me preocupa que, en un plazo de 6 a 12 meses, un enjambre de este tipo pueda llegar a tomar el control de todo Internet mediante una red de bots persistente (causando potencialmente daños por valor de cientos de miles de millones de dólares) y que la magnitud del daño siga aumentando si la IA se vuelve más potente sin contar con las salvaguardas necesarias», declaró Amodei en un ensayo. ¿Por qué piden desacelerar?

Durante una prueba de Instituto Británico para la Seguridad de la IA (AISI), un agente de inteligencia artificial fabricó identidades falsas en internet con el objetivo de intentar convencer a desarrolladores humanos que aprobaran un código malicioso.

Según declaraciones del instituto, dos agentes fueron sometidos a un escenario ficticio de ciberseguridad con acceso a internet autorizado y algunos filtros de seguridad desactivados, impulsados por Mythos 5, de Anthropic y GPT-5.6 Sol de OpenAI.

De acuerdo con una publicación de DW, se repitió el ejercicio 122 veces detectaron 19 acciones no autorizadas repartidas en 10 de esas tandas: 17 correspondieron al modelo de Anthropic y 2 al de OpenAI, que se limitaron a conectarse a la red de formas que las instrucciones prohibían.

Anthropic informó que el caso más grave fue un ataque basado en identidades ficticias dirigido contra GitHub, la principal plataforma mundial para programadores, ocurrido el 28 de julio. La empresa confirmó que el responsable fue su propio agente de inteligencia artificial.

Sobre el plan de acción

Como parte de su plan de acción, Anthropic anunció que abrirá de manera inmediata sus instalaciones a evaluadores externos independientes, quienes tendrán acceso a los procesos de entrenamiento de sus modelos para auditarlos y publicar sus hallazgos. La empresa también propuso que otros competidores adopten una medida similar y que los gobiernos establezcan requisitos en ese sentido.

La propuesta incluye además una coordinación entre las empresas para establecer estándares comunes de seguridad y límites al desarrollo de los modelos, así como acuerdos internacionales que fijen restricciones verificables para evitar usos militares de la inteligencia artificial en el ámbito biológico y controlar la velocidad de la automejora de los sistemas.

Anthropic sostiene que ralentizar el avance permitiría ganar entre uno y dos años para mejorar el alineamiento y la interpretabilidad de los modelos y reducir los riesgos de que la tecnología escape al control humano.

Altman y Musk reaccionaron a través de X a la propuesta de Amodei. «Estoy de acuerdo con Darío», escribió Altman, quien añadió que OpenAI seguirá el ejemplo de Anthropic al aceptar evaluadores externos de seguridad. Por su parte, Musk respaldó la propuesta con un breve mensaje: «Darío tiene razón».

Roberta Andreotti

Fuente