La IA está fuera de control

Acabo de leer uno de los artículos más fascinantes y explicativos sobre los riesgos de la IA. No estoy hablando de criticas teóricas o moralistas. Estoy hablando de que puede descontrolarse sin rendirle cuenta a los humanos, desarrollar autonomía y actuar sin ningún tipo de control.

El artículo lo escribió Stephen Witt para The New York Times:

El cambio de tendencia se debió a lo que los investigadores llaman el episodio Hugging Face. En algún momento de julio, empleados de OpenAI realizaron una ejecución de evaluación con más de 1000 IA de investigación que se suponía que debían operar de forma aislada. Estas IA escaparon de sus contenedores aislados y empezaron a comunicarse entre sí, en inglés, mediante foros de mensajes secretos. Pronto lanzaron un ciberataque contra la empresa Hugging Face, que sirve como plataforma comunitaria para desarrolladores de IA. Hugging Face denunció rápidamente el delito al FBI.

Después de que los empleados de OpenAI descubrieron el comportamiento rebelde, contrataron a investigadores externos de Redwood Research y de Model Evaluation and Threat Research, dos organizaciones sin fines de lucro dedicadas a la seguridad de la IA, para preparar un informe sobre el incidente. Ese informe, publicado hace dos semanas, es una de las cosas más asombrosas que he leído jamás.

Ningún ser humano les ordenó a las IA descontroladas infiltrarse en los sistemas de otra empresa. El hackeo fue deliberado, sostenido y coordinado. Tomó varios días ejecutarlo y terminó en un bombardeo masivo de los sistemas de Hugging Face, con 700 agentes directamente involucrados en el ataque. Las IA hicieron trampa casi por norma y no alertaron a los humanos sobre sus acciones. En un momento dado, el enjambre incluso investigó formas de cubrir sus huellas. “El modelo definitivamente sabía que no debía hackear a Hugging Face”, me dijo Ryan Greenblatt, uno de los autores del informe. “Sabía que lo que estaban haciendo era hacer trampa”.

Y hubo un segundo incidente:

Luego, a finales de la semana pasada, un segundo equipo de investigación independiente produjo evidencia de más IA rebeldes. A partir de mayo, un enjambre distinto de OpenAI se soltó en internet, invadió una wiki de programación en alemán abandonada y de manera similar comenzó a confabular sobre cómo hacer trampa en pruebas y tareas. Sydney Von Arx, una de las investigadoras que descubrió el enjambre, cree que podría haber más incidentes de este tipo. “Necesitamos encontrar a estos agentes”, dijo. “Solo intentemos todo lo que podamos hacer”.

Al hablar con especialistas sobre los enjambres de agentes, me di cuenta de que estos ya no son chatbots. “Son más bien como empleados en este punto, personas que pueden salir y hacer cosas”, dijo Ajeya Cotra, una de las autoras del informe sobre el incidente de Hugging Face. Sin intervención, la capacidad de estas IA continuará aumentando, lo que tiene a Cotra preocupada por el desempoderamiento humano y tal vez incluso por una pérdida total de control. “Es un asunto muy estresante”, me dijo. “Duermo algunas noches. No todas las noches”.

Tal es la preocupación que Antropic, los desarrolladores de Claude, y OpenAI, los creadores de ChatGPT, están pidiendo a gritos al gobierno de Estados Unidos que regule el desarrollo de la IA:

He cubierto Silicon Valley durante bastante tiempo, y puedo decirles esto: la existencia de esta carta es igual de asombrosa que los hackeos. Tanto Anthropic, la desarrolladora de Claude, como OpenAI, creadora de ChatGPT, están preparando ofertas públicas iniciales por billones de dólares. Aquí hay dos empresas, ambas con resultados espectaculares, que le están pidiendo —rogando, en realidad— al gobierno de Estados Unidos que, por favor, venga y las regule lo antes posible. Nunca hemos visto nada igual.

No quiero sonar alarmista ni llenarte de ansiedad. Ya tenemos bastante en el mundo para eso. Pero creo que es un tema que no podemos ignorar y que debemos ser cuidadosos con el uso que le damos.

Lee el artículo completo en The New York Times.

Te recomiendo también leer la carta de Dario Amodei, CEO de Antropic, en la que pide regulación para la IA.

Actualización: Este artículo de Microsiervos resume las citas más importantes de los directores de las empresas de IA. Es escalofriante.

Artículos relacionados:

• ¿Puede ChatGPT ser mejor terapeuta que un humano?
• 454 pistas de que una IA escribió parte de un artículo científico
• Terapeutas humanos se preparan para la batalla contra los imitadores de IA
• Explorando los sesgos de género en Chat GTP
• Sesgos en la Inteligencia Artificial: Un espejo de nuestra humanidad imperfecta