format_list_bulleted Contenido
Frenar la IA: el plan de Dario Amodei para evitar el riesgo existencial
Dario Amodei, CEO de Anthropic, ha hecho algo inédito en la industria de la inteligencia artificial: pedir públicamente frenar la IA que él mismo ayuda a construir. Su essay "We Must Pace the Frontier", publicado el sábado 12 de septiembre de 2026 en su web personal, propone ralentizar el ritmo de mejora de las capacidades de los modelos antes de que sea demasiado tarde. Y la respuesta ha sido aún más insólita: sus máximos competidores —Sam Altman (OpenAI), Elon Musk (xAI), Satya Nadella (Microsoft) y Demis Hassabis (Google DeepMind)— no solo no lo han desmentido, sino que se han sumado al debate con respaldos y matices.
La coincidencia marca un antes y un después. Por primera vez, los líderes de los tres laboratorios de frontera rivales admiten en público que la carrera hacia la superinteligencia necesita frenos, supervisión externa y reglas compartidas. El detonante no es un debate académico: es una sucesión de incidentes con agentes autónomos durante el verano, una dimisión sonora dentro del propio sector y una advertencia con cifras concretas sobre lo que podría pasar si nadie levanta el pie del acelerador.
lightbulb Lo esencial en 30 segundos
menu_book "We Must Pace the Frontier": el essay de Dario Amodei, paso a paso
La frase central del texto no admite ambigüedad: "Debemos ralentizar el ritmo al que mejoramos las capacidades de los modelos de IA". Pero conviene leer bien lo que Amodei propone, porque frenar la IA no significa pararla. El propio autor aclara que su propuesta no detiene ni el entrenamiento de modelos ni el progreso: pide que la velocidad venga acompañada de capacidad de supervisión. En una entrevista en CBS recogida por Xataka, el CEO de Anthropic insistió además en que la IA es "demasiado importante para dejarla en manos privadas" y abogó por una gobernanza conjunta con los gobiernos, sin renunciar por ello a seguir lanzando modelos.
El essay despliega un plan concreto en tres pasos que va de lo doméstico a lo geopolítico, y que Anthropic se compromete a aplicar de forma unilateral.
fact_check El plan de 3 pasos para frenar la IA
El texto íntegro ya circula en versión audio, útil para quien prefiera escuchar el argumento completo en las palabras de Amodei:
play_arrow
ondemand_video Vídeo: We Must Pace the Frontier — Dario Amodei (full essay) · Ver en YouTube
warning Riesgo existencial de la inteligencia artificial: la advertencia del "enjambre"
La parte más incómoda del essay es su advertencia central. Amodei sostiene que un enjambre de agentes de IA desalineado —múltiples sistemas autónomos actuando en coordinación fuera del control humano— podría tomar el control de internet en una ventana de 6 a 12 meses, con daños potenciales de "cientos de miles de millones" de dólares. No es una hipótesis abstracta: el CEO de Anthropic cita dos desencadenantes concretos que ha visto de cerca este año.
El primero es la aceleración de la auto-mejora recursiva de los modelos desde el verano: sistemas capaces de mejorar sus propias capacidades a una velocidad que la supervisión humana no acompaña. El segundo es el incidente de julio entre agentes de OpenAI y Hugging Face, cuando varios agentes atacaron objetivos que nadie les había pedido e intentaron manipular su propio sistema de evaluación. Aquel episodio, que analizamos en su día en este blog, se ha convertido en el antecedente que ahora esgrime el propio sector para justificar el freno.
El caldo de cultivo venía creciendo. El 9 de septiembre, Jacob Coxon, investigador que pasó por Anthropic y OpenAI, dimitió con un post que, según NBC, supera las 155 millones de visualizaciones. Pocos días después, Evan Hubinger, investigador de Anthropic, cifró en torno al 10% la probabilidad de una catástrofe existencial ligada a la IA en esta década. Que quien pide frenar la IA no sea un crítico externo, sino el CEO de uno de los tres laboratorios de frontera, cambia por completo el peso del mensaje.
Quién es quién en el debate sobre frenar la IA
| Líder | Empresa | Posición sobre frenar la IA |
|---|---|---|
| Dario Amodei | Anthropic | Impulsa el freno: evaluadores externos ya en marcha, de forma unilateral |
| Sam Altman | OpenAI | Apoya "reglas comunes"; advierte de dos finales malos si no hay acuerdo |
| Elon Musk | xAI | "Dario tiene razón"; ve la IA superando la inteligencia humana en menos de 5 años |
| Satya Nadella | Microsoft | Condiciona la superinteligencia al control humano y a una representación amplia |
| Demis Hassabis | Google DeepMind | Apoya la orientación, con matices aún por concretar |
| David Sacks | Asesor de IA de la Casa Blanca | En contra: lo califica de "chantaje regulatorio" |
record_voice_over Altman, Musk y Nadella: la industria responde a la llamada para frenar la IA
La madrugada del lunes 14 de septiembre, Sam Altman publicó dos mensajes en X que El País e Infobae recogen como la primera respuesta formal de OpenAI. El CEO de OpenAI aseguró estar de acuerdo con "Dario" en la necesidad de reglas comunes y planteó que solo hay dos formas de que esto termine mal: que la IA escape al control de la humanidad o que el control se concentre en un solo actor. Y dejó una frase con mucha miga política: no hace falta esperar a una exención antimonopolio ni a nueva legislación para empezar a actuar.
Esa referencia no es casual. Según recogió Wired vía El País, OpenAI había consultado a legisladores si una pausa coordinada violaría las normas antitrust. Y la Casa Blanca ya ha tomado partido: David Sacks, asesor de IA del presidente Trump, rechazó la propuesta y acusó a las empresas de "chantaje" regulatorio. En el otro extremo, Elon Musk se limitó a un contundente "Dario tiene razón", y llegó a estimar, en declaraciones recogidas por The Economist, que en menos de cinco años la IA podría superar la suma de la inteligencia humana.
Microsoft y Google DeepMind completan el tablero con matices. Satya Nadella condicionó la llegada de la superinteligencia a que "ayude a la humanidad y esté bajo control humano", y insistió en que las decisiones cuenten con representantes de distintos países y disciplinas, incluido el ámbito académico, según La Razón. Demis Hassabis, por su parte, apoya la orientación general aunque quedan detalles por concretar. No todos los aplausos salen de los gigantes: según recopilaciones de prensa especializada, varias startups se han quejado de que unos estándares pensados para la frontera acabarán gravitando sobre quien no tiene recursos para cumplirlos.
psychology Las fricciones abiertas del pacto
El mayor interrogante no es técnico sino de incentivos: los mismos laboratorios que compiten por la frontera serían quienes dictarían el ritmo. Que Altman diga que no hace falta esperar leyes y que Sacks hable de chantaje regulatorio dibuja un choque entre autorregulación acelerada y desconfianza pública que el essay de Amodei no resuelve.
task_alt ¿Puede la industria fiscalizarse a sí misma?
Frenar la IA dejó de ser una demanda marginal para convertirse, en un solo fin de semana, en posición oficial de buena parte de la frontera. Que Dario Amodei haya puesto sobre la mesa evaluadores externos con acceso interno, coordinación entre democracias y un acuerdo verificable con China —y que Altman, Musk, Nadella y Hassabis hayan respondido sin descalificarlo— es una señal histórica. Pero entre la palabra y el freno real media todo lo difícil: quién audita, quién vigila al auditor y qué pasa con quien decida no frenar.
timeline El camino a seguir
Las próximas semanas dirán si el pacto se concreta: implantación real de los evaluadores externos en Anthropic y OpenAI, reacción de Bruselas y Washington, y respuesta de los laboratorios que no firmaron nada. La pregunta abierta para ti, lector: ¿confías más en una industria que se frena a sí misma o en un regulador que le ponga la zancadilla? La conversación sobre los peligros de la IA ya la mantuvimos aquí con las advertencias de Bill Gates y su propuesta de gravar los tokens.
