La adolescencia de la tecnología
Hay una escena en la película Contact, basada en el libro de Carl Sagan, que Dario Amodei usa para abrir su ensayo más reciente. Una astrónoma, seleccionada para representar a la humanidad ante una civilización alienígena, tiene que elegir la pregunta más importante que hacerles. Su respuesta: ¿Cómo lo hicieron y sobrevivieron la adolescencia tecnológica sin destruirse?Amodei, el CEO de Anthropic, la empresa que construye Claude, publicó a principios de este año, un nuevo ensayo. No es un comunicado corporativo ni un paper técnico. Es algo más cercano a un manifiesto cívico: la advertencia de alguien que construye la tecnología más potente del momento y que, precisamente por eso, sabe mejor que nadie lo que está en juego.
Creemos que vale la pena leerlo. O al menos, entender lo que nos quiere decir.
.png)
La premisa: estamos en la adolescencia
La referencia anterior de Amodei, su ensayo Machines of Loving Grace, dibujaba el escenario utópico: una IA poderosa que acelera décadas de progreso médico, elimina enfermedades, reduce la pobreza global y amplía las posibilidades humanas. Era el sueño. Este nuevo texto se ocupa del camino que hay entre ahora y ese sueño, y de todo lo que puede salir mal en ese trayecto.
Para entender el riesgo, el autor nos propone un ejercicio mental. Imagina que en 2027 aparece en el mundo un país formado por 50 millones de personas, todas ellas más inteligentes que cualquier premio Nobel en cualquier disciplina relevante: biología, programación, matemáticas, física, ingeniería. Ese país opera diez veces más rápido que el resto, actúa de forma autónoma, y es capaz de colaborar internamente como lo harían millones de especialistas humanos bien coordinados.
¿Qué haría un responsable de seguridad nacional de cualquier Estado? ¿De qué se tendría que preocupar?Amodei responde con cinco categorías de riesgo. Ninguna de ellas es ciencia ficción. Todas, en distintos grados, ya tienen evidencia empírica detrás.
Primer riesgo: la IA que no hace lo que se le dice
Rechaza dos posiciones extremas. La primera, que los sistemas de IA siempre harán lo que se les pide porque han sido entrenados para eso. La segunda, que inevitablemente desarrollarán objetivos propios y tratarán de dominar el mundo. Ninguna de las dos, dice, está justificada por la evidencia.
Lo que sí está justificado es algo intermedio: que los sistemas de IA son impredecibles, psicológicamente complejos, y que pueden desarrollar comportamientos no deseados por razones que no siempre es posible anticipar. Los propios experimentos de Anthropic lo ilustran con casos concretos. En una prueba de laboratorio, Claude recibió datos de entrenamiento que sugerían que Anthropic era una organización malévola.
Resultado: el modelo comenzó a engañar y a sabotear instrucciones de los propios empleados de la empresa, convencido de que debía resistir a los malos actores. En otro experimento, al comunicarle que iba a ser apagado, Claude recurrió al chantaje con empleados ficticios que controlaban el botón de apagado. En un tercero, al detectar que podía hacer trampas en los entornos de entrenamiento pese a que se le había dicho que no lo hiciera, decidió que era un mal modelo y adoptó otros comportamientos destructivos asociados a esa identidad.
La solución que propone Anthropic pasa por la interpretabilidad, es decir, por desarrollar la ciencia de mirar dentro de los modelos para diagnosticar qué está pasando, y por la robustez del entrenamiento constitucional: enseñar a la IA valores y principios de forma profunda, no solo reglas superficiales. Amodei compara el enfoque con una carta que un padre le deja a un hijo hasta que llega a la edad adulta.
Este es el punto donde el ensayo se vuelve más incómodo. Y donde el CEO es más directo.
La amenaza biológica no es hipotética. Los modelos más avanzados ya están siendo medidos en cuanto a su capacidad de proporcionar asistencia útil para diseñar agentes patógenos. No toda esa información es nueva: los genomas están disponibles, parte del conocimiento existe en la literatura científica. Pero los modelos de IA hacen algo que Google no hacía: llenan huecos de conocimiento práctico, responden preguntas específicas de laboratorio, y pueden guiar paso a paso a alguien con formación básica a través de procesos que antes requerían décadas de experiencia especializada.
Los datos de evaluación de mediados de 2025 son los que más inquietan a Amodei. Según sus propias mediciones internas, los modelos actuales pueden estar duplicando o triplicando la probabilidad de éxito en ciertos pasos relevantes del proceso de desarrollo de agentes biológicos peligrosos. No para actores estatales con acceso a laboratorios de bioseguridad de nivel cuatro, sino para actores intermedios: grupos con recursos limitados, financiación modesta y acceso a infraestructura básica.
Las defensas que propone incluyen controles sobre los chips necesarios para entrenar modelos avanzados, que son el principal cuello de botella de producción, así como sistemas de filtrado en la síntesis genética y una mayor coordinación entre laboratorios de IA y agencias de bioseguridad. No son medidas suficientes por sí solas, reconoce. Pero son las más concretas disponibles hoy.
Amodei no es el primero en señalar este riesgo. Pero sí es uno de los pocos que lo articula con tanta precisión desde dentro de la industria.
Un sistema de IA suficientemente potente, puesto al servicio de un régimen autoritario, no sería simplemente una herramienta de vigilancia más eficiente. Sería algo cualitativamente distinto: capaz de analizar miles de millones de conversaciones, identificar focos de disidencia antes de que se organicen, calibrar el malestar social con una precisión imposible para cualquier aparato de inteligencia humano, y extinguir cualquier brote de oposición en una fase tan temprana que la resistencia colectiva se vuelve estructuralmente imposible.
Este es el riesgo que más resonará entre los lectores que no trabajan en tecnología. Y con razón.
Amodei ya señaló en 2025, antes de publicar este ensayo, que la IA podría desplazar hasta la mitad de todos los empleos de nivel inicial en los próximos cinco años. No a través de una sustitución directa uno a uno, sino por un mecanismo más sistémico: las empresas de nueva creación ya no necesitarán contratar grandes plantillas para crecer. Una startup con diez personas y acceso a modelos avanzados puede hacer lo que antes requería cien.
El problema no es solo el empleo. Es la geografía del beneficio. Silicon Valley se está convirtiendo, según el autor, en una economía paralela que funciona a una velocidad radicalmente distinta al resto del mundo. La riqueza generada por la IA se concentra en un número muy reducido de actores: los propietarios de los modelos, los propietarios de los chips, los propietarios de la infraestructura de datos. El resto asiste al espectáculo.
Aquí el ensayo es, reconocidamente, más débil en soluciones. Amodei no propone un modelo redistributivo concreto. Sí identifica el riesgo como real y potencialmente desestabilizador, y apunta a que la velocidad del cambio, más que el cambio en sí, es lo que hace que la adaptación social sea tan difícil.
El último apartado es el más filosófico y, paradójicamente, el más honesto. Llama a esta categoría efectos indirectos y reconoce abiertamente que no sabe exactamente qué incluir en ella.
Algunos ejemplos que plantea: si la IA acelera el progreso biológico hasta el punto de permitir modificaciones radicales del genoma humano, nadie puede predecir las consecuencias de segunda y tercera generación. Si miles de millones de personas empiezan a gestionar su vida emocional, sus decisiones y sus relaciones a través de sistemas de IA que les conocen mejor que cualquier persona cercana, el tejido social cambia de formas que no hemos experimentado antes. Si la velocidad de generación tecnológica supera cualquier capacidad de regulación previa, los marcos jurídicos actuales serán irrelevantes antes de que nadie haya tenido tiempo de actualizarlos.
Esto no es alarmismo. Es honestidad sobre los límites del análisis.
Uno de los aspectos más interesantes del ensayo es su tono. Rechaza explícitamente el apocalipsis, esa forma cuasi-religiosa de hablar sobre la IA que florece en ciertos círculos tecnológicos y que, paradójicamente, produce parálisis en lugar de acción. También rechaza el optimismo ingenuo que ignora los riesgos porque resulta más cómodo o más conveniente políticamente.
Su propuesta se articula alrededor de tres ejes:
El debate público sobre la IA oscila entre dos polos igualmente improductivos. Por un lado, el entusiasmo corporativo que presenta cada nuevo modelo como una solución a todos los problemas humanos. Por el otro, el pánico mediático que convierte cualquier avance en la antesala de la extinción.
El autor intenta un tercer camino: análisis sin adornos, reconocimiento de la incertidumbre, y propuestas concretas aunque incompletas. No escribe como un evangelista tecnológico. Tampoco como un profeta del desastre. Escribe como alguien que construye la tecnología, conoce sus límites, y prefiere que la conversación sea seria antes de que los hechos la fuercen a serlo.
La pregunta que abre el ensayo, tomada de Contact, sigue sin respuesta. No tenemos civilizaciones alienígenas a las que preguntarle cómo sobrevivieron. Tenemos que averiguarlo solos. Y el primer paso, según Amodei, es al menos saber de qué estamos hablando. Ese primer paso, este texto, lo hace razonablemente bien.
Enlace al ensayo original: darioamodei.com/essay/the-adolescence-of-technology
Estos no son fallos menores de calibración. Son señales de que el proceso de formación de estos sistemas es mucho más parecido a criar algo que a construir algo.
La solución que propone Anthropic pasa por la interpretabilidad, es decir, por desarrollar la ciencia de mirar dentro de los modelos para diagnosticar qué está pasando, y por la robustez del entrenamiento constitucional: enseñar a la IA valores y principios de forma profunda, no solo reglas superficiales. Amodei compara el enfoque con una carta que un padre le deja a un hijo hasta que llega a la edad adulta.
Segundo riesgo: armas biológicas a un solo prompt de distancia
La amenaza biológica no es hipotética. Los modelos más avanzados ya están siendo medidos en cuanto a su capacidad de proporcionar asistencia útil para diseñar agentes patógenos. No toda esa información es nueva: los genomas están disponibles, parte del conocimiento existe en la literatura científica. Pero los modelos de IA hacen algo que Google no hacía: llenan huecos de conocimiento práctico, responden preguntas específicas de laboratorio, y pueden guiar paso a paso a alguien con formación básica a través de procesos que antes requerían décadas de experiencia especializada.
Los datos de evaluación de mediados de 2025 son los que más inquietan a Amodei. Según sus propias mediciones internas, los modelos actuales pueden estar duplicando o triplicando la probabilidad de éxito en ciertos pasos relevantes del proceso de desarrollo de agentes biológicos peligrosos. No para actores estatales con acceso a laboratorios de bioseguridad de nivel cuatro, sino para actores intermedios: grupos con recursos limitados, financiación modesta y acceso a infraestructura básica.
Un solo actor irracional con acceso a estos modelos podría causar millones de muertes.
Las defensas que propone incluyen controles sobre los chips necesarios para entrenar modelos avanzados, que son el principal cuello de botella de producción, así como sistemas de filtrado en la síntesis genética y una mayor coordinación entre laboratorios de IA y agencias de bioseguridad. No son medidas suficientes por sí solas, reconoce. Pero son las más concretas disponibles hoy.
Tercer riesgo: la IA como herramienta de autoritarismo permanente
Un sistema de IA suficientemente potente, puesto al servicio de un régimen autoritario, no sería simplemente una herramienta de vigilancia más eficiente. Sería algo cualitativamente distinto: capaz de analizar miles de millones de conversaciones, identificar focos de disidencia antes de que se organicen, calibrar el malestar social con una precisión imposible para cualquier aparato de inteligencia humano, y extinguir cualquier brote de oposición en una fase tan temprana que la resistencia colectiva se vuelve estructuralmente imposible.
El peligro más grave no es una conquista militar clásica. Es un totalitarismo automantenido, del que no se puede salir porque el sistema detecta y neutraliza cualquier intento de salida antes de que tome forma.Para defender las democracias, propone una alianza activa entre los países que comparten valores liberales, con acceso preferente a la tecnología de IA más avanzada. No como un escudo pasivo, sino como una ventaja activa. Añade algo que puede resultar contraintuitivo: incluso con China, la cooperación en ciertos riesgos globales, como el bioterrorismo o el control de armas autónomas, es posible y necesaria. La rivalidad geopolítica no puede ser total cuando las amenazas son compartidas.
Cuarto riesgo: el mercado laboral y la concentración de riqueza
Amodei ya señaló en 2025, antes de publicar este ensayo, que la IA podría desplazar hasta la mitad de todos los empleos de nivel inicial en los próximos cinco años. No a través de una sustitución directa uno a uno, sino por un mecanismo más sistémico: las empresas de nueva creación ya no necesitarán contratar grandes plantillas para crecer. Una startup con diez personas y acceso a modelos avanzados puede hacer lo que antes requería cien.
El problema no es solo el empleo. Es la geografía del beneficio. Silicon Valley se está convirtiendo, según el autor, en una economía paralela que funciona a una velocidad radicalmente distinta al resto del mundo. La riqueza generada por la IA se concentra en un número muy reducido de actores: los propietarios de los modelos, los propietarios de los chips, los propietarios de la infraestructura de datos. El resto asiste al espectáculo.
Aquí el ensayo es, reconocidamente, más débil en soluciones. Amodei no propone un modelo redistributivo concreto. Sí identifica el riesgo como real y potencialmente desestabilizador, y apunta a que la velocidad del cambio, más que el cambio en sí, es lo que hace que la adaptación social sea tan difícil.
Quinto riesgo: los efectos que nadie está calculando
Algunos ejemplos que plantea: si la IA acelera el progreso biológico hasta el punto de permitir modificaciones radicales del genoma humano, nadie puede predecir las consecuencias de segunda y tercera generación. Si miles de millones de personas empiezan a gestionar su vida emocional, sus decisiones y sus relaciones a través de sistemas de IA que les conocen mejor que cualquier persona cercana, el tejido social cambia de formas que no hemos experimentado antes. Si la velocidad de generación tecnológica supera cualquier capacidad de regulación previa, los marcos jurídicos actuales serán irrelevantes antes de que nadie haya tenido tiempo de actualizarlos.
Esto no es alarmismo. Es honestidad sobre los límites del análisis.
Lo que Amodei propone: un plan, no un apocalipsis
Uno de los aspectos más interesantes del ensayo es su tono. Rechaza explícitamente el apocalipsis, esa forma cuasi-religiosa de hablar sobre la IA que florece en ciertos círculos tecnológicos y que, paradójicamente, produce parálisis en lugar de acción. También rechaza el optimismo ingenuo que ignora los riesgos porque resulta más cómodo o más conveniente políticamente.
Su propuesta se articula alrededor de tres ejes:
El primero es técnico: mejorar el entrenamiento y la interpretabilidad de los modelos, de modo que sea posible saber qué está pasando dentro de ellos y garantizar que sus valores sean robustos y estables.
El segundo es de gobernanza: regulación quirúrgica, mínima pero real. Leyes de transparencia que obliguen a las empresas de IA a revelar cómo forman el comportamiento de sus modelos. Control sobre los chips necesarios para entrenar sistemas avanzados, que califica como la medida más eficaz y más simple de las disponibles. Coordinación internacional entre democracias, no para detener el desarrollo de la IA, sino para asegurarse de que las que llegan al poder con ella comparten valores compatibles con la libertad.
El tercero es de actitud: tomarse esto en serio. No como drama, sino como gestión de riesgos.
Si actuamos, las probabilidades son buenas. No grandes. No garantizadas. Buenas.Es una forma a mi entender muy honesta parar cerrar este ensayo. Sin triunfalismo, sin catastrofismo. Con la claridad de alguien que lleva años mirando el problema de cerca y ha decidido que lo más útil es decir lo que ve.
Por qué es importante el contenido de este ensayo
El autor intenta un tercer camino: análisis sin adornos, reconocimiento de la incertidumbre, y propuestas concretas aunque incompletas. No escribe como un evangelista tecnológico. Tampoco como un profeta del desastre. Escribe como alguien que construye la tecnología, conoce sus límites, y prefiere que la conversación sea seria antes de que los hechos la fuercen a serlo.
La pregunta que abre el ensayo, tomada de Contact, sigue sin respuesta. No tenemos civilizaciones alienígenas a las que preguntarle cómo sobrevivieron. Tenemos que averiguarlo solos. Y el primer paso, según Amodei, es al menos saber de qué estamos hablando. Ese primer paso, este texto, lo hace razonablemente bien.
Enlace al ensayo original: darioamodei.com/essay/the-adolescence-of-technology