El dilema ético de Anthropic ante el avance de la inteligencia artificial

En marzo, Dario Amodei convocó al equipo de Anthropic para plantear una inquietud que empezaba a crecer dentro de la empresa: el desarrollo de modelos de IA con capacidad para automatizar tareas técnicas avanzadas, como escribir y depurar código, podría cambiar radicalmente la estructura laboral interna en poco tiempo.

¡Mantenete al tanto de las últimas noticias de San Nicolás y el país!. Unite a nuestro CANAL DE WHATSAPP y recibí las novedades directamente en tu teléfono. Click AQUÍ

Según Bloomberg, Amodei advirtió que ese nivel de automatización podría llevar a ralentizar la contratación con el objetivo de evitar despidos. Este planteo interno refleja el gran dilema de la industria: cómo seguir innovando sin poner en riesgo la seguridad de los propios trabajadores ni acelerar problemáticas éticas no resueltas.

Un momento clave se produjo en febrero, cuando especialistas del equipo de seguridad alertaron sobre el posible uso de Claude 3.7 Sonnet para la fabricación de armas biológicas. Esta advertencia coincidió con la presión competitiva del mercado, mientras la compañía cerraba una inversión que la valoró en más de 61.000 millones de dólares. Pese al contexto, Amodei optó por retrasar el lanzamiento para hacer nuevas pruebas, privilegiando la seguridad sobre la urgencia.

Para gestionar riesgos como este, Anthropic estableció una política interna de escalamiento responsable inspirada en protocolos de bioseguridad. Se trata de una clasificación denominada AI Safety Levels (ASL), que define los niveles de riesgo de cada modelo. Los ASL-2 pueden entregar información peligrosa pero imprecisa; en cambio, un modelo ASL-3 podría facilitar significativamente la creación de armas a personas sin formación especializada.

Ante esa posibilidad, la empresa cuenta con medidas como proteger el código, bloquear respuestas peligrosas o incluso debilitar el modelo intencionalmente. Tras varias jornadas de evaluación, el equipo concluyó que Claude 3.7 Sonnet no alcanzaba el umbral de ASL-3, por lo que se aprobó su lanzamiento, aunque con retraso.

Amodei calificó esa demora como “dolorosa”, debido a la presión del mercado. Aun así, insistió en que el deber moral de Anthropic es comunicar claramente los riesgos de la IA. En su visión, esta tecnología representa tanto una posibilidad de curar enfermedades como de generar desempleo masivo, lo que podría concretarse antes de 2030.

Fundada hace cuatro años, Anthropic surgió con la meta de liderar este cambio con responsabilidad. A pesar de sus ingresos proyectados —2.000 millones de dólares al año según datos de abril— la empresa aún no es rentable, principalmente por los altos costos del entrenamiento de modelos avanzados, que pueden llegar a 100.000 millones.

Para enfrentar el salto hacia ASL-3, la empresa ha incorporado a ex investigadores de OpenAI, algunos críticos de la evolución de su antigua casa matriz. Según Bloomberg, estos nuevos integrantes están dispuestos a denunciar si Anthropic incumple sus propios estándares éticos.

Mientras tanto, el ritmo vertiginoso del sector ha generado demoras también en otras firmas como Google, Meta y la propia OpenAI. Algunos analistas especulan que tanto énfasis en los peligros de la IA podría estar exagerando su poder real. Otros alertan que, con 14.000 millones de dólares invertidos, el mercado presiona para que Anthropic se imponga frente a competidores como DeepSeek o Meta, aún si eso implica asumir riesgos éticos.

De OpenAI a Anthropic: un recorrido con sello propio

Dario Amodei, nacido y criado en el Mission District de San Francisco, no proviene del circuito tecnológico clásico. Su madre trabajó en una biblioteca y su padre, inmigrante italiano y artesano, debió dejar el oficio por razones de salud. Desde joven, demostró habilidades inusuales para la matemática y la ciencia, al punto de asistir a clases universitarias durante la secundaria.

Estudió física en Caltech y Stanford, pero su curiosidad por la IA surgió tras leer The Singularity Is Near, de Ray Kurzweil. Más adelante, realizó un doctorado en Princeton sobre estructuras neuronales en anfibios. Aunque los experimentos con salamandras lo incomodaban éticamente, su interés era resolver problemas de salud a través de la ciencia.

Desencantado con la lentitud del método científico, en 2014 se incorporó a Baidu y luego a Google Brain. Allí comenzó a enfocarse en los riesgos de la IA, y en 2016 publicó un artículo relevante sobre los efectos no deseados de esta tecnología. Ese mismo año se sumó a OpenAI, entonces un laboratorio sin fines de lucro, como jefe de investigación en seguridad.

En OpenAI desarrolló la teoría de las “leyes de escalado”, que sostiene que el rendimiento de las redes neuronales mejora aumentando su tamaño y capacidad, más allá de los algoritmos. Esta idea fue clave para el auge de los grandes modelos de lenguaje actuales.

Pero al sentir que OpenAI se alejaba de su misión inicial, en 2020 fundó Anthropic junto a su hermana Daniela y seis colegas, con la intención de operar bajo principios distintos. Desde sus inicios, enfrentaron dudas sobre si podrían competir con OpenAI, pero hoy cuentan con una base sólida de clientes y tecnología comparable.

Eric Schmidt, ex CEO de Google e inversor temprano de Anthropic, recuerda que Amodei rechazó adoptar una estructura tradicional de startup, optando por una figura legal con misión pública. Incluso cuando se debatía si enfocarse solo en investigación o buscar financiación filantrópica, prefirieron dejar sus puertas abiertas.

Hemant Taneja, de General Catalyst, apuesta a que Anthropic será una de las empresas líderes en IA, aunque reconoce los desafíos y riesgos de su estrategia a largo plazo.

Una postura firme frente al mercado

Anthropic ha forjado su reputación como una firma centrada en la seguridad y la responsabilidad, en contraste con las turbulencias que atravesó OpenAI, incluida la breve salida de Sam Altman en 2023. Aunque Amodei evita confrontaciones públicas, la empresa ha lanzado campañas en San Francisco con lemas como “IA en la que puedes confiar” y “La que no tiene todo el drama”.

Manteniendo distancia de la política partidaria, Amodei ha conservado una línea firme tanto bajo la administración de Joe Biden como frente a Donald Trump. En enero, selló un contrato con AIG durante el Foro de Davos, apostando por soluciones basadas en IA confiable y bien fundamentada.

Anthropic avanza en un sector convulsionado, pero insiste en que su misión no es solo competir, sino liderar con ética y responsabilidad en la era de la inteligencia artificial.

LEER: Día de la Bandera: celebremos con orgullo nuestros colores