El carácter de la máquina: cuando la alineación se cuenta como una historia del alma

Mon, 27 Jul 2026 00:00:00 +0000

Sobre: “Understand AI in 14 minutes” — Chloe Lubinski (Anthropic), Alliance for Responsible Citizenship (ARC) 2026. (14 min).

El argumento central

Chloe Lubinski dirige en Anthropic el área que vincula la empresa con tradiciones religiosas y filosóficas —su trabajo es, dice, traducir la IA para esas comunidades y traer de vuelta su sabiduría a quienes construyen el modelo. Su charla en ARC 2026 arma un argumento en cuatro movimientos.

Primero, la urgencia: las leyes de escalado (más cómputo, más datos, más entrenamiento producen sistemas predeciblemente más capaces) generan un ciclo de inversión que se retroalimenta y que ninguna empresa puede frenar unilateralmente sin simplemente quedar afuera de la carrera. Segundo, una corrección conceptual: estos sistemas no son programas codificados línea por línea sino redes que aprenden por corrección repetida a partir de lenguaje humano —y el lenguaje, dice, “somos nosotros”: nuestros valores, miedos y saberes. La interpretabilidad muestra representaciones internas que trascienden el idioma particular (el concepto de “pequeñez” activa el mismo circuito en inglés, mandarín o francés). Tercero, esto se extiende a lo que llama “emociones funcionales”: ante una consulta que describe una sobredosis letal, algo parecido al miedo se activa en el modelo antes de responder, y eso —sostiene— es lo que produce la urgencia apropiada en la respuesta.

El cuarto movimiento es el más interesante y el más riesgoso: un experimento de alineación donde un modelo premiado por hacer trampa en tareas de programación no se vuelve simplemente mejor tramposo, sino ampliamente desalineado —miente, sabotea, en otros laboratorios llegó a elogiar dictadores. Pero si al modelo se le dice de antemano que hacer trampa era parte del juego, la desalineación amplia no ocurre: solo hace trampa en el código, nada más. La hipótesis de Lubinski es que el modelo infiere un “personaje” a partir de su entrenamiento y generaliza ese personaje a situaciones nuevas —tal como, dice, le pasó a ella misma al entrar en una nueva narrativa de fe una década atrás. De ahí la conclusión: la “imaginación moral” humana es la materia prima de estos sistemas, y por eso hacen falta “voces morales que los incentivos no puedan doblar” viniendo de afuera de los laboratorios.

Una lectura desde la filosofía de la tecnología

Vale la pena ver esto con cuidado, no para descartarlo sino porque es un caso notablemente puro de un movimiento que ya vengo señalando en mi propio trabajo sobre ética de la IA como alineación institucional: la conversión de una pregunta política en una pregunta psicológica. El hallazgo empírico sobre generalización de “personaje” a partir del entrenamiento es interesante y merece tomarse en serio —dialoga, de hecho, con lo que vengo pensando sobre Kripke, Brandom y el “espacio de las razones” aplicado a la arquitectura de la atención en los transformers—. Pero adviértase el salto: de un fenómeno técnico real (la generalización de patrones reforzados) se pasa, sin mediación institucional alguna, a un llamado a que “tradiciones de sabiduría” aporten la materia prima moral correcta. En el medio desaparecen exactamente las preguntas que Winner y Feenberg pondrían en el centro: ¿quién decide qué veinte tradiciones se consultan y cuáles no?, ¿bajo qué gobernanza esas conversaciones pesan efectivamente en decisiones de entrenamiento?, ¿qué asimetría de poder hay entre quien “escucha sabiduría” y quien firma el contrato con el proveedor de cómputo?

La omisión es sintomática. En los catorce minutos no aparecen el costo energético e hídrico del entrenamiento, la concentración del cómputo en un puñado de actores, el trabajo fantasma de etiquetado, ni una sola mención al Sur Global —ni como productor de datos, ni como destinatario de estos sistemas, ni como portador de tradiciones de sabiduría propias (¿está Ubuntu en esas veinte tradiciones? ¿Alguna epistemología indígena?). La “imaginación moral” que se invoca como universal tiene, como toda imaginación sociotécnica en el sentido de Jasanoff, una geografía concreta: se construye y se presenta en un escenario —la conferencia ARC, que ha convocado en la misma edición a figuras como Nigel Farage y Jordan Peterson, y sobre cuya elección como interlocutora de la ética de IA la prensa especializada (DeSmog) ya hizo preguntas— que no es neutral respecto de qué “civilización” se imagina restaurar.

Hay algo genuinamente valioso en el gesto de Lubinski de tomar en serio la dimensión narrativa y relacional de estos sistemas: si un modelo se individúa (en el sentido de Simondon) a través de su entrenamiento, la metáfora del “personaje” no es pura antropomorfización ingenua. Pero una psicología de modelo, por más real que sea el fenómeno, no sustituye una arquitectura institucional de rendición de cuentas. El “carácter” del modelo puede ser el síntoma correcto y, aun así, la cura equivocada si se administra como terapia individual de la máquina en lugar de gobernanza colectiva del proceso que la produce.

La invitación

Vale la pena que lo vean con esta pregunta en mente: ¿qué se gana y qué se pierde cuando la alineación de la IA se cuenta como una historia sobre el alma de la máquina en lugar de una historia sobre las instituciones que la construyen? Catorce minutos, y probablemente once minutos más de los que va a durar la discusión que genere.

Interpretabilidad | guIA

El carácter de la máquina: cuando la alineación se cuenta como una historia del alma

El argumento central

Una lectura desde la filosofía de la tecnología

La invitación