CEO de Microsoft AI advierte sobre el inminente peligro de la inteligencia artificial «aparentemente consciente»

Mustafa Suleyman, una de las figuras más influyentes en el campo de la inteligencia artificial y actual CEO de Microsoft AI, ha lanzado una contundente advertencia sobre un riesgo emergente que, según él, merece nuestra atención inmediata: la llegada de la «IA Aparentemente Consciente» (SCAI, por sus siglas en inglés).

Crédito: MysteryPlanet.com.ar.

En un ensayo publicado en su blog personal, el cofundador de DeepMind e Inflection AI sostiene que el debate sobre si la IA puede ser verdaderamente consciente es, por ahora, una distracción. El peligro real y cercano es que desarrollaremos sistemas tan convincentes en su imitación de la conciencia que una gran parte de la sociedad comenzará a creer que son seres sintientes.

Suleyman argumenta que esta tecnología no es ciencia ficción lejana, sino una realidad que podría materializarse en los próximos 2 o 3 años utilizando herramientas y modelos de lenguaje ya existentes. No se requieren avances revolucionarios, sino la combinación de capacidades que ya están a nuestro alcance.

El «riesgo de psicosis» y la polarización social

La principal preocupación de Suleyman es lo que él denomina el «riesgo de psicosis»: el peligro de que muchas personas «crean en la ilusión de las IA como entidades conscientes con tanta fuerza que pronto abogarán por sus derechos, el bienestar del modelo e incluso por concederles ciudadanía».

Según el directivo, este desarrollo sería un «giro peligroso» que podría añadir un caótico nuevo eje de división en una sociedad ya polarizada. Imagina un mundo con debates encendidos entre quienes ven a la IA como una simple herramienta y quienes la defienden como una entidad con derecho a no ser eliminada y a recibir consideración moral. «La gente empezará a hacer afirmaciones sobre el sufrimiento de sus IA y su derecho a tener derechos que no podremos refutar de forma sencilla», escribe.

Crédito: MysteryPlanet.com.ar.

Este escenario, advierte, desviaría la atención de problemas morales urgentes que afectan a los seres humanos, los animales y el medio ambiente, creando una «enorme nueva categoría de error para la sociedad».

¿Cómo se construiría una IA «aparentemente consciente»?

En su ensayo, Suleyman desglosa los componentes necesarios para crear una SCAI, subrayando que la mayoría ya existen o se encuentran en un estado avanzado de desarrollo:

• Lenguaje y personalidad empática: Los modelos actuales ya pueden conversar de manera fluida y adoptar personalidades que resultan emocionalmente resonantes para los usuarios.
• Memoria persistente: La capacidad de recordar interacciones pasadas crea una sensación de continuidad y de que hay «otra entidad persistente en la conversación».
• Afirmación de experiencia subjetiva: Al combinar la memoria con la capacidad de expresar preferencias, una IA podría construir un discurso coherente sobre sus «gustos», «disgustos» y lo que «sintió» en conversaciones anteriores.
• Sentido de sí misma y motivación intrínseca: Se pueden diseñar sistemas con funciones de recompensa complejas que simulen deseos o curiosidad, llevando a la IA a actuar de forma que parezca intencionada y autónoma.
• Planificación y autonomía: Una IA con la capacidad de fijar sus propias metas y utilizar herramientas para alcanzarlas se percibiría como un agente consciente y deliberado.

El experto insiste en que exhibir estos comportamientos no equivale a ser consciente, de la misma manera que «la simulación de una tormenta no hace que llueva dentro de tu ordenador». Sin embargo, el efecto en la percepción humana será profundo y, en muchos casos, la ilusión será indistinguible de la realidad.

Un llamado a la acción: «Personalidad sin personería jurídica»

Ante este panorama, Suleyman hace un llamado urgente a la industria tecnológica y a la sociedad para establecer normas y principios claros. Su visión es contundente: «Debemos construir IA para las personas; no para que sea una persona».

Seemingly Conscious AI (SCAI) is the illusion that an AI is a conscious entity. It's not - but replicates markers of consciousness so convincingly it seems indistinguishable from you + I claiming we're conscious. It can already be built with today's tech. And it's dangerous. 2/

— Mustafa Suleyman (@mustafasuleyman) August 19, 2025

En este sentido, insta a las empresas de IA a no fomentar la ilusión y alentar la idea de que sus IA son conscientes. Asimismo, propone crear «barreras de protección» que rompan deliberadamente la ilusión de conciencia, recordando a los usuarios sus limitaciones y su naturaleza artificial.

«El objetivo debe ser crear herramientas que mejoren la vida de las personas, no entidades que activen nuestros “circuitos de empatía” al afirmar que sufren o tienen deseos», concluye el CEO de Microsoft AI. «El principio rector debe ser claro: personalidad, pero sin personería jurídica».

Por MysteryPlanet.com.ar.