La primera vez que escuché el término black box fue en julio de 2017. Estaba pasando un mes en el Centro de ciencia de datos de la Universidad de Nueva York y fui a ver una charla sobre procesamiento natural del lenguaje. Trataba de algo de semántica (no recuerdo el tema concreto) y la autora aplicaba una red neuronal, es decir, un modelo de inteligencia artificial no generativa. Cuando salimos de la charla, el profesor con el que hacía la estancia me dijo que ese tipo de modelos le daban mala espina, porque eran black boxes: cajas negras cuyo funcionamiento interno desconocíamos.

Creo que yo ya conocía algunas aplicaciones de estos modelos en otras ciencias. Por ejemplo, me impresionaba su uso en la lectura de imágenes radiológicas: un modelo entrenado con imágenes y sus diagnósticos podía leer una imagen nueva y dar un diagnóstico muy fiable. La inteligencia artificial no generativa era una forma de analizar ingentes cantidades de datos (big data era uno de los términos de moda), pues permitía encontrar patrones que podían pasar desapercibidos al ojo humano o, más bien, a su cerebro, más limitado en cuestiones de memoria que un ordenador potente. Pero despertaba cierta inquietud, pues el proceso seguido por el modelo era opaco. En una aplicación médica, esto podía verse contrarrestado por un alto grado de acierto y, sobre todo, su bajo coste, que permitía diagnósticos radiológicos fiables incluso en lugares en los que no podía haber un radiólogo. Pero a mi profesor le parecía —y yo concordaba y concuerdo— que, en la investigación científica, entender el proceso era fundamental, porque es lo que nos acerca a la explicación, que es lo que buscamos.

La inteligencia artificial no generativa no es sencilla de usar. Uno debe saber cosas, de estadística, de programación y, para una buena interpretación final, de la materia a la que se aplica. Así que estas reflexiones se ceñían a determinados círculos —ni siquiera sé si despertaban muchos debates, porque mi ámbito no estaba entre ellos—. Pero a finales de 2022 llegó ChatGPT y nos tiró la inteligencia artificial a la cara, en este caso, la inteligencia artificial generativa (IAG a partir de ahora). Traté de explicar aquí las bases del funcionamiento de los grandes modelos de lenguaje (large language models en inglés), que son la base de ChatGPT y compañía. Lo que me interesa ahora es el debate social sobre los riesgos y las ventajas de la IAG, debate en el que yo tiendo a situarme en el lado de los carcas: creo que los riesgos pueden superar a las ventajas.

Cuando uno manifiesta recelos a la IAG, incluso si no son viscerales, se suelen oponer dos tipos de posturas, relacionadas, pero no idénticas. Una es que, históricamente, la tecnología siempre ha traído progreso y que estar en contra es un tipo de reaccionarismo. Por un lado, este argumento se basa en la idea de que “hasta ahora algo siempre ha sido así, luego siempre va a ser así”, que parece claramente falaz (y quizá tenga algún nombre en latín, pero yo no me lo sé). Por otro lado, estamos viviendo un momento de mucho debate sobre las consecuencias negativas de mucha de la tecnología reciente: la generalización de las pantallas obstaculiza el aprendizaje; la televisión, los videojuegos y los teléfonos móviles perjudican la socialización; las redes sociales dañan nuestra concentración y polarizan la sociedad, las aplicaciones para ligar han roto las relaciones… La tecnología puede conllevar perjuicios y una reflexión pausada no está de más.

La otra postura es la acusación de ludismo: se está en contra de la IAG porque va a quitarnos el trabajo. Y otra vez vendría la Historia, con mayúsculas, a nuestro rescate: la tecnología va a ayudarnos a hacer nuestro trabajo mejor, pues siempre ha sido así. Sin embargo, creo que esta comparación puede examinarse con algo más de detalle. Hasta ahora, además de en el ámbito de las comunicaciones, la tecnología en el ámbito laboral había venido a ayudarnos en tareas repetitivas, rutinarias (y generalmente físicas). Es decir, en tareas en las que el cerebro humano aportaba poco valor, por lo que su automatización prometía, además de mayor productividad, dejar un mayor número de cerebros humanos libres para dedicarse a otras cosas. Cuando escribí sobre la IAG en 2023, pensé, de forma muy optimista, que, dado que nos podía ayudar a escribir los textos más rutinarios y automáticos (documentos que nadie lee), quizá nos daríamos cuenta de que muchos de esos textos son poco necesarios en sí mismos y que encontraríamos una forma mejor de comunicar o archivar esos datos. Obviamente no ha sido así. Ahora escribimos textos con IAG que luego se lee una IAG y ya estaría, que se suele decir.

Pero, además, la IAG en el ámbito laboral se utiliza cada vez más para tareas con una parte creativa. Y, además, ha irrumpido en el ámbito de la educación, en el que las tecnologías recientes han desempeñado un papel especialmente peliagudo. Cuando le pedimos a IAG que nos dé información, le trasladamos una tarea creativa. Cuando le pedimos que encuentre y analice unos datos, le trasladamos una tarea creativa. ¿Por qué? Cuando buscamos nosotros la información, hacemos un esfuerzo mayor, desde luego. Consultamos diversas fuentes; si encontramos discordancias entre ellas, seguimos buscando y decidimos cuáles descartamos; además, encontramos información más o menos relacionada que nos despierta nuevas ideas e inquietudes. Al final, el conocimiento que adquirido lo hemos creado nosotros, a partir de un análisis de diversas fuentes. Cuando buscamos nosotros los datos, nos damos cuenta de los problemas que pueden surgir en su recolección. Y, cuando los analizamos nosotros, los conocemos bien; otra vez, podrán surgirnos nuevas ideas y, sobre todo, entenderemos el análisis que estamos haciendo. Es cierto que algunos aspectos pueden ser tediosos o repetitivos, pero, a pesar de ello, son valiosos. Creo que esto lo sabe cualquiera que haya tratado de informarse de algo en profundidad o haya querido hacer alguna investigación, de cualquier tipo. Pero no lo saben aquellos que no lo han hecho nunca, ya sea porque son estudiantes, ya sea porque se dedicaban a otra cosa y ahora han pensado que la IAG les da una serie de posibilidades que antes no tenían.

En mi opinión, delegar este tipo de tareas en la IAG conlleva una serie de problemas no despreciables, muy especialmente cuando te falta esa experiencia previa. El primero tiene que ver con la fiabilidad del contenido. Las IAG no son fiables al 100 %. No lo son y, mientras se basen en grandes modelos de texto, no lo serán, porque lo que hacen es generar texto de forma probabilística a partir de haber “leído” mucho texto (aunque luego puedan haber recibido otro tipo de entrenamiento más específico, no afecta a lo sustancial). Esto significa que la máquina es capaz de generar un texto que tiene sentido, pero no tiene ni idea de qué significa.

Para algunas personas, esto es irrelevante. Hay una corriente de pensamiento que se pregunta “¿qué diferencia hay entre una máquina que no sabe lo que dice pero dice lo mismo que podría decir un humano que sí sabe lo que dice?” y se responde “ninguna”. Yo creo que sí la hay. Hay una diferencia conceptual, que queda estupendamente explicada en este artículo. Si no les apetece leer un experimento mental en inglés, les explico yo esta diferencia. ¿Se acuerdan del signo lingüístico de Saussure? Sí, hombre, ese dibujito que unía el significante con el significado. La comunicación humana se basa en ese dibujito: en el emparejamiento de formas lingüísticas con significados. Y esos significados los almacenamos en nuestro cerebro por su relación con sus referentes, que percibimos con nuestros sentidos. La máquina no tiene forma de acceder al significado porque no tiene acceso a los referentes. De hecho, la metáfora según la cual ChatGPT es un loro estocástico falla un poco en ese sentido: el loro tiene la capacidad —aunque sea limitada— de asociar significados a las formas, pero ChatGPT no. (Bueno, creo que el loro la tiene. Supongo que sí, porque los pájaros son muy listos y, si los perros pueden, no veo por qué ellos no.)

Esta diferencia conceptual no convence a aquellos que ven en las IAG inteligencias emergentes o algún otro tipo de magia. Pero esta diferencia conceptual es la que explica algo que es inherente a las IAG: sus alucinaciones. La IAG alucinan (fallan) porque encadenan texto de forma probabilística, no lógica o razonada. Y da igual que le pidamos al modelo que no se invente las cosas o que responda solo si lo sabe: ¡no sabe si lo sabe! Y el que ahora aporten fuentes es un avance, pero solo si las comprobamos.

El segundo problema tiene que ver con la exhaustividad del contenido. Este tipo de modelos reproducen necesariamente las ideas más repetidas en el conjunto de textos en que se entrenan. Esto perjudica a las ideas minoritarias, que muchas veces pueden ser las que nos lleven a algo nuevo: avanzar en el conocimiento requiere necesariamente una idea que contradiga la creencia más asentada. Además, recordemos que son cajas negras: no sabemos cómo se selecciona el contenido que nos dan, por lo que no sabemos lo que se deja fuera.

El tercer problema que veo no tiene que ver con el resultado que nos ofrece la IAG, sino con lo que ocurre en nuestro cerebro o, más bien, lo que no ocurre: cada vez que solicitamos una tarea creativa a una IAG, nosotros dejamos de hacer ese ejercicio intelectual. Y eso tiene consecuencias: aprendemos menos cosas, perdemos oportunidades de algunas ideas nuevas y nuestro cerebro irá dejando de saber hacer algunas cosas. Este tuit me parece muy acertado:

Los avances tecnológicos pueden ser positivos para el grupo y a la vez negativos para el individuo. No es incompatible pensar en los beneficios de la IA con pensar en sus inconvenientes, y quizás incluso anticiparnos a esos efectos negativos.

Ojalá tener un gimnasio celebral ya

— Gemma Goldie (@gemagoldie) June 20, 2025

Por último, me extraña mucho la falta de aprecio por el propio trabajo intelectual que detecto en algunos entusiastas, que parecen pensar que su visión propia no aportaba mucho a la lectura de bibliografía o al análisis de sus datos. Y hablo de personas del mundo académico, no de alumnos de secundaria.

No quiero decir que la IAG no tenga ninguna utilidad o sea exclusivamente peligrosa. Desde luego que tiene utilidad, aunque creo que esta es mayor cuanto más experto se es en la tarea que se le pide, porque más críticos podemos ser con lo que nos ofrece y mejor podemos evaluarlo. Y creo que, si le pedimos una tarea que no sabemos hacer, deberíamos intentar entender cómo la hace. Me preocupa mucho que los jóvenes la usen de forma indiscriminada y creo que veremos los efectos nocivos de esto (si sobrevivimos al resto de cataclismos potenciales).

Pero muchos efectos nocivos ya están aquí. En el mundo científico, proliferan los artículos con bibliografía inventada. En el de la programación, el código que se está escribiendo es cada vez más complejo, pero no en el buen sentido de la palabra. Por otro lado, parece que los problemas de seguridad informática que pueden llegar a desencadena la IAG no son despreciables, aunque debo confesar que ahí ya entiendo poco. Y, si nos vamos al ámbito personal, resulta que charlar con máquinas que no paran de darte la razón y decirte que eres estupendo no te hace mejor (sorprendente, sí).

Por eso me sorprende un poco lo simplistas que son los argumentos para el entusiasmo, especialmente cuando vemos que una buena parte del público simplemente cree que han llegado unas herramientas mágicas que todo lo saben y todo lo pueden.