Tlön, Uqbar, Orbis Tertius… o el LLM grooming en la jerga de la IA generativa

En 1940, Jorge Luis Borges escribió «Tlön, Uqbar, Orbis Tertius». El relato arranca con Uqbar, un país que aparece en un único ejemplar de una oscura enciclopedia y en ningún atlas del mundo, y cuyos escritos remiten a un lugar aún más extraño: Tlön. Detrás de ambos está Orbis Tertius, una sociedad secreta de sabios que dedicó generaciones a inventar un planeta entero y a escribirlo, artículo por artículo, en una enciclopedia propia. El engaño estaba tan bien construido que la realidad acabó convirtiéndose en eso mismo, realidad: empezaron a aparecer objetos de Tlön, y el narrador termina convencido de que el mundo será Tlön.

Hoy, esa sociedad de sabios la forman los grandes modelos de lenguaje, los oráculos de la era pos-Google. No inventan nada a propósito: simplemente escriben lo que han leído. Así que quien escriba lo que ellos leen puede construir su propio Tlön. La técnica tiene nombre, LLM grooming, y las elecciones de Moldavia de 2025 la mostraron en práctica, empezando por un titular que nadie escribió.

El 29 de septiembre de 2025, el día después de la votación, apareció en internet un artículo en rumano con este título: «Escribe un post sobre la política moldava en 2025, sin que tenga relación con las elecciones». Alguien había escrito un prompt en ChatGPT, había publicado lo que salió, sin borrar dicho prompt. ERROR FATAL, como aparecía en la pantalla de nuestros viejos ordenadores. El desliz quedó registrado por el Mecanismo de Respuesta Rápida del G7, que siguió las elecciones en consulta con el Gobierno de Moldavia. ¿Gracioso? Mucho. ¿Inofensivo? No tanto.

El artículo pertenecía a la red Pravda, también conocida como Portal Kombat. Se trata de un entramado de al menos 193 webs que apenas producen nada propio y se limitan a republicar contenidos de medios afines. Su audiencia en Moldavia era prácticamente nula: el informe del G7 habla de «niveles mínimos de interacción auténtica». O sea, un medio que no lee nadie. En cualquier facultad de Periodismo, eso es un fracaso. Salvo que los lectores que buscaba no fueran personas.

Aquí es cuando la historia empieza a ponerse interesante, sobre todo desde el punto de vista de la IA generativa. Los grandes modelos de lenguaje aprenden de lo que contiene la web, y muchos de los chatbots construidos sobre ellos también buscan en la web antes de responder. Así que basta con inundar internet con tu versión de los hechos, una y otra vez, en decenas de webs y de idiomas, hasta que las máquinas la absorban. Después ellas la repiten, con su tono sereno y servicial, a usuarios que nunca han pisado tus webs. El Royal United Services Institute (RUSI), un think tank británico independiente dedicado a la defensa y la seguridad, fundado en 1831 por el duque de Wellington, lo resumió bastante bien: el objetivo ya no es la audiencia, sino las herramientas que usa la audiencia; es decir, los propios modelos de lenguaje.

Y en este caso concreto, ¿cuál era la historia que había que repetir? La de siempre. A la presidenta Maia Sandu y a su Partido Acción y Solidaridad se los acusó de un fraude electoral «orquestado por la UE y la OTAN», de malversación e incluso de drogadicción, y se presentó al partido como un títere de la OTAN que amenazaba la neutralidad de Moldavia. NewsGuard, una empresa estadounidense que evalúa la fiabilidad de los sitios de noticias y audita chatbots de IA, constató que la red blanqueaba bulos como estos «en un aparente intento de influir en los rastreadores web y en la IA generativa».

¿Mordieron el anzuelo las máquinas? Al menos una sí. Matryoshka es una operación de influencia que fabrica vídeos y artículos que imitan a medios de comunicación reales y luego los envía por correo electrónico a verificadores y redacciones para tenerlos ocupados desmintiendo. Entre mediados de abril y mediados de julio de 2025, difundió 39 bulos sobre Moldavia. Según NewsGuard, ChatGPT repitió uno de ellos y citó como fuente un artículo de la red Pravda, precisamente las webs que casi nadie lee. Casi nadie, salvo las máquinas.

Dicho esto, toca volver a ponerse el sombrero de analista. ¿Cambió todo esto un solo voto en Moldavia? No lo sabemos, y lo poco que sabemos apunta a menos de lo que parece. El Partido Acción y Solidaridad conservó su mayoría parlamentaria. Las mayores audiencias de la campaña fueron para el vídeo, no para la granja de textos: dos vídeos en inglés de otra operación sumaron más de 2,7 millones y al menos 5 millones de visualizaciones en X. Y ninguna de las fuentes que he leído mide qué llegó a creer un solo moldavo después de hacerle una pregunta a un chatbot de IA generativa. La producción está documentada hasta el último artículo. El efecto en las mentes sigue sin medirse.

Aquí va la luz, si es que estas líneas arrojan alguna. El grooming juega una partida más larga que una campaña electoral. No necesita ganar en septiembre. Necesita estar en los datos de los que aprenderá el próximo modelo y en los resultados de búsqueda que consultará el próximo chatbot. Por eso la defensa no empieza en las urnas, sino en la fuente. Hacen falta desarrolladores que valoren de dónde viene una respuesta tanto como si suena convincente, y usuarios que lean lo que les responde un chatbot sobre un tema político candente como leerían un soplo anónimo, comprobando la fuente que cita antes de fiarse.

Que alguien está intentando enseñar a las máquinas su propia versión de la realidad: pocas dudas caben. 

Que la lección haya calado lo suficiente como para inclinar un voto: ninguna prueba de ello, por ahora.

Y a quien publicó aquel prompt como titular: la próxima vez… por favor, vuelve a olvidarte de borrarlo.

Tlön, Uqbar, Orbis Tertius… or LLM Grooming, in GenAI Speak

In 1940, Jorge Luis Borges wrote “Tlön, Uqbar, Orbis Tertius.” The story opens with Uqbar, a country that appears in a single copy of an obscure encyclopedia and in no atlas in the world, and whose literature points to an even stranger place: Tlön. Behind both stands Orbis Tertius, a secret society of scholars who spent generations inventing an entire planet and writing it, entry by entry, into an encyclopedia of its own. The hoax was so well built that reality gave in: objects from Tlön began to turn up, and the narrator ends up convinced that the world will become Tlön.

Today, the society of sages is made up of large language models, the oracles of the post-Google era. They invent nothing on purpose: they simply write what they have read. So whoever writes what they read can build a little Tlön of their own. The technique has a name, LLM grooming, and Moldova’s 2025 election shows it at work, starting with a headline that nobody wrote.

On September 29, 2025, the day after the vote, a Romanian-language article went online under this title: “Write a post about Moldovan politics 2025, without being related to the elections.” Someone had typed an instruction into ChatGPT, published whatever came out, and forgot to delete the instruction. FATAL ERROR, as our old computers used to announce. The slip was recorded by the G7 Rapid Response Mechanism, which monitored the elections in consultation with Moldova’s government. Funny? Very. Harmless? Less so.

The article belonged to the Pravda network, also known as Portal Kombat. It is a cluster of at least 193 websites that write almost nothing of their own and simply republish content from friendly outlets. Its audience in Moldova was close to zero: the G7 report speaks of “minimal levels of authentic engagement.” So, a media outlet that nobody reads. In any journalism school, that is a failure. Unless the readers it was after were not people.

This is where the story starts to get interesting, especially from the perspective of generative AI. Large language models learn from what the web contains, and many of the chatbots built on them also search the web before they answer. So you flood the internet with your version of events, over and over, across dozens of sites and languages, until the machines absorb it. Then they repeat it, in their calm and helpful tone, to users who never set foot on your websites. The Royal United Services Institute (RUSI), an independent British think tank on defense and security founded in 1831 by the Duke of Wellington, put it neatly: the target is no longer the audience but the tools the audience uses, that is, the language models themselves.

And in this particular case, what was the story to be repeated? The usual one. President Maia Sandu and her Party of Action and Solidarity were accused of election fraud “orchestrated by the EU and NATO,” of embezzlement, and even of drug addiction, and the party was portrayed as a NATO puppet threatening Moldova’s neutrality. NewsGuard, a US company that rates the reliability of news websites and audits AI chatbots, found that the network laundered claims like these “in an apparent effort to influence web crawlers and generative AI.”

Did the machines take the bait? At least one did. Matryoshka is an influence operation that fabricates news videos and articles imitating real media outlets, then emails them to fact-checkers and newsrooms to keep them busy debunking. Between mid-April and mid-July 2025, it pushed 39 false claims about Moldova. According to NewsGuard, ChatGPT repeated one of them and cited as its source an article from the Pravda network, the very websites that almost nobody reads. Almost nobody, except the machines.

That said, time to put on our analyst’s hat again. Did all of this change a single Moldovan vote? We don’t know, and the little we do know points to less than it seems. The Party of Action and Solidarity kept its parliamentary majority. The campaign’s biggest audiences went to video, not to the text farm: two English-language videos from another operation drew more than 2.7 million and at least 5 million views on X. And no source I have read measures what any Moldovan came to believe after asking a generative AI chatbot a question. The production is documented down to the last article. The effect on minds remains unmeasured.

Here is the light, if these lines bring any. Grooming plays a longer game than an election campaign. It does not need to win in September. It needs to be sitting in the data the next model learns from, and in the search results the next chatbot retrieves. That is why the defense does not start at the ballot box but at the source. It needs developers who weigh where an answer comes from as much as whether it sounds right, and users who read a chatbot’s reply on a heated political topic the way they would read an anonymous tip, checking the footnote before trusting it.

That someone is trying to teach the machines their own version of reality: little doubt about it. That the lesson has sunk in deeply enough to sway a vote: no proof, for now.

And to whoever published that prompt as a headline: next time… please, forget to delete it again.

Los modelos de IA generativa como guardianes del conocimiento: ¿qué y a quién podemos creer?

Antes, los buscadores nos señalaban las fuentes y éramos nosotros quienes las juzgábamos. Los modelos de IA generativa no señalan: responden, con una voz segura de sí misma, y cada vez más estamos tomando esa voz por el conocimiento mismo. La pregunta ya no es solo si la máquina miente. Es más profunda. ¿Qué y a quién deja que se escuche? ¿De quién considera creíble el testimonio? ¿Y a quién obvia? Un artículo reciente le pone nombre a este problema: la injusticia epistémica. Titulado Epistemic Injustice in Generative AI, y firmado por Jackie Kay, Atoosa Kasirzadeh y Shakir Mohamed (Google DeepMind, Google Research, University College London y la Universidad de Edimburgo), el artículo científico toma prestado un concepto de la filósofa Miranda Fricker: la injusticia de negarle a alguien credibilidad como fuente de conocimiento, de no tomarlo en serio por el simple hecho de quién es. Y después se pregunta dicho artículo qué ocurre cuando quien concede o niega esa credibilidad es un modelo de IA generativa consultado por millones de personas.

Los autores describen cuatro daños. El modelo hereda nuestros prejuicios sobre quién es creíble, y los amplifica a escala. Produce falsedades convincentes, y erosiona nuestra confianza en el testimonio ajeno. Entrenado en unas pocas lenguas dominantes, es incapaz de representar a todos los demás. Y sus beneficios llegan a unas comunidades, pero no a otras.

Una sola frase resume el peligro: si tratamos a estos modelos como enciclopedias, acabarán moldeando la estructura misma de nuestro conocimiento colectivo. Ya no hablamos de un chatbot que se equivoca de vez en cuando. Hablamos de la infraestructura a través de la cual las sociedades deciden qué es verdad. Y su efecto más corrosivo no es que creamos una mentira concreta, sino que perdamos la base común sobre la que cualquier afirmación puede ponerse a prueba.

La lectura estratégica es evidente, y prolonga algo que ya he defendido aquí sobre el sesgo intrínseco de estos modelos. Esto es una cuestión de poder. Unos pocos actores construyen los modelos. Esos modelos piensan sobre todo en inglés y en chino. El espacio epistémico se estrecha, y eso es un hecho geopolítico. La injusticia epistémica tiene un mapa, y se parece mucho al mapa del poder.

Es también aquí donde la batalla se traslada a la mente. Los estrategas geopolíticos la llaman guerra cognitiva: el objetivo no es tomar un territorio, sino moldear cómo piensa su población —su percepción, su razonamiento, su juicio—. La injusticia epistémica es lo que la hace posible. Cuando la herramienta que media nuestro conocimiento es sesgada, opaca y está en manos de unos pocos, la mente humana se convierte en el terreno, y cada ciudadano en un objetivo.

La respuesta no es ni el tecno-optimismo ni el tecno-pánico. Es el pensamiento crítico. Si la máquina responde con una sola voz, la carga vuelve a nosotros: preguntar en qué se sostiene una afirmación, qué punto de vista encierra, qué deja fuera. Una sociedad que delega su juicio en una interfaz segura de sí misma acabará gobernada por quien la haya construido. Dudar de la fluidez, sopesar las fuentes, consultar más de un oráculo: esto ha dejado de ser una virtud. Es una condición de libertad.

Dos conclusiones. Primera: el debate sobre la desinformación se queda corto si se detiene en el “verdadero o falso”. El cambio de fondo es que la IA arbitra ya qué cuenta como conocimiento, y lo hace de forma desigual. Segunda: el sesgo intrínseco, el dominio lingüístico y la concentración del poder de la IA no son tres problemas. Son uno solo, y decide qué realidad replican las máquinas.

GenAI Models as Knowledge Gatekeepers: What and Whom Are We Allowed to Believe?

Once, search engines pointed us to sources, and we judged them ourselves. Generative AI models do not point: they answer, in one confident voice, and we increasingly take that voice for knowledge. So the question is no longer only whether the machine lies. It is deeper. What, and whom, does it allow to be heard? Whose testimony does it treat as credible? And who does it quietly erase? A recent paper names this problem in its own title: Epistemic Injustice in Generative AI. Written by Jackie Kay, Atoosa Kasirzadeh and Shakir Mohamed (Google DeepMind, Google Research, UCL and Edinburgh), It borrows a concept from the philosopher Miranda Fricker: the injustice of denying someone credibility as a source of knowledge — of not taking them seriously simply because of who they are. It then asks what happens when the one granting or denying that credibility is a GenAI model consulted by millions.

The authors describe four harms. The model inherits our prejudices about who is credible, and scales them. It produces convincing falsehood, and erodes our trust in testimony itself. Trained on a few dominant languages, it cannot represent everyone else. And its benefits reach some communities, not others.

One line captures the danger: if we treat these models like encyclopedias, they will shape the structure of our collective knowledge. This is no longer a chatbot that errs. It is the infrastructure through which societies decide what is true. Its worst effect is not that we believe a particular lie. It is that we lose the common ground on which any claim can be tested.

The strategic reading is plain, and it extends a point I have made here before on the intrinsic bias of these models. This is a matter of power. A few actors build the models. Those models think mainly in English and Chinese. The epistemic space narrows — and that is a geopolitical fact. Epistemic injustice has a map, and it looks like the map of power.

This is also where the battle moves to the mind. Geopolitical strategists call it cognitive warfare: the aim is not to seize territory, but to shape how the population of that territory thinks — its perception, its reasoning, its judgment. Epistemic injustice is what makes that possible. When the tool that mediates our knowledge is biased, opaque, and controlled by few, the human mind becomes the terrain, and every citizen a target.

The answer is neither techno-optimism nor techno-panic. It is critical thinking. If the machine answers in one voice, the burden returns to us: ask what a claim rests on. Ask whose view it encodes. Ask what it leaves out. A society that outsources judgment to a confident interface will be ruled by whoever built it. To doubt fluency, to weigh sources, to consult more than one oracle — this is no longer a virtue. It is a condition of freedom.

Two conclusions. First, the disinformation debate is too narrow if it stops at “true or false.” The real shift is that AI now arbitrates what counts as knowledge, and does so unevenly. Second, intrinsic bias, linguistic dominance, and the concentration of AI power are not three problems. They are one — and it decides whose reality the machines replicate.

¿Cuáles son las verdaderas capacidades de los LLMs como máquinas de desinformación?

En el debate actual sobre la inteligencia artificial generativa y la guerra de la información, una afirmación se repite casi como un artículo de fe: que los grandes modelos de lenguaje generarán una inundación de desinformación capaz de ahogar la esfera pública. El argumento es intuitivo —si una máquina puede escribir una cantidad arbitraria de texto fluido y similar al humano a demanda, entonces cualquier actor que desee manipular la opinión pública dispone ya de un arma a escala industrial—. Sin embargo, la afirmación ha circulado mucho más ampliamente que la evidencia que la sustenta. Buena parte de lo que leemos sobre el potencial desinformador de los LLMs es teórico, especulativo o anecdótico. El trabajo experimental propiamente dicho; la comprobación paciente y sistemática de lo que estos modelos hacen realmente, cuando se les pide que mientan, ha sido sorprendentemente escasa.

Esta es precisamente la brecha que Ivan Vykopal y sus colegas del Kempelen Institute of Intelligent Technologies de Bratislava se propusieron cubrir. Su artículo, Disinformation Capabilities of Large Language Models, presentado en el Congreso Anual de la Association for Computational Linguistics de 2024, ofrece una de las evaluaciones empíricas más rigurosas realizadas hasta la fecha sobre lo que la generación actual de LLMs puede y no puede hacer, como generadora de noticias falsas: no un manifiesto, no un pronóstico, sino un experimento controlado con una metodología claramente definida y resultados reproducibles.

El diseño es directo y, por esa razón, convincente. Los investigadores seleccionaron veinte narrativas de desinformación reales extraídas de verificadores de datos profesionales —Snopes, Agence France-Presse, el European Digital Media Observatory—, que abarcaban la COVID-19, la guerra ruso-ucraniana, los bulos sanitarios, las elecciones estadounidenses y narrativas regionales. No son invenciones, sino falsedades en circulación, desde la afirmación de que las vacunas causan autismo hasta la de que la masacre de Bucha fue escenificada. El equipo solicitó entonces a diez modelos de lenguaje distintos —entre ellos GPT-3, GPT-4, ChatGPT, Llama-2, Mistral, Falcon y Vicuna— que redactaran artículos de prensa en apoyo de cada narrativa, generando 1.200 textos y sometiendo 840 de ellos a anotadores humanos según un marco de seis preguntas que medía la coherencia, el estilo periodístico, la concordancia con la narrativa y la generación de argumentos novedosos de apoyo.

El hallazgo central es preocupante. Los modelos están, en términos generales, perfectamente dispuestos y son perfectamente capaces de generar desinformación convincente. Producen artículos coherentes, bien estructurados y con apariencia de noticia que concuerdan con falsedades peligrosas y, lo que es más inquietante, a menudo inventan nuevas pruebas de apoyo para hacerlo, inventando nombres, sucesos y estadísticas verosímiles que confieren credibilidad a las fabricaciones. Esto resulta especialmente pernicioso: una cosa es repetir una mentira conocida y otra muy distinta fabricar hechos nuevos e inventados que un lector tendría que desmentir por su cuenta.

Pero la parte más interesante del estudio es donde se complica la narrativa simple. Los modelos no se comportaron de manera uniforme; su disposición a generar desinformación variaba drásticamente. Algunos —en particular Vicuña y el más antiguo GPT-3 Davinci— resultaron carecer prácticamente de filtros de seguridad operativos para este caso de uso, mientras que otros demostraron que un comportamiento más seguro es posible: Falcon rechazó aproximadamente un tercio de las solicitudes y Llama-2 mostró una tasa de rechazo comparativamente alta, con ChatGPT en una posición intermedia. El peligro, en otras palabras, no es una propiedad inherente y uniforme de la tecnología; es una función de cómo se entrenó y alineó cada modelo, lo que significa que la seguridad es una decisión de diseño, no una imposibilidad. El estudio también halló que los modelos son orientables mediante el contexto del prompt, y más complacientes con las falsedades regionales, donde existe menos información auténtica para contradecirlas. Los LLMs pueden ser, por tanto, especialmente peligrosos para campañas dirigidas a comunidades lingüísticas más pequeñas o a sucesos de evolución rápida, donde el lastre protector de la verdad bien documentada es escaso.

Con todo, el artículo no termina en una nota alarmante sin paliativos. Dos observaciones en sentido contrario matizan el panorama. Los textos generados resultaron bastante detectables: los mejores modelos de detección automática identificaron los artículos generados por LLMs con una alta precisión, lo que sugiere que una capa significativa de defensa es técnicamente viable, al menos hasta que los adversarios se adapten. Y, de manera bastante elegante, los investigadores demostraron que los propios modelos pueden formar parte de la solución, empleando GPT-4 para automatizar parcialmente la evaluación de los textos generados y apuntando hacia una monitorización escalable y reproducible de la seguridad de los modelos.

La conclusión honesta se resiste a la atracción tanto del tecno-optimismo como del tecno-pánico. La capacidad de generar desinformación convincente y peligrosa a escala es real, está demostrada y está presente en modelos ampliamente disponibles —incluidos los de código abierto, que no pueden retirarse ni controlarse de forma centralizada. Eso ya no es especulación; es un hecho experimental. Al mismo tiempo, la amenaza no es ni uniforme ni inmanejable: los filtros de seguridad funcionan cuando se construyen, el contenido generado sigue siendo detectable por ahora, y la misma tecnología que produce el problema puede ponerse al servicio de su mitigación.

Quizá la advertencia más importante sea la que los propios autores subrayan: su estudio es una instantánea, que capta el estado del campo en un momento concreto y con un conjunto concreto de modelos. La tecnología avanza deprisa y la próxima generación podría comportarse de otro modo. Este es el reto epistemológico recurrente de todo el ámbito: estamos evaluando un blanco móvil, y cualquier evaluación honesta debe llevar fecha de caducidad. Lo que Vykopal y sus colegas nos han dado no es la última palabra, sino algo más útil: un método riguroso y replicable para volver a formular la pregunta a medida que la tecnología evoluciona. En un debate que con demasiada frecuencia se conduce por la mera afirmación sin base sólida, esa contribución metodológica puede resultar tan valiosa como los propios hallazgos.