Alucinaciones y verificación

Un LLM genera texto plausible, no texto verdadero. Cuando no tiene la información, no deja un hueco: completa con lo que estadísticamente encaja, y lo hace con el mismo tono seguro que usa cuando sí sabe. A eso se le llama alucinación, y no es un defecto ocasional que se pueda 'apagar': es consecuencia directa de cómo funciona la predicción de tokens.

Hay zonas de alto riesgo donde conviene desconfiar por defecto: citas y referencias bibliográficas, números y estadísticas precisas, URLs (direcciones web), datos sobre temas de nicho y eventos recientes (posteriores al knowledge cutoff). En esas zonas el modelo produce con frecuencia referencias que no existen o cifras inventadas con decimales convincentes.

Los hábitos de verificación que funcionan: pedir las fuentes y comprobar que existan, contrastar datos clave con fuentes externas, probar el código, la fórmula o el cálculo antes de usarlo y desconfiar de la seguridad del tono (la confianza del modelo no es señal de exactitud).

La confianza se calibra por tipo de tarea: una lluvia de ideas se evalúa con criterio propio; un dato preciso exige fuente. Y una defensa práctica es el grounding: pegar el documento fuente en el prompt y pedir que responda solo con base en él. Reduce mucho las invenciones, aunque tampoco las elimina por completo.