Alucinaciones de los LLM – más allá de ChatGPT – Parte 2

Publicado poraipocratesPublicado en Columnas

Autores: Rafael Brango y Andrés Rico. Miembros AIpocrates.

Otras columnas de la serie

Introducción

En la columna del Dr. Pino Medicina Generativa, más allá de chatGPT publicada en https://aipocrates.org/2023/06/18/medicina-generativa-mas-alla-de-chatgpt-parte-1/ iniciamos una revisión de como la medicina generativa, un campo emergente de la inteligencia artificial, está basada en una arquitectura denominada Transformers, con la capacidad de análisis de grandes cantidades de datos clínicos, provenientes de múltiples fuentes, como investigaciones científicas y otros datos relevantes, abriendo la promesas de diagnósticos más precisos, pronósticos personalizados, opciones de tratamiento optimizadas, en la investigación biomédica y el desarrollo de medicamentos, ayudando en la identificación de nuevas moléculas farmacéuticas y acelerando el proceso de descubrimiento de tecnologías.

El desarrollo de redes neurales paralelas o Transformers y su mecanismo de atención han superado las limitaciones de los modelos basados en RNN y LSTM y permite procesar diferentes modalidades de datos, como texto, imágenes, audio y video, lo que le permite comprender y generar lenguaje natural coherente y relevante contextualmente. Hay varios tipos de LLM, el más relevante en este momento por su amplia difusión y uso es Chat-GPT, que ha demostrado pueden realizar tareas de conocimiento intensivo en dominios generales o específicos, como la medicina, y se abre la posibilidad de que posean capacidad de razonamiento, ayudando a mejorar la toma de decisiones y la resolución de problemas.

Pero varios de nosotros nos hemos llevado sorpresas con las interacciones que hemos tenido  con uno de modelos de Large Language Model (LLM) más comunes, ChatGPT, sorpresas como referencias bibliográficas que no existen o información sobre un tema que no existe o resultados matemáticos absurdos.

Aunque el problema que no es nuevo, el uso masivo de este modelo lo hizo evidente y al fenómeno se le denominó “alucinación”.

Definición de alucinaciones en el contexto de la inteligencia artificial

¿Qué son las alucinaciones?

Comencemos desde el principio, la inteligencia artificial es un conjunto de algoritmos, software y hardware con la intención que una máquina simule las capacidades cognoscitivas del ser humano. En la salud humana, una alucinación se define como una percepción en ausencia de un estímulo relacionado, es decir una percepción sensorial falsa que el individuo interpreta como real, como se define en DSM-5 (de las siglas en inglés Diagnostic and Statistical Manual of Mental Disorders).

ChatGPT o Chatbot respaldado por Generative Pre-Trained Transformer programado para entender las entradas de lenguaje natural y generar respuestas de manera adecuadas, a través de técnicas estadísticas que le ayudan a predecir la siguiente palabra basados en la base de datos que sirvió para su entrenamiento como Salvagno et al mencionan en “Can artificial intelligence help for scientific writing?”. 6

En el contexto de la inteligencia artificial, las alucinaciones se refieren a un comportamiento anómalo en el que un modelo genera información falsa, no es representativo o no tiene sentido 2.

Por lo tanto, es importante evitar considerar las salidas de una inteligencia artificial como absolutamente fiables y definitivas, los invito a leer la editorial de Mario Plebani, “ChatGPT: Angel or Demond? Critical Thinking is still needed.7

Las causas

Como se menciona en la columna Medicina Generativa, más allá de chatGPT, los modelos tienen un proceso para el manejo de los datos denominados embedding y tokenización, y están entrenados para optimizar la probabilidad de generar tokens en función de su contexto, bien o mal definidos.  

Es relevante explorar las razones por las cuales los LLM pueden generar resultados de baja probabilidad que se desvían del resultado esperado según el contexto de entrada y la distribución de datos real 2.

Por la función softmax el modelo GPT genera tokens mediante muestreo de la distribución de probabilidad del token posterior condicionada al contexto. 1

En el modelo GPT, el texto generado es una secuencia de tokens (palabras o sub-palabras), y el modelo elige cada token en función de la distribución de probabilidad que aprendió durante el entrenamiento. 1

La alucinación en los modelos GPT se refiere a la generación de tokens de baja probabilidad contextualmente inverosímiles, inconsistentes con el mundo real que divergen de la salida anticipada en función del contexto de entrada y la verdadera distribución subyacente, no reflejan con precisión la distribución de datos subyacentes. 1

Cuando el contexto de entrada es ambiguo, no proporciona información suficiente para una elección de token clara y óptima, lo que significa que podría conducir a múltiples salidas plausibles, el modelo tiene que elegir entre tokens con probabilidades similares. las probabilidades estimadas obtenidas se distribuyen de tal manera que la diferencia entre las probabilidades más altas y posteriores es relativamente pequeña. En esta situación, incluso si el modelo GPT está bien entrenado, aún podría generar un token que no es contextualmente correcto, lo que puede conducir a alucinaciones. 1

Los modelos están obligados a generar salidas incluso cuando la probabilidad del token predicho es baja. La selección forzada del token de mayor probabilidad en contextos ambiguos dentro de la distribución de probabilidades estimadas.  En contextos ambiguos, el modelo se ve obligado a seleccionar el token con la probabilidad estimada más alta, a pesar de la pequeña diferencia en las probabilidades entre los tokens más altos y los posteriores. 1

Esto implica que el modelo puede seleccionar tokens subóptimos con probabilidades marginalmente más bajas que la opción óptima. La selección forzada del token de mayor probabilidad en tales situaciones puede resultar en la generación de tokens contextualmente inverosímiles, lo que lleva a la alucinación. 1

Esto es por la pérdida de la función auto-supervisada, que motiva al modelo a generar tokens que optimicen la probabilidad de la secuencia predicha, independientemente de la precisión de la salida. 1

Suponemos que minimizar la función de pérdida es un problema de optimización no convexo que potencialmente contiene múltiples mínimos locales. Las propiedades de convergencia de los algoritmos de optimización basados en gradiente en el contexto del aprendizaje profundo y los modelos GPT generalmente no están garantizadas debido a la no convexidad del problema de optimización. 1

El fenómeno de la alucinación puede intensificarse a medida que el modelo genera una serie de tokens de baja probabilidad. Cuando estos tokens se utilizan como entrada para predicciones posteriores, la probabilidad de generar tokens adicionales de baja probabilidad puede aumentar, lo que resulta en salidas cada vez menos confiables. 1

La probabilidad de generar un token alucinatorio está determinada por la probabilidad conjunta de generar la secuencia de tokens alucinatorios y los valores de las probabilidades condicionales. 1

La aparición de alucinaciones puede inclusive ocurrir en un modelo GPT bien entrenado y está fuertemente correlacionada con la incertidumbre del modelo, capturada por la entropía. 1

Se ha atribuido a las limitaciones inherentes del modelo, la incapacidad para discernir entre una respuesta correcta o incorrecta para una entrada determinada. Dentro de las posibles causas el entrenamiento insuficiente, ambigüedad de datos y falta de información relevante. 2

La eficacia de los modelos GPT en diversas tareas depende del delicado equilibrio entre la alucinación y la creatividad, ajustar este equilibrio puede mejorar el rendimiento general del modelo y es vital para la eficacia del modelo. La creatividad en los modelos GPT puede ser mejorada por el fenómeno de la alucinación, ya que permite al modelo explorar un espacio más amplio de secuencias simbólicas más allá de las más probables condicionadas por la entrada dada. 1

¿Por qué se producen las alucinaciones?

  • Ausencia de conocimiento real en los LLM: los modelos no tiene conocimientos o experiencia en el mundo real más allá de los datos con los que fue entrenado, no comprende el contenido que genera, crea respuestas basado en los patrones estadísticos dentro de los datos de entrenamiento, que es lo que le permite predecir la secuencia de las palabras. Esto favorece que pueda generar párrafos que parecen plausibles pero que son incorrectos. 3
  • Problemas con la inferencia de detalles no especificados: Si una prompt no es específico, el modelo puede llenar los vacíos con detalles generados que podrían no ser precisos. 3
  • Incapacidad para verificar información: ChatGPT 3,5 carece de la capacidad de acceder a datos actualizados más allá de septiembre de 2021, lo que significa que puede generar información incorrecta o desactualizada. Eso cambia con otros modelos que acceden a internet y con ChatGPT 4. 3
  • Falta de datos suficientes de entrenamiento: estos modelos se caracterizan por requerir cantidades masivas de datos para su entrenamiento, de lo contrario es posible que no tenga suficiente información para aprender de manera efectiva patrones de lenguaje.
  • Falta de suficiente contexto puede generar respuestas que no sean pertinentes o exactas. 3
  • Falta de restricciones adecuadas: las restricciones mantienen centrado al modelo en temas y estilos específicos de conversación. Sin restricciones adecuadas, el modelo de IA puede producir respuestas que sean impredecibles o inapropiadas. 3

¿Cómo evitar las alucinaciones de la IA?

La mitigación de alucinaciones se refiere al proceso de modificar el comportamiento del modelo GPT para reducir la probabilidad de generar tokens alucinatorios, mejorando así la calidad y confiabilidad de salida del modelo.

Hay varias estrategias que se pueden implementar para disminuir el riesgo de este tipo de distopias generativas.

Entre ellas:

  • Mejorar los datos de entrenamiento y validación.
    • Tener cuidado con los datos que use para el proceso de entrenamiento y de validación del sistema. 4
    • Asegurarse que los datos sean confiables.
    • Mejorar la calidad y diversidad de los datos de entrenamiento. 4
    • Utilizar modelos de adversarios generativos (GAN) para generar datos falsos para fortalecer la capacidad de discriminación de la red neuronal de lo real de lo no real. 5
  • Avances en las arquitecturas de los modelos de IA.
    • Mejorar como el modelo procesa la información.
    • Mejora de la capacidad de un modelo para mantener el contexto a lo largo de una conversación o para razonar de manera más efectiva sobre la información. 5
  • Diseñar modelos que aprendan de la retroalimentación en tiempo real, corrigiendo los errores. 5
  • Verificación de hechos en tiempo real en bases de datos actualizadas antes de generar una respuesta, aunque presenta desafíos técnicos y de privacidad. 5
  • Para futuras investigaciones el impacto de la arquitectura de modelos y las técnicas de capacitación en la compensación entre alucinación y creatividad, puede ser posible diseñar nuevos mecanismos de autoatención o técnicas de regularización que alienten explícitamente al modelo a mantener un equilibrio entre la generación de respuestas plausibles pero creativas. 1
  • El método adaptativo sugerido para el ajuste de parámetros de compensación debe generalizarse efectivamente a través de varias tareas y distribuciones de datos de entrada, garantizando mejoras consistentes en el rendimiento y para mostrar la efectividad del método es crucial validar su rendimiento utilizando tareas y conjuntos de datos del mundo real. 1

Finalmente se trae al análisis un artículo que se presentó en el tanque de pensamiento por parte del Dr. Alejandro Hernández, del Dr. Zhao T. Automatic Calibration and Error Correction for Large Language Models via Pareto Optimal Self-Supervision (8), en los cuales se resalta:

  1. Faltan herramientas sistemáticas para identificar eficientemente la alucinación o estimar el nivel de confianza de la salida. 8
  2. La puntuación de confianza intrínseca de los LLM generativos o índices con los cuales selecciona la mejor predicción a menudo no está disponible o no está bien calibrada con respecto al objetivo deseado, especialmente después de aplicar el aprendizaje por refuerzo con retroalimentación humana. 8
  3. Los métodos heurísticos, como muestrear un conjunto de respuestas de LLM, son computacionalmente costosos y propensos a estar sesgados por el propio LLM. 8
  4. Existen dos tipos principales de enfoques para evaluar el nivel de confianza de las respuestas de LLM. 8
    • La evaluación interna, donde se solicita al LLM de varias formas que produzca múltiples respuestas, las cuales se utilizan para inferir la confiabilidad de la respuesta, como la autoconsistencia y las indicaciones de cadena de pensamiento. Son métodos menos cuantitativos y son vulnerables a que la confianza estimada esté sesgada por el modelo mismo. La calidad de los resultados depende de la estrategia de solicitud o forma del prompt y no hay una forma sistemática de cuantificar esto.  8
    • Fuentes externas de información, como revisores humanos que validan la respuesta, el uso de modelos de evaluación construidos con base en datos etiquetados a gran escala. Fuentes de supervisión independientes del LLM para evitar el sesgo de evaluar un LLM por sí mismo. 8
    • Ambos enfoques requieren esfuerzos de anotación manual, lo cual es costoso en dinero y tiempo. Constituye un cuello de botella del entrenamiento de modelos supervisados modernos. La auto-supervisión que usa de manera flexible los patrones dentro de los datos y el conocimiento de fuentes externas, sugiere una alternativa. 8
    • Considerar los errores del LLM como perturbaciones ruidosas, ajustar un modelo con el ruido del LLM para mejorar la calibración. 8

Alucinaciones vs creatividad

John Nosta en su post 9 menciona como Geoffrey Hinton sugiere que las «alucinaciones» de los modelos de GPT pueden indicar de una forma incipiente de «cognición artificial» en lugar de problemas técnicos o errores, siendo la exploración de estas desviaciones una vía potencial hacia sistemas de inteligencia artificial capaces de un pensamiento independiente y creativo o Inteligencia General Artificial (AGI). 9

El desarrollo de la inteligencia artificial derivada de métodos estadísticos de predicción, clasificación y agrupamiento, se ha centrado en minimizar los errores y mejorar la capacidad del modelo para generalizar a partir de sus datos de entrenamiento, pero si en lugar de ver estas desviaciones como deficiencias a minimizar son vías alternativas de desarrollo, son el estímulo para investigaciones que lleven a nuevas arquitecturas y algoritmos de aprendizaje diseñados facilitar y gestionar los  comportamientos cognitivos. 9

Las alucinaciones podrían ser una propiedad no codificada explícitamente en el modelo que surge de las interacciones colectivas de sus parámetros y las redes de neuronas artificiales, como el cerebro biológico, sus neuronas y sinapsis que dan lugar a una compleja red, que sustenta la conciencia, una propiedad de nivel superior que no se codifica explícitamente en las neuronas individuales, sino que emerge de sus interacciones. 9

Conclusión:

  1. Alucinación versus mentira. Se considera que la diferencia está en la intención.
  2. Timothy Leary dijó «Piensa por ti mismo y cuestiona la autoridad», si lo extrapolamos, no podemos dejar que la pereza mental, la carencia de tiempo u otras excusas sean la justificación para que entreguemos el control, se delegue una responsabilidad a quien no tiene la capacidad de afrontar la responsabilidad, que no se caiga en prácticas inadecuadas como entregar el sello o “prestar la contraseña de instructor/profesor”. Siempre hay que dudar.  La medicina basada en la evidencia a pesar de 30 años nos ha llevado a tener fiascos cuando “bajamos la guardia”.
  3. Las alucinaciones en la IA generativa plantean preocupaciones sobre la fiabilidad y precisión de los resultados y hay personas que están cayendo en la curva de la desilusión; pero la solución real es diagnosticar y resolver las posibles causas como la falta de conocimiento, inferencia de los detalles no especificados y la falta de verificación en tiempo real contribuyen a las alucinaciones, mejoras en el entrenamiento, uso de conjuntos de datos representativos, uso de restricciones adecuadas y mejoras en las arquitecturas de los modelos.
  4. La supervisión humana, evaluación crítica y validación externa son necesarias para garantizar la calidad y confiabilidad de las respuestas generadas por la IA.
  5. Continuar con la investigación y colaboración interdisciplinaria para abordar los desafíos de las alucinaciones en la IA generativa y promover un uso responsable de esta tecnología.
  6. Incentivar un médico híbrido, con criterio y pensamiento crítico, que permita que la inteligencia artificial aumente las capacidades humanas y no que las reemplace.
  7. Si los sistemas de IA pueden pensar o «soñar» de alguna manera, ¿cómo deberíamos tratar a esas entidades? ¿Se les deben conceder derechos o protecciones específicos? 9

Bibliografía

  1. Una investigación matemática de la alucinación y la creatividad en modelos GPT https://www.mdpi.com/2227-7390/11/10/2320)
  2. https://www.muycomputer.com/2023/04/15/que-son-las-alucinaciones-de-los-modelos-de-ia/
  3. https://wwwhatsnew.com/2023/06/12/que-son-las-alucinaciones-en-chatgpt-y-por-que-se-producen/
  4. https://eldiario.com/2023/04/21/que-son-las-alucinaciones-de-la-inteligencia-artificial/
  5. https://wwwhatsnew.com/2023/06/12/que-son-las-alucinaciones-en-chatgpt-y-por-que-se-producen/.
  6. Can artificial intelligence help for scientific writing? Salvagno et al. Critical Care, https://doi.org/10.1186/s13054-023-04380-2
  7. ChatGPT: Angel or Demond? Critical Thinking is still needed Clinical, Mario Plebani, Chemical Lab Medicine https://doi.org/10.1515/cclm-2023-0387.
  8. Zhao T. Automatic Calibration and Error Correction for Large Language Models via Pareto Optimal Self-Supervision, arXiv:2306.16564v1 [cs.CL] 28 Jun 2023
  9. Nosta J., La naturaleza de las «alucinaciones» de GPT y la mente humana https://johnnosta.medium.com/the-nature-of-gpt-hallucinations-and-the-human-mind-c1e6fd63643d

Deja un comentario