¿Cómo alcanzar objetivos educativos con ChatGPT? – Parte 2

Un primer para profesores y estudiantes

Luis Eduardo Pinto. Médico y docente de medicina de la Universidad Alexander von Humboldt, miembro de AIpocrates.

Introducción a la segunda parte

En esta entrega, abordaremos objetivos educativos más avanzados, que van más allá del conocimiento, la comprensión y el análisis (1). A medida que los estudiantes avanzan en su proceso de aprendizaje, es crucial que los docentes fomenten habilidades de análisis, síntesis, evaluación y creación de manera intencionada. Podemos ilustrar este proceso observando un escenario clínico convencional.

Así por ejemplo, un motivo de consulta demanda mayor análisis inicial a través de un interrogatorio y un examen físico sistemáticos. Esto es seguido por la síntesis de hallazgos relevantes para arribar a un diagnóstico. El siguiente nivel de complejidad implica evaluar el caso, que incluye factores como el riesgo pronóstico, la efectividad y seguridad de las intervenciones, las preferencias del paciente, y la disponibilidad de recursos, lo que requiere un juicio más profundo y balanceado. Por último, enfatizamos la importancia de introducir enfoques educativos innovadores que fomenten estas habilidades entre los estudiantes y estimulen su potencial creativo.

Para desarrollar objetivos educativos como análisis, síntesis y evaluación (1), debemos seguir aplicando técnicas básicas en la formulación de prompts para aprovechar al máximo los Grandes Modelos de Lenguaje (GML o LLMs), como ChatGPT (GPT: Generative Pre-trained Transformer) (5,6). Para poner en práctica nuestros consejos, el lector puede abrir una cuenta (5) y utilizar la versión gratuita de ChatGPT, actualmente impulsada por GPT3.5.

Análisis

Un estudiante alcanza este objetivo cuando puede reconocer las limitaciones y alcances de diferentes marcos teóricos, identificar múltiples causas de un fenómeno, comprender qué variables influyen en el efecto de una causa y explicar las relaciones entre etapas de un proceso. Un docente puede facilitar este proceso, destacando las limitaciones de modelos teóricos y ayudando a diferenciar entre variables causales y mediadoras, causas próximas y lejanas, y causas aisladas o interconectadas. Es importante destacar que tanto las causas como los efectos suelen estar presentes en las bases de conocimiento utilizadas para entrenar modelos de lenguaje. Además, estas bases contienen palabras que establecen vínculos causales, como «causa», «produce» o «explica» permitiendo que el modelo rastree «aguas arriba» para identificar causas y, utilizando la misma estrategia, para identificar efectos (3). Este mismo enfoque se aplica a la descomposición de las partes de un sistema, la secuencia de etapas en un proceso, las causas de un resultado y las diversas perspectivas de un fenómeno.

Muchos problemas clínicos demandan análisis de parte del médico como por ejemplo: ¿Cuáles son los diagnósticos diferenciales a considerar en un paciente con poliuria?, ¿qué preguntas se deben responder para obtener un diagnóstico definitivo?; un estudiante podría estar interesado en la generación de un temario para guiar su estudio autónomo y promptear:

«Eres mi profesor de fisiología renal, me estás enseñando el papel del riñón en la homeostasis de la osmolaridad plasmática. Genera un temario relevante para un estudiante de Medicina de cuarto semestre, resalta los conceptos críticos y los más difíciles de entender».

Otro estudiante podría estar interesado en:

«Analiza(r) la clasificación etiológica de la lesión renal aguda con base en pronunciamientos de organizaciones científicas especializadas».

Ambos son ejemplos de una aproximación analítica a los temas.

En la enseñanza de la investigación en salud, un ejemplo de prompt analítico en investigación podría ser como este:

“Eres un experto en metodología de la investigación en salud. Enseñas a tus estudiantes cómo realizar la revisión de la literatura científica. Soy uno de tus estudiantes y debo obtener artículos relevantes para responder la siguiente pregunta: “¿Cuál es el efecto del tratamiento farmacológico antihipertensivo en pacientes hipertensos leves con bajo riesgo cardiovascular?”. Concibe una estrategia para la búsqueda de artículos relevantes en Pubmed. Presenta el resultado con los términos MeSH y los conectores booleanos pertinentes listos para consultar en la base de datos y obtener artículos específicamente dirigidos a responder la pregunta.” (Figura 1).

Al introducir los términos en el área de consulta de la base de datos, la recuperación de artículos será más eficiente y relevante. Tras un tamizaje de los resultados, el estudiante estará listo para la lectura sistemática de los documentos seleccionados. 

Un profesor de investigación analítica en salud puede proporcionar a sus estudiantes una serie de prompts efectivos que puedan ser empleados con ChatGPT con diversos propósitos. En la sección de introducción, puede solicitar resumir el conocimiento previo, definir la pregunta de investigación y los objetivos. En la sección de metodología, orientar los prompts a identificar y explicar el diseño de estudio empleado.

Asimismo, es factible solicitar a ChatGPT que anticipe probables sesgos y limitaciones derivados del diseño del estudio, los participantes, las intervenciones/exposiciones, los comparadores, los resultados y las mediciones, al tiempo que explique sus implicaciones en la interpretación de los resultados. Esta información puede ser contrastada con la discusión del reporte de investigación, lo que fomenta el pensamiento crítico entre los estudiantes y ayuda a identificar discrepancias que pueden ser discutidas en el aula.

Figura 1. Ejemplo de la respuesta a un prompt solicitando una estrategia para la búsqueda sistemática de artículos presentando el resultado con los términos MeSH y los conectores booleanos pertinentes (6).

Síntesis

Sintetizar implica unir, construir y reconstruir, eliminando redundancias, identificando brechas, proponiendo soluciones, y aclarando incertidumbres para economizar el conocimiento. Aunque va más allá del mero resumen, extraer las ideas clave de un texto es fundamental. El docente puede advertir que ciertos enunciados hacen parte del contenido empírico de algunas teorías y que, en la práctica, se reducen a ser consecuencias esperadas de estas. Al mismo tiempo, puede alertar que otras predicciones no se han contrastado o que las evidencias no las respaldan. A pesar de su complejidad, se puede presentar como un desafío a los estudiantes en forma de proyectos.

Entre las capacidades del procesamiento de lenguaje natural, podemos usar la de clasificación para organizar jerárquicamente una estructura de texto con sus respectivas subestructuras y la de resumir para minimizar la redundancia innecesaria con una indicaciones explícitas. No obstante, limitaciones de espacio en versiones gratuitas de ChatGPT pueden ser un obstáculo (6), pero el proceso se puede dividir en etapas, comenzando con la generación de estructura para albergar modelos, teorías y conceptos. 

La sección anterior describió cómo ChatGPT puede ayudar a formular preguntas y estrategias de búsqueda, leer artículos, y profundizar en el análisis. Los resultados de este ejercicio podrán ser ubicados en las estructuras generadas.

Aquí va un posible prompt para generar estructura para síntesis:

“Eres un investigador clínico con demostrada experiencia en la publicación de reportes de caso. Has sido asignado para asistirme en la elaboración de un manuscrito que remitiré a una revista especializada. Reportaré el caso de un adulto con parálisis periódica hipokalémica (PPHipo). Genera una estructura con los elementos críticos que se deben considerar en la discusión del caso a reportar. Agrega una breve descripción de la información que se debe incluir para cada elemento”.

Esta estructura facilitará la reconstrucción de la PPHipo a la luz de un caso clínico significativo y la identificación de brechas clínicas e investigativas.

La síntesis implica una depuración y requiere una redacción coherente y ordenada, algo en lo que ChatGPT es experto. Los estudiantes y muchos profesionales pueden mejorar en este aspecto. Aprovechar estas habilidades ahorrará tiempo y esfuerzo y, a la vez, mejorará la calidad.

Evaluación

Emitir un juicio crítico frente a una situación específica es un objetivo de aprendizaje avanzado e instrumental para la toma de decisiones. Precisa conocer los valores en juego y balancear la magnitud potencial de las acciones en conflicto, tanto deseables como indeseables.

Una asignación del docente solicitaría que los estudiantes definan un tema de interés, qué factores influyen en un sentido, qué factores influyen en sentido contrario y respecto a qué problema dentro del tema. Al final, los estudiantes deberían adoptar una posición o simular la toma de una decisión justificando los motivos que condujeron a ella.

Las evaluaciones éticas promueven la reflexión sobre sesgos personales y la transferencia de conocimiento a diferentes valores culturales. La ética se basa en valores, preferencias y reglas lógicas, a veces incluso en estadísticas. Prompts adecuados pueden guiar la discusión ética con el modelo.

En una asignación para formar y evaluar este objetivo educativo se puede promptear el modelo para que asuma el rol de un eticista, un hacedor de políticas o un comité generador de guías de práctica clínica; adjuntar en el contexto el problema y comenzar con los desenlaces clínicos en juego, y solicitar una jerarquización de los mismos, acompañada de una justificación de la jerarquía. Cuando la forma de la respuesta no sea la deseada, no hay que dudar en refrescarla y si la respuesta del modelo presente fallos evidentes o alucinaciones, reevaluar y corregir el prompt. Si se busca una salida con una perspectiva más amplia, conviene una indicación más general que si se pretende una salida más precisa. Utilice una «teoría de la mente artificial»: ¿Qué es lo que el ChatGPT está entendiendo con este prompt? (3) y si encuentra una explicación, modifique el prompt (4).

Alternativamente, pudiera pedirle que asuma el rol de un economista comportamental que utiliza la teoría del agente racional para ponderar entre el riesgo de un determinado desenlace y las probabilidades de daño y de beneficio con la intervención. Para esta clase de ejercicios, se deberán suministrar los datos de entrada necesarios para el cálculo.

Aquí, les compartimos un ejemplo de prompt evaluativo:

“Una condición hipotética tiene una prevalencia del 5% y un riesgo pronóstico de muerte de 10% a 2 años, el cual se reduce a 3% con la intervención. El riesgo de hiponatremia es de 15% en el mismo marco de tiempo con la intervención y del 10% sin ella. ¿Cómo es el balance neto entre beneficios y daños?. Presenta esta evaluación paso a paso teniendo en cuenta magnitudes de beneficio y daño, y teniendo en cuenta el valor asociado con los desenlaces en juego.” Seguidamente, puede solicitar: “Aplica los cálculos respectivos e interprétalos”.

La respuesta a prompts como éste sin duda integrará las competencias científicas y las ético-valorales de sus estudiantes y mejorará ostensiblemente su panorama evaluativo.

Creación

En el contexto de los objetivos educativos de la taxonomía de Bloom, la «creación» representa el nivel más alto de aprendizaje y habilidades cognitivas (1). Este nivel se refiere a la capacidad de los estudiantes para combinar elementos de manera original y novedosa, generando nuevas ideas, hipótesis, conceptos o productos físicos. Pueden de carácter artístico, científico o informático. Pueden ser materiales o intelectuales.

Los investigadores experimentados destacan por su aguda percepción de las brechas científicas y tecnológicas que aún necesitan ser abordadas. Esto les permite formular preguntas precisas, examinar hipótesis y desarrollar prototipos. En el ámbito cotidiano, el uso de ChatGPT puede ampliar su capacidad de respuesta, especialmente cuando en los prompts les pide desplegar su creatividad (6). En aplicaciones más avanzadas, los algoritmos de aprendizaje automático (AA) pueden modelar datos de un subconjunto y validar su rendimiento en otro, incluso sin requerir etiquetas previas para el entrenamiento, lo que les permite descubrir nuevos patrones y realizar predicciones sorprendentes . De hecho, el tamaño de los GML está directamente relacionado con la emergencia de nuevas capacidades.

La creación, formulación y ajuste de prompts efectivos es una demostración de creatividad. No obstante, hay otras formas de lograr este objetivo. Estas incluyen la introducción de herramientas basadas en IA para optimizar la eficiencia y efectividad de las tareas de los estudiantes, como la búsqueda de información, la lectura óptima, la conexión entre artículos, la presentación de puntos y contrapuntos, entre muchos otros . Además, se puede explorar el desarrollo de chatbots para la educación y la comunicación con pacientes (2), así como el planteamiento de problemas que puedan resolverse mediante técnicas de ciencia de datos (Data Science) y AA.

Recomendaciones finales

No se desanime si está comenzando en este proceso. Recuerde que la verdadera maestría se adquiere a través de la reflexión sobre sus acciones y pensamientos, junto con la voluntad de intentarlo nuevamente. No hay castigo por cometer errores, y nadie es completamente infalible al utilizar ChatGPT.

Cuando planifique sus proyectos, sea específico acerca de los objetivos educativos que está buscando. Indique a sus estudiantes que utilicen el modelo para crear la estructura de su proyecto y que sigan las etapas de manera ordenada. En algunas ocasiones, una etapa requerirá una secuencia de prompts. En cada paso, asegúrese de que el prompt sea completo, incluyendo la actuación, contexto, tarea y formato de la salida, además de que sea explícito y específico. Aprenda y aplique técnicas de prompting efectivo, y si una respuesta no cumple con sus expectativas, no dude en refrescar, revisar y ajustar su prompt para obtener una nueva respuesta (6).

Intente pensar «como lo haría el modelo» para comprender mejor cómo este interpreta el prompt. Finalmente, aliente a sus estudiantes a verificar las respuestas en otras fuentes para detectar discrepancias, errores o posibles alucinaciones, y anímelos a explorar las posibles causas de cualquier fallo (4).

Conclusiones

El auge de modelos de lenguaje como ChatGPT  (5) marca un comienzo con un potencial extraordinario, pero definitivamente no se quedará ahí. A medida que avanzamos, tanto docentes como estudiantes nos encontraremos cada vez más en la necesidad de utilizar herramientas impulsadas por la IA, y los modelos de lenguaje, independientemente de su tamaño, se integrarán inevitablemente en diversas facetas de nuestro trabajo, incluyendo la educación médica.

Comprender cómo funcionan los GML generativos como ChatGPT permitirá tanto a profesores como a estudiantes aprovechar esta herramienta de manera efectiva en el contexto educativo. Este conocimiento guiará a los estudiantes hacia objetivos educativos de mayor complejidad, al tiempo que fomentará su aprendizaje autónomo.

Aunque nuestro enfoque no se ha centrado explícitamente en las capacidades emergentes de los GML ni en su explicabilidad, esperamos contribuir a la discusión de estas áreas pronto. Para terminar, advertimos que tanto docentes como estudiantes deben no solo verificar las salidas generadas por estos modelos, sino también adquirir competencias relacionadas con la privacidad y la seguridad para complementar su dominio de estas tecnologías (2)

Nota final: El autor también ha aprovechado las capacidades de ChatGPT para estructurar este documento, consultar algunos conceptos y editar algunos de sus pasajes. 

Referencias

1. Anderson, L. W., & Krathwohl, D. R. (2001). A Taxonomy for Learning, Teaching and Assessing: A Revision of Bloom’s Taxonomy of Educational Objectives: Complete Edition. New York: Longman.
2. Lee P, Bubeck S, Petro J. Benefits, Limits, and Risks of GPT-4 as an AI Chatbot for Medicine. N Engl J Med. 2023 Mar 30;388(13):1233-1239. doi: 10.1056/NEJMsr2214184. PMID: 36988602.
3. Wolfram Stephen. «What Is ChatGPT Doing … and Why Does It Work?,» Stephen Wolfram Writings (2023).
4. Zamfirescu-Pereira J. , Wong R. , Hartmann B. , & Yang Q.. Why Johnny can’t prompt: how non-AI experts try (and fail) to design LLM prompts. Proceedings of the 2023 CHI Conference on Human Factors in Computing Systems 2023.
5. https://www.promptingguide.ai/es
6. https://chat.openai.com