Evaluar tareas realizadas con IA generativa

-Una guía orientadora para estudiantes-

Por Eduardo Pinto, MD, del Comité de IA y Educación Médica de AIpocrates

La adopción masiva de la IA Generativa (IAG) ha alterado los métodos tradicionales de evaluación en las ciencias de la salud, donde antes se asumía que un trabajo escrito impecable reflejaba fielmente la competencia y el razonamiento clínico del estudiante (1, 4, 5, 11).

Esta validez evaluativa se ha perdido debido a que los modelos de lenguaje introducen dos problemas principales:

Subrepresentación del constructo: La IA realiza el análisis y la síntesis, privando al estudiante de desarrollar dicho ejercicio cognitivo.
Varianza irrelevante al constructo: La nota termina midiendo el acceso a herramientas de pago o la habilidad para redactar prompts en lugar de la competencia médica real.

Ante este panorama, la postura de AIpocrates no es prohibir la tecnología, sino implementar un modelo de evaluación auténtica e integrada. En lugar de valorar solo el documento final, se evaluará el proceso de interacción con la IA, el rigor clínico y la capacidad del estudiante para defender sus decisiones de forma directa.

1. La Inoperatividad Ética y Técnica de la «Detección de IA»

Cuando los LLMs se masificaron, muchas instituciones recurrieron a detectores automáticos de texto con la esperanza de preservar la integridad académica. La evidencia científica actual es rotunda: estas herramientas carecen de la validez y confiabilidad requeridas para sustentar decisiones evaluativas o disciplinarias (3, 6, 11).

Estudios comparativos formales demuestran que ningún detector comercial alcanza una precisión global superior al 80% en condiciones reales, y son extremadamente fáciles de eludir mediante paráfrasis menores (2, 3, 9).

El Sesgo de la Perplejidad: Los algoritmos de detección de IA miden la perplejidad (impredecibilidad en la selección de palabras) y la variabilidad sintáctica (burstiness). Los estudiantes no nativos de inglés tienden a utilizar un vocabulario más acotado y estructuras gramaticales predecibles para evitar errores. Para un algoritmo de detección, esta menor variabilidad lingüística se interpreta erróneamente como texto generado por IA (3, 9). Investigaciones independientes demostraron que los detectores clasifican erróneamente entre el 50.2% y el 61.3% de los ensayos escritos por estudiantes no nativos como si hubieran sido generados por IA, en comparación con menos del 5% de falsos positivos en estudiantes nativos (3, 7, 9).

En AIpocrates se rechaza el uso de detectores de IA como evidencia de falta de honestidad académica debido a su impacto negativo en la equidad y a la ansiedad que producen en los estudiantes (2, 4). La única manera de reducir sus fallos consiste en emplearlos de forma combinada (en grupos o tríadas de consenso), lo que disminuye los falsos positivos casi al 0% y los convierte en un apoyo cuando la apreciación humana resulta insuficiente (6).

2. El Antídoto a la Atrofia Cognitiva: Ciclos AI-On y AI-Off

El uso desmedido y sin control de la IAG en la formación médica genera tres riesgos críticos que ponen en peligro directo la seguridad del paciente (4):

Never-skilling: Ocurre cuando delegas el esfuerzo cognitivo inicial en la IA desde las etapas básicas, fallando en adquirir la habilidad fundamental de razonar un diagnóstico o elaborar una historia clínica por ti mismo.
Mis-skilling: Sucede cuando internalizas atajos diagnósticos o conceptos erróneos derivados de las «alucinaciones» de los LLMs sin percatarte de la falla.
Deskilling: La pérdida o degradación de competencias clínicas previamente consolidadas debido a la falta de ejercicio mental independiente prolongado.

Para prevenir la atrofia del pensamiento clínico, nuestro modelo pedagógico implementa el marco M3RGE-AI (Responsible, Reliable, and Reflexive use of Generative AI), estructurado en ciclos alternados de AI-On y AI-Off (4):

Fases AI-On (Uso Regulado): Trabajarás de la mano con la IA, pero no para que te dé respuestas empaquetadas. Los modelos serán programados para actuar como tutores socráticos, haciéndote preguntas orientadoras, desafiando tus premisas y obligándote a justificar cada paso de tu razonamiento.
Fases AI-Off (Verificación Independiente): Momentos presenciales controlados y libres de tecnología (como simulaciones clínicas in vivo, OSCEs o defensas orales breves) donde certificarás que eres capaz de tomar decisiones diagnósticas y terapéuticas de forma totalmente autónoma.

3. Invirtiendo la Pirámide de Bloom: Del Ascenso Lineal al Bucle de Co-creación

La Taxonomía de Bloom tradicional planteaba una escalera lineal ascendente donde llegar a la cima («Crear» / Creating) exigía memorizar, comprender, aplicar, analizar y evaluar previamente. La redacción del texto final se ubicaba en la cúspide al asumir un dominio completo de los pasos anteriores (5).

Hoy en día, las herramientas de IA Generativa (IAG) han roto esta jerarquía de aprendizaje al ser capaces de diseñar, formular, resumir y redactar borradores con un alto nivel de precisión gramatical, velocidad y coherencia sintáctica en cuestión de segundos (3, 4, 5). Dado que la mayoría de los estudiantes percibe que la IA supera su calidad de redacción (75.1%), profundidad (68.1%) y respuesta general (63.2%), surge el temor a escribir con voz propia (6). En consecuencia, presentar un borrador estático deja de ser una prueba confiable de comprensión fisiopatológica o razonamiento clínico.

Por esta razón, en la educación médica y de ciencias de la salud, adoptamos de forma pragmática la Taxonomía de Bloom Invertida (4, 11). En tus tareas académicas, los roles y prioridades cognitivas cambian de dirección:

El Fin de la Escalera Lineal: Los Dos Nuevos Niveles Cognitivos

El Nivel Asistido (Habilidades delegables de bajo orden): Recordar datos aislados, memorizar dosis o redactar la estructura gramatical inicial de un informe clínico ya no son el objetivo principal de evaluación. Pasan a ser actividades de bajo nivel asistidas por la máquina, donde la tecnología sirve como un andamiaje técnico inicial (4).
El Nivel Humano Superior (El verdadero foco de la evaluación): Tu evaluación se desplaza decididamente hacia el desarrollo de habilidades cognitivas de orden superior que la máquina no puede replicar con rigor ético o juicio clínico seguro (4, 11). Aquí evaluamos tu capacidad para identificar sesgos y omisiones en las respuestas del modelo, tu rigor para realizar una curación estricta del conocimiento contrastando los datos de la IA con literatura real y tu habilidad para adaptar guías abstractas al contexto de incertidumbre de un paciente de carne y hueso (2, 4).

El Bucle de Retroalimentación Activo entre «Evaluar» y «Crear»

La diferencia fundamental de esta versión actualizada de Bloom es que el aprendizaje ya no es un proceso lineal, sino un bucle iterativo y dinámico de co-creación (2).

En lugar de subir una escalera y olvidarte de los peldaños anteriores, el trabajo con IAG exige un movimiento constante de ida y vuelta entre crear (crear prompts) y evaluar (auditar respuestas). Este ciclo se retroalimenta activamente (2):

La calidad de tus prompts (tu capacidad de crear instrucciones específicas) determina la precisión de la IA (2). A su vez, el análisis crítico de sus respuestas (tu capacidad de evaluar identificando errores y exigiendo justificaciones) fortalece tu propio criterio y habilidad clínica (4, 12).

Para evaluar este bucle de forma científica y objetiva, incorporamos el marco de aprendizaje DRIVE (Directive Reasoning Interaction and Visible Expertise) (10):

(DRI – Interacción con Razonamiento Directivo): Evalúa tu grado de liderazgo y agencia en la interacción. Mide si asumes el rol de «humano al mando» (human-in-command) o si te limitas a copiar y pegar instrucciones de forma pasiva. Se evidencia mediante prompts socráticos, desafíos explícitos a las premisas de la máquina y dirección intencionada del plan clínico (10, 12).
(VE – Experticia Visible): Evalúa qué tanto de tu propio conocimiento médico e investigación de fuentes externas infundes dentro del chat continuo. Debes demostrar que «sabes lo suficiente para cuestionar lo que la máquina propone». Se evidencia cuando propones diagnósticos diferenciales preliminares fundamentados en clase, aplicas epidemiología de tu comunidad, o criticas con bases sólidas una alucinación del modelo (10, 12).

No calificamos la elegancia del producto de la IA; calificamos tu capacidad de co-crear, dudar de ella y gobernar la tecnología para beneficio del paciente (2, 4).

4. Los Cuatro Perfiles de Interacción del Estudiante con IA

La investigación educativa demuestra que la forma en que interactúas con la IA define tu adquisición de competencias y tu riesgo de atrofia cognitiva (4, 10). Al auditar tus bitácoras de chat continuas, los docentes identificamos cuatro perfiles claros de estudiantes que revelan de forma transparente el nivel de esfuerzo y aprendizaje real (4, 6, 10, 12, 13):

5. El Estándar 3T-RAG: La Verificación Estricta de Fuentes Primarias

El uso de LLM en la práctica médica y científica presenta un riesgo latente: las alucinaciones de contenido y la fabricación de referencias bibliográficas inexistentes o distorsionadas. En ciencias de la salud, aceptar de manera pasiva y sin contrastar la información generada por una IAG no solo compromete la integridad académica, sino que atenta directamente contra la seguridad del paciente (4, 12).

Por ello, ningún dato clínico o recomendación terapéutica propuesto por la máquina puede incorporarse a tu trabajo sin pasar por el estándar 3T-RAG (Trazabilidad, Transparencia y Verdad) (2, 4, 9, 10, 12, 13)

6. El Modelo MARC-AI: ¿Cómo Estructuraremos Tus Tareas?

Tus asignaciones académicas ya no serán entregas de texto estático que se envían por correo. Implementaremos el Modelo de Evaluación Auténtica e Integrada del Razonamiento Clínico (MARC-AI), un proceso secuencial y transparente estructurado en 8 pasos esenciales (10, 13):

Resultado de Aprendizaje Claro: Definimos con precisión qué competencia clínica (alineada con la Pirámide de Miller: Saber Cómo o Demostrar Cómo) se espera que demuestres (4, 8).
Permiso de Uso de IA (Escala AIAS): Cada tarea tendrá explícitamente definido su nivel de integración tecnológica bajo la escala AIAS v2.1 (desde el Nivel 1: No AI en entornos controlados, hasta el Nivel 4: Full AI donde co-creas con el modelo, o Nivel 5: Exploración Co-creativa) (4).
Diseño de Casos Auténticos: Se te presentarán historias clínicas reales desidentificadas con ambigüedades, valores de laboratorio contradictorios o determinantes sociales atípicos de nuestra comunidad local (4, 8). La IA estándar falla sistemáticamente al resolver problemas donde el contexto local no estandarizado es clave (4, 8).
Auditoría del Proceso (Bitácora de Prompts): Deberás entregar la transcripción completa del chat (enlace compartido auditable) que documente tu diálogo con la IA (3, 4, 10). Analizaremos cómo guiaste al modelo (DRI), cómo estructuraste tus preguntas y cómo iteraste para refinar las respuestas (4, 8, 10).
Filtro de Verificación Crítica (Estándar 3T-RAG): Deberás marcar activamente las alucinaciones del modelo, corregir pautas posológicas erróneas o desactualizadas y rastrear cada afirmación fisiopatológica hasta una fuente primaria indexada y real (4, 8).
Producto Híbrido y Declaración de Transparencia: Entregarás tu informe clínico final acompañado de un apéndice explícito de transparencia que declare qué herramientas utilizaste y con qué propósito exacto (4).
Punto de Control «AI-Off» (Defensa Oral): Para certificar tu independencia cognitiva, realizarás una breve defensa oral interactiva ante tu docente y compañeros . Deberás justificar tus decisiones de diagnóstico y tratamiento y responder a preguntas imprevistas en vivo sin ayuda de la tecnología (4, 8).
Rúbrica Multidimensional: Tu calificación final no se basará en una nota holística subjetiva. Aplicaremos una rúbrica multidimensional calibrada psicométricamente (4).

7. La Rúbrica de Evaluación GenAI-DRIVE (Mesa de Calificación)

Para garantizar total objetividad y transparencia, tus trabajos que involucren el uso de GenAI serán evaluados mediante la siguiente rúbrica analítica basada en conductas observables de tu bitácora de interacción y tu informe final (4, 12):

Dimensión de Evaluación	Insuficiente (0 pts)	Suficiente (1 pt)	Bueno (2 pts)	Excelente (3 pts)	Peso en Nota (MARC-AI)	Articulación con 3T-RAG / DRIVE
Documentación e Integridad (AD)	Uso oculto o manipulado. Sin bitácora continua de chat; el informe final contradice el rastro del chat, impidiendo trazar la autoría.	Registro fragmentado. Bitácora de chat fragmentada con pasos de interacción omitidos de forma conveniente; declaración de uso muy vaga.	Registro claro. Se entrega enlace al chat único y continuo de la interacción; se declaran los usos de IA con mínimas brechas de trazabilidad.	Perfectamente trazable. Bitácora continua íntegra; aportes del estudiante y de la IA perfectamente delimitados y consistentes en todo el trabajo.	10-15%	Transparencia (T2): Evidencia el rastro íntegro del diálogo co-creativo en un chat auditable.
Formulación de Prompts (P)	Indicaciones vagas. El estudiante delega la redacción completa; prompts genéricos, sin contexto clínico ni restricciones de comorbilidad.	Diálogo lineal. Instrucciones relevantes pero lineales y conversacionales; la IA debe deducir parámetros clínicos básicos.	Orientación al caso. Prompts enfocados en la tarea; introduce comorbilidades del paciente y restricciones clínicas, pero requiere guías continuas del LLM.	Precisión diagnóstica. Prompts quirúrgicos; define de entrada roles, restricciones de recursos locales, dosis y perfiles demográficos exactos.	15-20%	Razonamiento Directivo (DRI): Evalúa el liderazgo clínico del estudiante en la formulación de instrucciones de alto nivel.
Auditoría y Verificación Crítica (V)	Aceptación pasiva. Se asumen las recomendaciones del modelo como verdades absolutas; sin cuestionamiento de alucinaciones ni contrastación de fuentes.	Superficial. Preguntas de confirmación gramatical básicas; no hay solicitud de fuentes ni justificaciones fisiopatológicas ante guías dudosas.	Búsqueda activa. Cuestiona los datos del modelo al menos una vez; exige justificaciones de tratamiento basadas en evidencia real; esfuerzo por detectar errores.	Filtro 3T-RAG riguroso. Interrogatorio repetido y socrático; desafía activamente las dosis erróneas; corrige al modelo y contrasta cada salida en PubMed/MEDLINE.	25-30%	Trazabilidad (T1) y Verdad (T3): Auditoría activa de la precisión científica frente a referencias inventadas o dosis peligrosas.
Integración de Contenido (I)	Copia directa. Inserción textual del borrador de la IA mediante un copiado y pegado plano; desconexión total con el contexto clínico del paciente real.	Edición cosmética. Modificaciones menores de estilo o gramática; el texto mantiene inconsistencias metodológicas derivadas del LLM.	Adaptación. Refraseo y reorganización de las secciones asistidas; integración coherente con el plan clínico global.	Reescritura profunda. Síntesis brillante del material co-creado; asume la responsabilidad diagnóstica con argumentos originales que asumen la propiedad del caso.	30-40%	Experticia Visible (VE): Demostración del juicio clínico independiente asumiendo la autoría e identidad profesional.

8. Protocolo de Auditoría y Verificación: ¿Cómo te evaluará tu docente?

Para eliminar la opacidad de la tecnología, te presentamos el protocolo exacto paso a paso que utilizará tu docente para auditar tu bitácora de chat y certificar tu aprendizaje clínico bajo el estándar de AIpocrates (4,10, 12, 13, 14):

Un Mensaje Final de AIpocrates Para Nuestros Estudiantes

La IA en salud no ha venido a sustituir tu cerebro; ha venido a amplificar tus capacidades (4, 5). Un médico del siglo XXI que no sepa auditar una IA será tan peligroso como uno que no sepa interpretar un electrocardiograma (4).

Nuestra meta no es perseguirte ni vigilarte con algoritmos policiales defectuosos (4). Queremos enseñarte a dudar de la máquina para que aprendas a confiar en tu propio juicio clínico (4, 8). La responsabilidad última de la vida de un paciente nunca podrá delegarse en una red neuronal; siempre recaerá sobre la firma intelectual e inquebrantable del profesional de la salud (4, 11).

¿Estás listo para asumir el control de tu propio proceso de aprendizaje en esta nueva era?

📌 Recursos para Estudiantes: Aplicación Práctica del 3T-RAG

Referencias Bibliográficas