Acusado por un algoritmo: falsos positivos, due process y el precio invisible de equivocarse

Un estudiante de Historia del Arte llamado Nicole confía en que Turnitin es suficiente para detectar el uso de IA con precisión, y concluye que la herramienta “ya basta para comprobar cómo los estudiantes usan la IA y asegurarse de que no todo su trabajo está creado por IA” [1]. La confianza de Nicole en el detector es una percepción construida sobre la opacidad del sistema, sin ninguna base técnica que la respalde. Y ahí reside el problema. Cuando una estudiante cree ciegamente en la infalibilidad de un algoritmo, y cuando los docentes hacen lo mismo para tomar decisiones sancionadoras, la integridad académica deja de ser un valor y se convierte en una ruleta.

El detector como juez: el problema de la opacidad tecnológica

Turnitin es, como señala con ironía la propia literatura especializada, una aplicación de IA construida sobre arquitectura transformer de aprendizaje profundo que se utiliza para detectar escritura generada por IA, pese a que puede exhibir los fallos comunes de los modelos de IA [1]. Dicho en términos llanos: usamos IA para detectar IA, asumiendo que el resultado es objetivo, cuando la herramienta comparte exactamente la misma propensión al error que pretende fiscalizar.

El fallo técnico es solo el primer nivel del problema. El segundo es institucional: la falta de transparencia sobre cómo funcionan estos detectores genera confusión sobre qué constituye un uso ético de la IA [1]. Si ni los estudiantes ni los docentes saben qué mide exactamente el sistema, ni con qué umbral de certeza emite su veredicto, ¿sobre qué base se instruye un expediente disciplinario? La respuesta, incómoda, es que se instruye sobre la confianza ciega en una caja negra.

Desde la perspectiva del derecho a un proceso justo, esto es insostenible. El due process —como garantía derivada del artículo 10 de la Declaración Universal de Derechos Humanos y desarrollada en múltiples instrumentos internacionales— exige que cualquier acusación descanse sobre pruebas comprensibles, verificables y contestables por el acusado. Una puntuación de detección de IA no cumple ninguna de esas condiciones si el estudiante no puede saber qué rasgos de su texto activaron la alerta, ni puede acceder a la lógica interna del sistema para rebatirla.

El falso positivo es una injusticia concreta

Cuando un detector de IA señala erróneamente a un estudiante, lo que está en juego es la reputación, la calificación y, en muchos casos, la continuidad académica de una persona, bastante más que una métrica equivocada. La presunción de inocencia invierte la carga de la prueba: es la institución quien debe demostrar que hubo fraude, no el estudiante quien debe demostrar su inocencia. Sin embargo, en la práctica, el falso positivo sitúa al estudiante en la posición kafkiana de tener que refutar lo que una máquina ha dicho sobre su propio texto.

Las desigualdades que rodean este escenario agravan la injusticia. Las fuentes recuperadas muestran con precisión cómo el acceso diferencial a herramientas de IA introduce variables que los detectores no pueden distinguir. Un estudiante que usa la versión premium de un modelo de lenguaje produce textos con características diferentes a quien usa la versión gratuita. Un estudiante que usa Grammarly —una herramienta de corrección gramatical— puede ver su trabajo marcado como IA por docentes que no distinguen entre asistencia lingüística y generación automática de contenido [1]. En ese contexto, el detector acaba midiendo, con frecuencia, la brecha socioeconómica antes que el fraude.

Hay una dimensión adicional de no-discriminación que la pedagogía crítica no puede ignorar. Si los falsos positivos recaen de manera desproporcionada sobre estudiantes con menos recursos —porque escriben con herramientas más básicas, porque su segundo idioma produce patrones textuales que el algoritmo interpreta como artificiales, o porque no tienen acceso a formación en uso ético de IA [1]— entonces el sistema de detección funciona, estructuralmente, como un mecanismo de discriminación encubierta.

Autonomía docente vs. dependencia algorítmica: quién decide y con qué criterios

Hay docentes que admiten haber permitido el uso irrestricto de IA porque no disponían de métodos de fiscalización efectivos. Hay otros que penalizan el uso de Grammarly como si fuera generación completa de texto [1]. Ambas actitudes revelan el mismo problema de fondo: la ausencia de criterios pedagógicos claros ha dejado un vacío que el algoritmo ocupa por defecto.

Esta sustitución del juicio docente por la señal algorítmica es, pedagógicamente, regresiva. La evaluación de la integridad académica requiere contextualizar: conocer al estudiante, su trayectoria, el proceso de escritura, las evidencias previas. Un detector no tiene acceso a nada de eso. Produce un número. Y ese número, en manos de una institución sin protocolo de revisión humana sistemática, puede terminar en un expediente.

La literatura sobre evaluación asistida por IA reconoce que estas herramientas pueden contribuir a detectar deshonestidad académica [2], pero el verbo es “contribuir”, no “determinar”. Esa diferencia es decisiva: una herramienta que contribuye forma parte de un proceso donde el juicio humano retiene la última palabra; una herramienta que determina desplaza ese juicio y convierte el proceso en una delegación de responsabilidad hacia un sistema que no puede rendir cuentas.

Lo que el sistema debe garantizar antes de acusar

El marco de derechos humanos ofrece aquí una hoja de ruta más operativa de lo que parece. Cualquier proceso sancionador en el ámbito académico que use un detector de IA como evidencia debería cumplir, al menos, tres condiciones. Primera: transparencia algorítmica, es decir, que el estudiante pueda conocer qué indicadores activaron el sistema y con qué grado de certeza. Segunda: audiencia real, donde el acusado pueda presentar evidencias del proceso de escritura antes de que se tome ninguna decisión. Tercera: revisión humana obligatoria, que ninguna sanción sea adoptada sobre la base exclusiva de la salida de un detector.

A esto se añade la dimensión educativa: si las instituciones ofrecen acceso institucional a herramientas de IA para nivelar las desigualdades de acceso, pero no acompañan ese acceso con formación en ética digital, en gestión de datos y en los límites reales de estas herramientas, están creando las condiciones para el malentendido masivo. Estudiantes que no saben que subir su currículum a un LLM implica cederlo a una plataforma privada [1] tampoco saben, probablemente, qué significa que Turnitin les marque un párrafo en rojo.

La pregunta que las instituciones académicas deben hacerse va más allá de “¿cómo detectamos el fraude?”. Es esta: ¿qué le debemos a un estudiante al que acusamos? Si la respuesta no incluye transparencia, audiencia y revisión humana, el detector de IA no está protegiendo la integridad académica. Está produciendo acusados.

Referencias

[1] Trajectories of AI policy in higher education: Interpretations, discourses, and enactments of students and teachers. doi.org/10.1016/j.caeai.2025.100496

[2] AI-assisted Assessment in Higher Education: A Systematic Review. doi.org/10.61414/jeti.v6i4.209

Para seguir leyendo

Otras fuentes revisadas sobre integridad académica, ética y alfabetización en IA en educación:

Developing and validating an artificial intelligence ethical awareness scale for secondary and university students: Cultivating ethical awareness through problem-solving with artificial intelligence tools. doi.org/10.1016/j.caeai.2025.100447
Beyond tool use: Tracking the evolution of generative AI literacy among university students through a process-oriented investigation. doi.org/10.1016/j.caeai.2025.100465