IA y revisión por pares: oportunidades y límites en la evaluación de respuestas de autor

Hema Thakur (India)

El uso de inteligencia artificial en procesos académicos abre oportunidades relevantes para apoyar la escritura y la revisión de textos. Sin embargo, cuando se trata de interpretar comentarios de pares y evaluar la pertinencia de las respuestas de autor, sus límites siguen siendo evidentes.

En los últimos años, el uso de herramientas de inteligencia artificial (IA) en contextos académicos ha crecido de manera significativa. Desde la mejora de la redacción hasta el apoyo en revisiones de literatura, su potencial como asistente es innegable. No obstante, su desempeño en tareas más complejas —como la interpretación crítica de comentarios de revisión por pares— continúa presentando limitaciones relevantes.

En una experiencia investigativa previa, se exploró el uso de IA para simplificar la revisión de retroalimentación dirigida a personas con discapacidades cognitivas. En ese contexto, se observó que, especialmente cuando el contenido era altamente técnico, la IA tendía a omitir información relevante o alterar el sentido original. Este hallazgo motivó un análisis posterior centrado en evaluar su capacidad para revisar respuestas de autores a comentarios de revisores, específicamente en términos de adecuación; es decir, si dichas respuestas abordan efectivamente las observaciones planteadas.

Es importante precisar que no se solicitó a la IA generar respuestas desde cero. En cambio, se le proporcionaron respuestas ya elaboradas por los autores, pidiéndole evaluarlas y, en caso necesario, proponer mejoras. Este punto es clave: existen aspectos que la IA no puede inferir sin información adicional. Por ejemplo, ante una crítica metodológica, no puede asumir si el autor realizó cambios sustantivos o si optó por reconocer limitaciones, decisiones que requieren necesariamente la intervención del propio autor.

El análisis consideró cinco artículos (a nivel de resumen), tres comentarios de revisores por cada uno y cuatro herramientas de IA. Los resultados mostraron que, si bien la IA contribuye a mejorar la claridad, la estructura y la fluidez de las respuestas, presenta limitaciones sustantivas en la interpretación crítica del contenido.

Un caso ilustrativo corresponde a un estudio sobre empresas en la economía del conocimiento centrado en el sector bancario. Un revisor cuestionó la elección mediante una pregunta retórica: si los bancos han sido históricamente intensivos en conocimiento, ¿dónde radica la novedad del estudio? La respuesta del autor se limitó a reafirmar dicha característica, sin abordar el cuestionamiento central. En varias iteraciones, la IA validó este enfoque e incluso sugirió mantenerlo.

En otro ejemplo, un revisor señaló que el ratio de rotación de activos puede inflarse artificialmente al reducir activos. El autor indicó haber reemplazado este indicador por el ratio de capital de trabajo; sin embargo, este presenta una limitación similar. La respuesta no explicaba cómo se resolvía el problema metodológico, pero aun así la IA consideró el cambio como sustantivo en diversas evaluaciones.

Asimismo, ante el comentario «no logré comprender el uso de encuestas de autorreporte», la intención parecía cuestionar su justificación metodológica. Una respuesta adecuada habría defendido su pertinencia en contextos subjetivos y la habría respaldado con literatura. No obstante, el autor interpretó el comentario de forma literal y explicó qué son estas encuestas. En múltiples casos, la IA consideró esta respuesta como suficiente.

Otro caso relevante involucró una tecnología para reducir el parpadeo en videos. El revisor sugirió que no se había considerado la capacidad del cerebro humano para reconstruir continuidad incluso cuando no existe, cuestionando así la relevancia del problema. Sin embargo, el autor respondió que su tecnología reduce esta capacidad humana, transformando implícitamente una ventaja en un problema. En varias ocasiones, la IA validó esta interpretación.

También se observaron dificultades para identificar problemas estructurales. Por ejemplo, ante la crítica de que un artículo presentaba una «lista de términos», el autor respondió únicamente definiéndolos. La IA evaluó positivamente este cambio, sin reconocer que el problema requería priorización o articulación conceptual.

Finalmente, en un estudio sobre distancias entre jugadores, un revisor planteó si se habían considerado cambios individuales. Esto podía referirse tanto a sustituciones como a variaciones entre jugadores que se compensan en el promedio. El autor abordó únicamente el primer aspecto y reforzó el uso del promedio aritmético, precisamente el indicador que podría ocultar dichas variaciones. En la mayoría de los casos, la IA no identificó esta limitación.

A partir de estos hallazgos, se desprende que la IA puede ser una herramienta valiosa como asistente, especialmente en aspectos formales de la escritura académica. Sin embargo, su capacidad para interpretar matices, identificar problemas conceptuales o evaluar la adecuación de respuestas sigue siendo limitada.

Por ello, cuando se trata de responder a comentarios de revisión por pares, continúa siendo recomendable recurrir a colegas, mentores o especialistas en el área. Asimismo, ante ambigüedades en los comentarios, solicitar aclaraciones a los revisores constituye una práctica válida y necesaria.

Desde esta perspectiva, REDIIE Newsletter busca abrir espacios para reflexionar críticamente sobre el uso de tecnologías emergentes en la investigación, la publicación académica y la formación universitaria, promoviendo una adopción responsable, ética y situada de la inteligencia artificial.

Autor/a:

Hema Thakur es una investigadora india independiente. Cuenta con más de 10 años de experiencia en la formación de investigadores y editores académicos, apoyando a autores en sus procesos de publicación y fortalecimiento de su perfil científico en plataformas internacionales, entre ellas Nature. Su trayectoria se centra en la comunicación científica, la edición académica y la visibilidad internacional de la investigación. Sus trabajos han sido publicados recientemente en medios y comunidades académicas especializadas, tales como The Scholarly Kitchen, comunidades de Springer Nature, Social Science Space de SAGE, Disability Horizons y el blog de la European Association of Science Editors, entre otros espacios de difusión científica y editorial. Asimismo, participa como ponente en congresos académicos y eventos TEDx. Es miembro asociado de la Red Internacional de Investigadores en Educación (REDIIE) desde el 25 de enero de 2026.

 

Marcar como favorito enlace permanente.

Comentarios cerrados.