algorithmassistancefacebookGeneralmachine learningmetapaperresearch

El algoritmo y el paper académico

IMAGE: Ravi Teja - Pixabay

Si de algo no me cabe duda, es que vamos a asistir a una enorme proliferación de asistentes que utilizan machine learning o, más específicamente, Large Language Models (LLM), no solo para escribir un texto sobre un tema determinado o dibujar lo que le pidas, sino para todo tipo de tareas.

Meta acaba de retirar de la red un asistente de machine learning dedicado, en la mejor de las teorías, a «almacenar, combinar y razonar sobre el conocimiento científico». Como en algunas ocasiones anteriores cuando se abre un algoritmo al uso general, los primeros usos que proliferan no son necesariamente los más edificantes, lo que ha llevado a que algunos utilizasen la herramienta para generar supuestos estudios científicos sobre temas de todo tipo, desde los beneficios de ser de raza blanca hasta los de ingerir cristal triturado, pasando por unas instrucciones para hacer napalm en la bañera de casa.

De nuevo, la demostración de que las herramientas pueden ser tan buenas o malas como las intenciones de aquellos que las utilizan. En este caso, poner a prueba la idoneidad de un asistente para demostrar que, efectivamente, carece del rigor mínimo necesario para posibilitar un uso no supervisado es algo que no deja de tener su valor, pero deberíamos, antes de tirar el experimento a la basura, reflexionar algo sobre él: ¿realmente la idea era generar un asistente capaz de generar texto que pueda ser copiado y pegado en un artículo de Wikipedia? ¿O la idea original, y por tanto, el uso esperado, era otro?

Cuando una persona investiga, debe partir de un primer paso: revisar cuidadosamente, entender y organizar todo lo que sobre ese tema ha sido publicado anteriormente. La llamada revisión de la literatura es una parte fundamental de todo proceso de investigación, dado que permite entender el estado de una cuestión concreta, y sobre todo, lo que pretendemos aportar a ella con nuestro trabajo, motivación fundamental de quien lleva a cabo una investigación, la plasma en un working paper, y la envía a revisión para que termine siendo una publicación científica.

Related Articles

La revisión de la literatura es, como tal, importantísima: permite hacerse una idea de lo que se ha investigado sobre un tema, entender qué papers o qué autores son más importantes o han aportado más al mismo, la cronología de desarrollo de la disciplina o las hipótesis que cada autor ha logrado demostrar. Pero del mismo modo que resulta fundamental en el proceso, también es, en muchos casos, enormemente intensa, y sujeta a errores derivados de un deficiente proceso de búsqueda.

De ahí que, ante un large language model que explora sus posibilidades de servir como asistente a un investigador, la finalidad que se le ocurra a un usuario cualquiera pueda ser «voy a generar papers que afirmen de manera razonablemente convincente la primera estupidez que se me ocurra», pero la que se le ocurre a un investigador de verdad tenga mucho más que ver con «vete a la biblioteca, y tráeme perfectamente apuntados todos los papers que encuentres sobre este tema, sin dejarte ninguno, anotando su cronología y relación, y su importancia en términos de centralidad referencial».

¿Que cabe pensar ante un uso de este tipo? La primera derivada es obvia: menos horas delante de la pantalla haciendo búsquedas en bases de datos, y sobre todo, menor arbitrariedad, porque por mucho que los papers académicos tiendan a ser razonablemente descriptivos en su título y a ser clasificados con las palabras clave adecuadas, nada nos garantiza errores en el proceso. Un asistente de investigación como ese sería, en una primera aproximación, el equivalente a un research assistant humano, es decir, a un estudiante que trabaja con un profesor para llevar a cabo, precisamente, tareas como la revisión de la literatura (o muchas otras).

En la práctica, la herramienta sería muy similar a Ross, el conocido asistente de abogacía (paralegal) que comercializó IBM en torno al año 2016 para automatizar las búsquedas en bases de datos de legislación: una versión electrónica de enviar a tu asistente humano a revisar todas las instancias del país, en todos sus estamentos y tribunales desde los más locales hasta el Supremo, pasando por los estatales, etc., y que te trajese de vuelta y adecuadamente anotados todos los que pudieran ser razonablemente relevantes. Una base fundamental de la Common law o derecho anglosajón, que aparentemente podía ser bien automatizada e incluso dotar a los bufetes que lo utilizasen de una ventaja en términos de precisión o incluso de rentabilidad (menos horas de personal humano imputadas al cliente).

En segunda derivada, la cuestión es más problemática: ¿qué parte del proceso de investigación emerge realmente de la tediosa tarea de buscar y rebuscar entre muchísimos papers y de poner materia gris al servicio de la clasificación, la categorización y la relación de ideas? Para mi queridísimo advisor doctoral, Burt Swanson, la revisión de la literatura era un proceso fundamental, hasta el punto que una vez que sus doctorandos habíamos tomado la decisión sobre nuestra temática y foco, nos pedía que escribiéramos un review paper, una publicación que presentase los frutos de esa tarea de manera organizada y tratando de aportar valor a quienes pretendiesen investigar en ese mismo tema.

Aquí no hablamos de tonterías como «asistente, escríbeme un paper sobre este tema». Quienes investigan o han investigado alguna vez, entienden el trabajo que hay detrás de la tarea, los pasos del proceso, su potencial importancia de cara a la carrera profesional, y no se les pasa por la cabeza ni remotamente dejar determinadas cosas en manos de un asistente robótico, por bueno que sea. Pero una cosa es «escríbeme esto», y otra muy diferente, y mucho más razonable, es «genérame un documento de trabajo adecuadamente procesado con el resultado de llevar a cabo tareas como lanzar búsquedas en una base de datos, revisar los resultados y organizarlos». Lógicamente, a base de trabajar con un investigador determinado o en un campo determinado, la competencia del asistente irá mejorando, haciéndose más eficiente, y brindando resultados que ayuden más al investigador a plantear o presentar sus hipótesis.

Si automatizamos la tarea de revisar la literatura, ¿estamos generando un beneficio al investigador, o por el contrario, estamos yendo en contra de la calidad de su preparación al evitarle un trabajo que debería hacer él mismo y que puede aportar mucho a su conocimiento de la materia? El abogado que se acostumbra a utilizar Ross, ¿es mucho más eficiente y mejora en su práctica, o se hace más vago, más indolente y deja, por ejemplo, de conocer de memoria los casos más relevantes y significativos en su área? En último término, ¿el asistente ayuda al investigador, o lo perjudica? ¿Los investigadores del futuro serán más productivos y podrán dedicar más recursos a la investigación como tal, o serán una panda de ignorantes que relajan una tarea importantísima y fundamental en una herramienta de machine learning?

Related Articles

Leave a Reply

Your email address will not be published. Required fields are marked *

Back to top button