Chatbots basados en inteligencia artificial: la importancia de saber preguntar

Resumen

Antecedentes: los chatbots basados en inteligencia artificial (CBIA) son una fuente muy utilizada de información médica. La ingeniería de prompts (IP) está orientada a formular y optimizar las preguntas realizadas a los CBIA para mejorar sus respuestas.
Objetivo: evaluar la calidad de los prompts y las respuestas generadas por un CBIA en la resolución de casos clínicos de cirugía general, antes y después de una capacitación en IP.
Materiales y métodos: se elaboraron tres casos clínicos ficticios, que debieron ser resueltos por residentes de Cirugía General utilizando ChatGPT-4®. Luego de recibir capacitación en IP, los participantes resolvieron nuevamente los casos. La calidad de los prompts se evaluó mediante una escala (5-15 puntos) que consideró completitud, contexto, datos de entrada, formato de salida e instrucción. Las respuestas del chatbot se valoraron con una escala (3-15 puntos) que incluyó precisión, completitud y relevancia. Se compararon los resultados antes y después de la capacitación en IP.
Resultados: dieciséis residentes de primero a cuarto año participaron del estudio. La calidad de los prompts mejoró significativamente luego de la capacitación en IP, en puntaje total [7,9(1,8) vs. 10,4(2,1), p,<,0,01], completitud, contexto, datos de entrada y formato de salida. También mejoraron las respuestas del chatbot en todas las categorías y puntaje total [10,2(2) vs. 11,9(1,8), p,<,0,01].
Conclusión: la capacitación en IP mejoró significativamente la calidad de los prompts y las respuestas del CBIA en la resolución de casos clínicos de cirugía general.