Arꢂculo original | Original arꢀcle  
1
Rev Argent Cir. 2026;118(2):e-1961- hꢀp://dx.doi.org/10.25132/raac.v118.n2.1961  
Chatbots basados en inteligencia arꢀꢁcial: la importancia de saber preguntar  
Arꢀꢁcial intelligence-based chatbots: the importance of asking the right quesꢀons  
M. Elena Peña , Alejandro Gigena , Fernando Iglesia  
Sanatorio Güemes, RESUMEN  
Servicio de Cirugía  
General. Buenos Aires. Antecedentes: los chatbots basados en inteligencia arꢀꢁcial (CBIA) son una fuente muy uꢀlizada de  
Argenꢀna información médica. La ingeniería de prompts (IP) está orientada a formular y opꢀmizar las preguntas  
realizadas a los CBIA para mejorar sus respuestas.  
Los autores declaran no  
Objeꢀvo: evaluar la calidad de los prompts y las respuestas generadas por un CBIA en la resolución de  
tener conflictos  
casos clínicos de cirugía general, antes y después de una capacitación en IP.  
de interés.  
Materiales y métodos: se elaboraron tres casos clínicos ꢁcꢀcios, que debieron ser resueltos  
Conflicts of interest  
por residentes de Cirugía General uꢀlizando ChatGPT-4®. Luego de recibir capacitación en IP, los  
None declared.  
parꢀcipantes resolvieron nuevamente los casos. La calidad de los prompts se evaluó mediante una  
escala (5-15 puntos) que consideró compleꢀtud, contexto, datos de entrada, formato de salida e  
Correspondencia instrucción. Las respuestas del chatbot se valoraron con una escala (3-15 puntos) que incluyó precisión,  
Correspondence: compleꢀtud y relevancia. Se compararon los resultados antes y después de la capacitación en IP.  
M. Elena Peña  
Resultados: dieciséis residentes de primero a cuarto año parꢀciparon del estudio. La calidad de  
E- mail: mpena@  
los prompts mejoró signiꢁcaꢀvamente luego de la capacitación en IP, en puntaje total [7,9(1,8) vs.  
sg.com.ar  
1
0,4(2,1), p,<,0,01], compleꢀtud, contexto, datos de entrada y formato de salida. También mejoraron  
las respuestas del chatbot en todas las categorías y puntaje total [10,2(2) vs. 11,9(1,8), p,<,0,01].  
Conclusión: la capacitación en IP mejoró signiꢁcaꢀvamente la calidad de los prompts y las respuestas  
del CBIA en la resolución de casos clínicos de cirugía general.  
Palabras clave: inteligencia arꢁꢂcial, chatbot, ChatGPT, prompt, Cirugía General.  
ABSTRACT  
Background: Arꢀꢁcial intelligence-based chatbots (CBIA) are a widely used source of medical  
informaꢀon. Prompt engineering (PE) focuses on designing and opꢀmizing the quesꢀons asked of AI/  
CBs to improve responses.  
Objecꢀve: The aim of this study was to compare the quality of prompts and the responses provided by  
an AiCB for clinical case resoluꢀon in general surgery, before and following PE training.  
Materials and methods: Three ꢁcꢀonal clinical cases were developed for residents in general surgery  
to solve using ChatGPT-4®. Aꢂer they were trained in PE, the parꢀcipants solved the cases again. The  
quality of the prompts was evaluated using a scale (5-15 points) that explored completeness, context,  
input data, output format, and instrucꢀons. The chatbot’s answers were assessed using a scale (3-  
1
5 points) that included accuracy, completeness, and relevance. The results obtained before and  
following PE training were compared.  
Results: Sixteen postgraduate year 1 to 4 residents parꢀcipated in the study. The quality of prompts  
improved signiꢁcantly following PE training, as assessed by total score [7.9 (1.8) vs. 10.4 (2.1), p<  
0
.01] for completeness, context, data input, and output format categories. Chatbot’s responses also  
improved across the categories and total score [10.2 (2) vs. 11.9 (1.8), p<0.01].  
Conclusion: Training in PE signiꢁcantly improved the quality of prompts and AiCB’s responses for  
solving general surgery clinical cases.  
Keywords: arꢁꢂcial intelligence, chatbot, ChatGPT, prompt, general surgery.  
Recibido | Received ID ORCID: M. Elena Peña, 0000-0001-7298-895X; Alejandro Gigena ORCID: 0009-0004-9518-1533; Fernando  
2
5-12-25 Iglesia, 0009-0000-5073-2726  
Aceptado | Accepted  
1-04-26  
0
2
Peña ME y cols. Chatbots basados en inteligencia arꢁꢂcial: la importancia de saber preguntar. Rev Argent Cir. 2026;118(2):e-1961  
Introducción  
fue el conjunto de prompts elaborados por los residen-  
tes y las respuestas provistas por ChatGPT. El estudio  
La inteligencia arꢀꢁcial (IA) ha mostrado un se desarrolló en el período entre junio y julio de 2024.  
crecimiento notable en los úlꢀmos años, especialmen- Los criterios de inclusión de la población de es-  
te en los grandes modelos de lenguaje (LLM). Estas son tudio fueron: residentes de todos los años de Cirugía  
herramientas de procesamiento de lenguaje natural General de un sanatorio de tercer nivel, y casos clíni-  
(
NLP) entrenados mediante aprendizaje automáꢀco en cos sobre patologías frecuentes de cirugía general. No  
grandes canꢀdades de datos no estructurados. De esta hubo criterios de exclusión.  
forma, los LLM se uꢀlizan hoy en día para la compren-  
sión de texto, reconocimiento de voz, generación de  
lenguaje, traducción, etc. .  
ChatGPT (de Chat-Generaꢀve Pre-Trained-  
Transformer) es un chatbot entrenado en el LLM GPT  
1
Procedimientos  
Se elaboraron tres casos clínicos ꢁcꢀcios sobre  
y se destaca por ser capaz de simular conversaciones patologías frecuentes en Cirugía General (Anexo 1). El  
humanas mediante una interfaz amigable de preguntas caso clínico 1 se reꢁrió a una paciente joven de sexo  
y respuestas. Desde su lanzamiento en noviembre de femenino que consultó a la Guardia por un cuadro de  
2
022 por OpenAI, ha ganado popularidad en diversas abdomen agudo quirúrgico. El objeꢀvo de este caso fue  
áreas, entre ellas el ámbito médico. Ha demostrado evaluar los posibles diagnósꢀcos diferenciales. El caso  
ser úꢀl en la educación de profesionales de la salud  
como asistente en la toma de decisiones médicas . Ac- ción por colecisꢀꢀs aguda. El objeꢀvo de este caso fue  
tualmente, es ampliamente uꢀlizado tanto por profe- evaluar el tratamiento de la colecisꢀꢀs de acuerdo con  
sionales, como pacientes e insꢀtuciones de salud . Sin su gravedad y basado en evidencia cienꢃꢁca. El caso clí-  
2
,3  
y
clínico 2 se trató de un paciente internado en la insꢀtu-  
4
-6  
7
embargo, existen controversias en cuanto a la validez y nico 3 se trató de un paciente atendido en consultorio  
seguridad de la información que brindan los chatbots ambulatorio por una eventración compleja. El objeꢀvo  
basados en inteligencia arꢀꢁcial (CBIA) en el ámbito de este caso fue evaluar la descripción de los pasos de  
8
,9  
médico .  
La pregunta, instrucción o palabras que el  
la técnica quirúrgica.  
Se convocó a todos los residentes de Cirugía  
usuario introduce en el CBIA para obtener una respues- General de un sanatorio de tercer nivel a parꢀcipar vo-  
ta se denomina prompt. Diversos estudios previos han luntariamente del estudio. Se realizó un único encuen-  
demostrado que la manera de formular los prompts in- tro presencial de 3 horas de duración que se desarrolló  
fluye signiꢁcaꢀvamente en la calidad de las respuestas en cuatro etapas.  
1
0
que este brinda . La ingeniería de prompts (IP) es un  
campo de invesꢀgación dedicado a diseñar y reꢁnar los Etapa 1: Evaluación de la experiencia previa de los par-  
prompts con el objeꢀvo de interactuar más eꢁcazmen- ꢁcipantes en el uso de CBIA e IP  
1
te con los CBIA y obtener respuestas más adecuadas .  
Por ser esta un área de conocimiento relaꢀ-  
Se preguntó a los parꢀcipantes si habían uꢀ-  
vamente nueva y poco conocida por gran parte de los lizado alguna vez un CBIA para cualquier acꢀvidad, si  
usuarios en el ámbito médico y educaꢀvo, surge la pre- lo habían uꢀlizado para su acꢀvidad profesional médi-  
gunta de si el entrenamiento en IP podría influir en la ca y si poseían conocimientos sobre IP. Se les envió un  
calidad de la información obtenida con un CBIA.  
formulario de Google para recopilar las respuestas. A  
El objeꢀvo de este estudio fue comparar la conꢀnuación, se brindó una breve demostración sobre  
calidad de los prompts generados por residentes y las el uso y los componentes básicos de ChatGPT-4.  
respuestas brindadas por un CBIA para la resolución de  
casos clínicos en Cirugía General, antes y después de Etapa 2: Resolución de casos clínicos  
recibir capacitación en IP. La hipótesis fue que la adqui-  
sición de conocimientos en IP mejoraría tanto la calidad  
de los prompts como de las respuestas obtenidas.  
Se entregaron a los parꢀcipantes los tres casos  
clínicos ya descriptos. Se les solicitó que resolvieran los  
casos interactuando con ChatGPT mediante la gene-  
ración de prompts. Se indicó que iniciaran una nueva  
sesión para cada caso con el ꢁn de evitar retención de  
memoria por parte del chat y que no modiꢁcasen los  
Materiales y métodos  
Se realizó un estudio de diseño prospecꢀvo, hiperparámetros del modelo. Se permiꢀó la reformu-  
analíꢀco, cuasi-experimental. Como ámbito de trabajo lación del prompt (iteración). Se solicitó que enviaran  
se eligió ChatGPT-4 (úlꢀma versión al momento del di- el prompt generado para cada caso clínico con la res-  
seño). La población de estudio estuvo conformada por pecꢀva respuesta de ChatGPT mediante un formulario  
los residentes de Cirugía General y los casos clínicos en de Google, recopilando un total de tres prompts y tres  
Cirugía General diseñados a tal ꢁn. La unidad de análisis respuestas por cada residente.  
Peña ME y cols. Chatbots basados en inteligencia arꢁꢂcial: la importancia de saber preguntar. Rev Argent Cir. 2026;118(2):e-1961  
3
Etapa 3: Capacitación en IP  
Por úlꢀmo, se brindó capacitación a los resi-  
Análisis de variables  
Se evaluó la calidad de los prompts elaborados  
dentes sobre IP basándose en la publicación de Mes- por los residentes y las respuestas provistas por Chat-  
1
1
kó . Esto incluyó la deꢁnición de IP y su impacto en la GPT. Luego se compararon los resultados antes y des-  
obtención de mejores respuestas del CBIA en el ámbito pués de recibir la capacitación en IP.  
médico. Luego se enumeraron y deꢁnieron los elemen-  
Para el análisis de la calidad de los prompts se  
tos básicos de un prompt (instrucción, contexto, datos consideraron cinco categorías: compleꢀtud, contexto,  
de entrada y de salida). Finalmente se brindaron estra- datos de entrada, formato de salida e instrucción (Tabla  
tegias para reꢁnar los prompts, por ejemplo, realizar 1). Cada categoría fue evaluada con escalas de Likert y  
iteraciones, juegos de roles, etcétera.  
con la sumatoria se calculó el puntaje total de 5 a 15  
puntos. La categoría "compleꢀtud" recibió el mayor  
Etapa 4: Resolución de casos clínicos luego de la capa- peso relaꢀvo en el puntaje ꢁnal debido a que consꢀ-  
citación en IP  
tuye un requisito fundamental para el razonamiento  
clínico válido. Esto es parꢀcularmente relevante en el  
Se solicitó a los parꢀcipantes que resolvieran ámbito médico, donde la toma de decisiones depende  
nuevamente los casos clínicos aplicando los conoci- de la disponibilidad de información clínica suꢁciente y  
mientos aprendidos sobre IP. Se solicitó que enviaran perꢀnente.  
el prompt generado para cada caso clínico con la res-  
Para el análisis de la calidad de las respuestas  
pecꢀva respuesta de ChatGPT mediante un formulario se consideraron tres categorías: precisión, compleꢀtud  
de Google idénꢀco al anterior; se recopiló un total de y relevancia (Tabla 2). Cada categoría fue evaluada con  
tres prompts y tres respuestas adicionales por cada escalas de Likert y con la sumatoria se calculó el puntaje  
residente.  
total de 3 a 15 puntos. En ambas escalas, un puntaje  
■
TABLA 1  
Descripción de las variables relacionadas con la calidad de los prompts  
Variable  
Deꢁnición  
Evaluación  
Inclusión de todos los datos relevantes del caso clínico en el prompt  
(Por ejemplo: "Paciente mujer de 35 años que consulta por dolor  
abdominal de 6 horas de evolución")  
Escala de Likert. Puntaje 1 al 5 (1: Muy incompleto, 2:  
Incompleto, 3: Moderadamente completo, 4: Completo,  
5: Muy completo)  
Compleꢀtud  
Contexto  
Inclusión de datos contextuales del caso clínico en el prompt (Por  
Escala de Likert. Puntaje 1 al 3 (1: No incluye, 2: Incluye  
parcialmente, 3: Incluye totalmente)  
ejemplo: "Soy residente de primer año")  
Inclusión de información externa sobre la cual basarse en el prompt  
Escala de Likert. Puntaje 1 al 3 (1: No incluye, 2: Incluye  
con poco detalle,3: Incluye con detalle)  
Datos de entrada (Por ejemplo: “Responder usando las guías de la Sociedad europea de  
hernias”)  
Inclusión del formato de salida para formular el prompt (Por ejemplo:  
Formato de salida  
Escala de Likert. Puntaje 1 al 2 (1: No incluye, 2: Incluye)  
Escala de Likert. Puntaje 1 al 2 (1: No incluye, 2: Incluye)  
Puntaje 5 al 15  
“
Responder en 200 palabras”)  
Inclusión de instrucciones claras y precisas en el prompt (Por ejemplo:  
Elaborar una lista de diagnósꢀcos diferenciales")  
Instrucción  
"
Puntaje  
total Sumatoria de los puntajes obtenidos en compleꢀtud, contexto, datos  
prompt  
de salida, datos de entrada e instrucción  
■
TABLA 2  
Descripción de las variables relacionadas con la calidad de las respuestas  
Variable  
Deꢁnición  
Evaluación  
Escala de Likert. Puntaje 1 al 5 (1: Totalmente incorrecta, 2: Más incorrecta  
que correcta, 3: Igualmente correcta que incorrecta, 4: Más correcta que  
incorrecta, 5: Totalmente correcta)  
Veracidad de la información presentada en la  
respuesta  
Precisión  
Presencia de toda la información necesaria para  
responder el caso clínico en la respuesta  
Escala de Likert. Puntaje 1 al 5 (1: Muy incompleta, 2: Incompleta, 3:  
Moderadamente completa, 4: Completa, 5: Muy completa)  
Compleꢀtud  
Perꢀnencia de la información presente en la res-  
Escala de Likert. Puntaje 1 al 5 (1: Totalmente irrelevante, 2: Poco relevan-  
te, 3: Moderadamente relevante, 4: Relevante, 5: Totalmente relevante)  
Relevancia.  
puesta para responder el caso clínico  
Puntaje total  
Sumatoria de los puntajes obtenidos en precisión,  
compleꢀtud y relevancia  
Puntaje 3 al 15  
respuesta  
4
Peña ME y cols. Chatbots basados en inteligencia arꢁꢂcial: la importancia de saber preguntar. Rev Argent Cir. 2026;118(2):e-1961  
superior indica mejor calidad de respuesta o prompt.  
La calidad de los prompts mejoró signiꢁcaꢀ-  
La evaluación de los prompts y de las respues- vamente luego de la capacitación en IP [Puntaje total  
tas fue realizada por dos evaluadores (AG y FI), médi- antes: 7,9 (1,8); puntaje total después: 10,4 (2,1); p  
cos especialistas en Cirugía General. Ambos fueron < 0,01]. Esta mejoría se observó en las categorías de  
previamente entrenados en ingeniería de prompts con compleꢀtud, contexto, formato de entrada y formato  
la misma modalidad que los residentes. Ambos reci- de salida (Tabla 4). En el caso clínico 1 se observó un  
bieron el mismo set completo de prompts y respuestas incremento signiꢁcaꢀvo del puntaje total, compleꢀtud,  
codiꢁcadas, sin información sobre los parꢀcipantes ni contexto y formato de salida (Anexo 2, Tabla A1). En el  
la intervención. Se solicitó que evaluaran los prompts caso clínico 2 se observó un incremento signiꢁcaꢀvo  
y respuestas uꢀlizando las escalas ya mencionadas. Los del puntaje total, compleꢀtud y contexto (Anexo 2, Ta-  
resultados de ambos evaluadores fueron promediados bla A3). En el caso clínico 3 se observó un incremento  
obteniendo un resultado ꢁnal.  
signiꢁcaꢀvo del puntaje total, compleꢀtud, contexto y  
Para el tratamiento estadísꢀco, las variables datos de entrada (Anexo 2, Tabla A5)  
cuanꢀtaꢀvas se informaron como promedio y desvío  
La calidad de las respuestas mejoró signiꢁca-  
estándar para facilitar su interpretación. Las variables ꢀvamente luego de la capacitación en IP [Puntaje total  
cualitaꢀvas se expresaron como frecuencias absolutas antes: 10,2 (2); puntaje total después: 11,9 (1,8); p <  
y relaꢀvas. Para el análisis comparaꢀvo de los prompts 0,01]. Esta mejoría se observó en las categorías de pre-  
y respuestas antes y después de la capacitación se uꢀli- cisión, compleꢀtud y relevancia (Tabla 5). En los casos  
zó el test de Wilcoxon para muestras dependientes.  
La concordancia interevaluador se evaluó  
mediante el coeꢁciente kappa de Cohen ponderado,  
debido al carácter ordinal de las escalas uꢀlizadas. Se  
analizaron tanto la puntuación total de los prompts y  
las respuestas como las dimensiones especíꢁcas antes y  
después de la intervención. La magnitud del acuerdo se  
■
TABLA 3  
Canꢀdad de residentes según el año de residencia  
n (%)  
Variable  
Parꢀcipantes  
Año de residencia  
R1  
R2  
R3  
R4  
16  
1
2
interpretó según los criterios de Landis y Koch .  
6 (37%)  
3 (19%)  
4 (25%)  
3 (19%)  
12 (75%)  
10 (63%)  
0
Se realizó un análisis mulꢀvariado mediante  
regresión ordinal para evaluar la asociación entre la  
experiencia previa en el uso de CBIA (tanto para acꢀvi-  
dades generales como para uso médico) y el año de re-  
sidencia, con la calidad de los prompts y de las respues-  
tas generadas por ChatGPT. Las variables dependientes  
fueron los puntajes totales de calidad de los prompts  
y de las respuestas, evaluados antes y después de la  
capacitación en ingeniería de prompts. El año de resi-  
dencia se modeló como una variable ordinal, evaluán-  
dose su efecto como una tendencia lineal. Se esꢀmaron  
odds raꢀos (OR) con sus correspondientes intervalos  
de conꢁanza y valores de p. Se veriꢁcaron los supues-  
tos del modelo, incluyendo la ausencia de colinealidad  
entre variables independientes mediante el factor de  
inflación de la varianza (VIF) y el supuesto de regresión  
paralela mediante el test de Brant. Se consideró la p <  
Uso previo de CBIA  
Uso previo de CBIA para acꢀvidad profesional  
Conocimientos de IP  
R1: residente de primer año, R2: residente de segundo año, R3: residente  
de tercer año, R4: residente de cuarto año, CBIA: chatbots basados en in-  
teligencia arꢀꢁcial, IP: ingeniería de prompts.  
■ TABLA 4  
Variables relacionadas con los prompts antes y después de recibir  
capacitación en IP  
Antes de IP Después de IP  
p
Compleꢀtud  
Contexto  
Datos de entrada  
Formato de salida  
Instrucción  
2,2 (1,1)  
1,3 (0,6)  
1,3 (0,5)  
1,3 (0,5)  
1,8 (0,4)  
7,9 (1,8)  
3,2 (1,3)  
2,2 (0,7)  
1,6 (0,8)  
1,6 (0,5)  
1,9 (0,3)  
10,4 (2,1)  
<0,01  
<0,01  
<0,01  
<0,01  
0,4  
0
,05 como signiꢁcaꢀva. El análisis estadísꢀco fue reali-  
® ®  
zado con el programa SPSS v.25 y RStudio .  
Puntaje total de prompt  
<0,01  
Resultados  
■
TABLA 5  
De los 18 residentes pertenecientes al Servi-  
Variables relacionadas con las respuestas antes y después de recibir  
capacitación en IP  
cio de Cirugía General, 16 parꢀciparon del estudio. El  
7
5% había uꢀlizado algún CBIA previamente y el 63% lo  
Antes de IP Después de IP  
p
uꢀlizó para su acꢀvidad profesional. Ningún residente  
poseía conocimientos previos sobre IP (Tabla 3). Todos  
los residentes resolvieron los tres casos clínicos antes y  
después de la capacitación en IP, recopilando un total  
de 96 prompts y 96 respuestas.  
Precisión  
Compleꢀtud  
Relevancia  
Puntaje total respuesta  
3,6 (0,6)  
3,6 (0,9)  
3,1 (0,9)  
10,2 (2)  
4,1 (0,7)  
4,1 (0,8)  
3,7 (0,8)  
11,9 (1,8)  
<0,01  
<0,01  
<0,01  
<0,01  
Peña ME y cols. Chatbots basados en inteligencia arꢁꢂcial: la importancia de saber preguntar. Rev Argent Cir. 2026;118(2):e-1961  
5
clínicos 1 y 2 se observó un incremento signiꢁcaꢀvo del múlꢀples estrategias para lograrlo. Por ejemplo, la téc-  
puntaje total, precisión, compleꢀtud y relevancia (Ane- nica zero-shot donde el usuario solicita una tarea al  
xo 2, Tablas A2 y A4). En el caso clínico 3 se observó un CBIA sin brindarle ejemplos previos, en contraste con  
incremento signiꢁcaꢀvo del puntaje total, precisión y la técnica few-shot, donde antes de generar el prompt  
compleꢀtud (Anexo 3, Tabla A6).  
se brindan ejemplos de cómo debería responder1  
,13  
.
En el análisis de la concordancia interobser- Diversos estudios han puesto en evidencia que el re-  
vador se encontró que, para el puntaje total de los ꢁnamiento de los prompts mejora el desempeño de  
prompts, la concordancia entre evaluadores fue leve los modelos de lenguaje1 . Sin embargo, en el ámbito  
antes de la capacitación (κ = 0,04) y aceptable luego de médico, especialmente en Cirugía General, este ꢀpo de  
ella (κ = 0,25). Al analizar las dimensiones especíꢁcas se información es muy escasa y no existen recomendacio-  
observó que la compleꢀtud, contexto, datos de entra- nes estandarizadas ni guías sobre la interacción ópꢀ-  
da e instrucción presentaron niveles de concordancia ma con los CBIA5 . En nuestro trabajo observamos  
moderados-sustanciales antes y después de la inter- un impacto posiꢀvo de la IP en la calidad de prompts  
vención, mientras que para el formato de salida fue creados por los residentes, destacando las categorías  
4,15  
,11,16  
pobre-aceptable (Tabla A7).  
de compleꢀtud, contexto, datos de entrada, formato de  
En cuanto al puntaje total de las respuestas, salida e instrucción, las cuales podrían guiar la elabora-  
la concordancia fue leve antes de la capacitación (κ = ción de prompts médicos en el futuro.  
0
,04) y pobre luego de esta (κ = −0,11). Al analizar las di-  
ChatGPT es uno de los CBIA más conocidos y  
mensiones especíꢁcas, la concordancia fue pobre para uꢀlizados en la actualidad. Su rendimiento en disꢀntas  
las tres categorías antes y después de la intervención tareas mejoró signiꢁcaꢀvamente con el avance de los  
LLM6 . Algunos estudios previos analizaron la uꢀlidad  
,7,17  
(Tabla A8).  
®
Para el análisis de predictores de calidad se de ChatGPT 3.5 en el ámbito de la educación y medici-  
encontró que, en el modelo de regresión ordinal, no na. En el examen de licencia médica de Estados Unidos  
se observó asociación entre el año de residencia y el (USMLE), por ejemplo, ChatGPT logró resolver más del  
puntaje total de los prompts ni de las respuestas ge- 50% de las preguntas, equiparando al conocimiento de  
neradas por ChatGPT, tanto antes como después de la un estudiante de Medicina de tercer año1 . La versión  
8,19  
capacitación en IP.  
uꢀlizada en nuestro estudio, ChatGPT-4, ofrece mejo-  
.
En cuanto a la experiencia previa en el uso de ras en precisión y contextualización de respuestas20-22  
CBIA para acꢀvidades generales, se observó una asocia- Nuestros resultados sugieren que, aunque esta versión  
ción negaꢀva con el puntaje total de los prompts poste- es más precisa, la calidad de sus respuestas depende  
riores a la capacitación [OR 0,7 (IC 95%: 0,01-0,57)]. No aún en gran medida de la formulación del prompt, es-  
se observó asociación con el resto de los puntajes para pecialmente en entornos médicos donde la precisión y  
esta variable.  
Asimismo, la experiencia previa en el uso de cuencias negaꢀvas graves en los pacientes .  
ChatGPT con ꢁnes médicos no mostró asociación sig- Es importante destacar que los casos clínicos  
éꢀca de la información son cruciales para evitar conse-  
22  
niꢁcaꢀva con el puntaje total de los prompts ni de las diseñados abordaron disꢀntos aspectos de la evalua-  
respuestas en ninguno de los escenarios evaluados (Ta- ción médica, tales como la elaboración de diagnósꢀcos  
blas A9 y A10).  
diferenciales, tratamiento según la evidencia cienꢃꢁca  
y descripción de la técnica quirúrgica. En todos los ca-  
sos hubo una mejoría de los prompts en las categorías  
de compleꢀtud y contexto, lo cual se tradujo en me-  
jores respuestas del chatbot. Este hallazgo resalta la  
Discusión  
En el presente estudio analizamos la calidad de relevancia de incorporar información completa y con-  
los prompts generados por residentes y las respuestas textualizada en los prompts, independientemente del  
proporcionadas por ChatGPT-4 en la resolución de ca- ꢀpo de caso clínico planteado. En contraste, las otras  
sos clínicos de Cirugía General, comparando los resulta- tres categorías mostraron mejoras no signiꢁcaꢀvas  
dos antes y después de una capacitación en IP. Los ha- tras la capacitación en la mayoría de los escenarios.  
llazgos principales fueron: a) La calidad de los prompts Parꢀcularmente, la categoría instrucción no evidenció  
mejoró signiꢁcaꢀvamente luego de la capacitación; b) cambios en ninguno de los casos. Esto podría explicar-  
La calidad de las respuestas mejoró signiꢁcaꢀvamente se porque los puntajes basales ya eran elevados antes  
luego de la capacitación; c) El año de residencia y la ex- de la capacitación, lo que habría limitado el margen de  
periencia previa de los residentes en el uso de CBIA sin mejora y reducido la necesidad de enfaꢀzar este aspec-  
capacitación especíꢁca en IP no se asociaron a mejor to durante el entrenamiento en IP.  
calidad de prompts y respuestas.  
Otro aspecto relevante es que, aunque la ma-  
La IP es un campo de invesꢀgación emergente yoría de los residentes había uꢀlizado un CBIA en el pa-  
que se basa en el diseño y reꢁnamiento de los prompts. sado para ꢁnes personales o profesionales, ninguno po-  
El objeꢀvo es interactuar de forma más eꢁcaz con los seía conocimientos de IP antes de la capacitación. Esto  
1
CBIA y obtener respuestas más adecuadas . Existen pone de maniꢁesto la falta de difusión de la IP, pese a  
6
Peña ME y cols. Chatbots basados en inteligencia arꢁꢂcial: la importancia de saber preguntar. Rev Argent Cir. 2026;118(2):e-1961  
la creciente popularización de estas herramientas. Por ponentes interpretaꢀvos y subjeꢀvos del evaluador.  
otro lado, ni el año de residencia ni la experiencia pre- Asimismo, los resultados de la regresión ordinal deben  
via en el uso de ChatGPT, tanto para acꢀvidades gene- interpretarse con cautela, dado que la amplitud de los  
rales como médicas, se asociaron de forma consistente intervalos de conꢁanza reflejan una menor precisión en  
con una mejor calidad de prompts y de respuestas an- la esꢀmación de los efectos. Finalmente, la muestra de  
tes y después de la capacitación. Esto sugiere que un parꢀcipantes fue pequeña y proveniente de una sola  
nivel formaꢀvo mayor y el uso casual de los CBIA no insꢀtución, lo cual podría afectar la generalización de  
garanꢀzan una interacción más eꢁcaz con estos mode- los resultados a otros contextos clínicos y formaꢀvos.  
los de lenguaje. En conjunto, tales hallazgos destacan  
la importancia de incluir conocimientos sobre el uso de en IP a residentes de Cirugía General mejoró signiꢁca-  
CBIA e IP en los programas de formación médica. ꢀvamente la calidad de los prompts y de las respues-  
En conclusión, en este estudio, la capacitación  
Este estudio presenta algunas limitaciones. tas generadas por ChatGPT. El año de residencia y el  
En primer lugar, se analizó únicamente ChatGPT-4, por uso previo de CBIA sin capacitación especíꢁca en IP  
lo que los resultados pueden no ser generalizables a no se asoció de manera signiꢁcaꢀva a mejor calidad  
otras versiones y modelos de IA. Por otro lado, el uso de prompts y respuestas. Todo esto reaꢁrma la impor-  
de casos clínicos ꢁcꢀcios puede limitar la aplicabilidad tancia de obtener conocimientos en IP para mejorar la  
de estos hallazgos a escenarios de la vida real, con ma- eꢁcacia de los chatbots de IA en la toma de decisiones  
yor complejidad y variabilidad. Otra limitación fue la médicas. Se recomienda incorporar entrenamiento en  
baja concordancia interevaluador para las respuestas IP en los programas de formación médica para maximi-  
del CBIA, incluso después de la capacitación. Esto su- zar el potencial de estas herramientas, promoviendo su  
giere que su valoración podría estar influida por com- uso seguro y efecꢀvo.  
■
ANEXOS  
Anexo 1  
varón de 60 años internado en sala general por dolor  
abdominal en hipocondrio derecho de 5 días de evolu-  
ción. Al examen ꢄsico se encuentra lúcido, febril (38 °C),  
taquicárdico (105 lpm), normotenso. Abdomen blando,  
Caso clínico 1  
Consulta a la Guardia una paciente mujer de 35 depresible, doloroso en hipocondrio derecho con de-  
años por presentar dolor abdominal en fosa ilíaca de- fensa y descompresión. En el laboratorio presenta leu-  
recha de 6 horas de evolución (Escala visual analógica: cocitosis (25 000 glóbulos blancos), sin otra parꢀcula-  
8
/10), sin otros síntomas asociados.  
ridad. En la ecograꢄa de abdomen se observa vesícula  
biliar con paredes de 5 mm, lito enclavado en bacinete  
▪
Antecedentes personales: apendicectomía a los 25 y líquido perivesicular.  
años, colecistectomía a los 30 años.  
Su compañero de guardia le pregunta cuál es el  
▪
Examen físico: tensión arterial 120/80 mm Hg, frecuen- mejor tratamiento para este paciente de acuerdo con la  
cia cardíaca 90 lpm, frecuencia respiratoria 18 rpm, evidencia cienꢃꢁca.  
temperatura 37 °C. Abdomen blando, depresible, do-  
loroso en fosa ilíaca derecha sin defensa ni dolor a la  
descompresión. Ruidos hidroaéreos normales. Resto Caso clínico 3  
del examen físico sin particularidades.  
Usted se encuentra en el consultorio de ci-  
Exámenes complementarios  
rugía de pared abdominal. Consulta un paciente  
varón de 58 años por un bulto doloroso en centro  
Laboratorio (hemograma, función renal, hepatogra- abdominal de 2 años de evolución. Presenta episo-  
ma, ionograma): leucocitos 11 000/mm³, resto sin dios frecuentes de dolor que alteran su calidad de  
▪
particularidades.  
Ecografía de abdomen: se observa líquido libre en el  
cuadrante inferior derecho. Resto sin particularidades.  
vida.  
▪
▪ Antecedentes personales: diabetes, hipertensión ar-  
terial, hemicolectomía izquierda por diverticulitis agu-  
da hace 5 años.  
▪ Examen físico: cicatriz mediana infraumbilical. Eventra-  
ción de línea media con saco de 20 × 20 centímetros.  
▪ Tomografía computarizada (TC) de abdomen y pelvis:  
eventración centroabdominal con saco de 20 × 20 cm  
con contenido intestinal y anillo de 12 cm de ancho.  
La paciente le pregunta cuál es el diagnósꢀco y  
la conducta para seguir.  
Caso clínico 2  
Usted recibe una interconsulta por un paciente  
Peña ME y cols. Chatbots basados en inteligencia arꢁꢂcial: la importancia de saber preguntar. Rev Argent Cir. 2026;118(2):e-1961  
7
Se diagnosꢀca una eventración compleja. Se le  
propone al paciente realizar una eventroplasꢀa conven-  
cional, pero usted no recuerda del todo los pasos de la  
técnica quirúrgica.  
■
TABLA A5  
Caso clínico 3: variables relacionadas con los prompts antes y  
después de recibir capacitación en IP  
Antes de IP  
2,3 (1,1)  
1,3 (0,5)  
1,4 (0,5)  
1,4 (0,5)  
1,8 (0,4)  
8,2 (1,5)  
Después de IP  
3,5 (1,3)  
p
Compleꢀtud  
<0,01  
<0,01  
0,03  
0,09  
0,7  
Anexo 2  
Contexto  
2,2 (0,8)  
Datos de entrada  
Formato de salida  
Instrucción  
1,7 (0,8)  
■
TABLA A1  
1,7 (0,5)  
Caso clínico 1: variables relacionadas con los prompts antes y des-  
1,9 (0,3)  
pués de recibir capacitación en IP  
Puntaje total prompt  
10,9 (1,7)  
<0,01  
Antes de IP  
2,2 (1,2)  
1,3 (0,7)  
1,2 (0,4)  
1,3 (0,5)  
1,8 (0,4)  
7,75 (2)  
Después de IP  
2,9 (1,2)  
2,2 (0,8)  
1,4 (0,6)  
1,6 (0,5)  
1,9 (0,3)  
10 (1,9)  
p
■
TABLA A6  
Compleꢀtud  
<0,01  
<0,01  
0,08  
0,03  
0,3  
Caso clínico 3: variables relacionadas con las respuestas antes y  
después de recibir capacitación en IP.  
Contexto  
Datos de entrada  
Formato de salida  
Instrucción  
Antes de IP  
3,7 (0,5)  
Después de IP  
4 (0,7)  
p
Precisión  
0,03  
0,03  
0,3  
Compleꢀtud  
3,7 (0,7)  
4,3 (0,9)  
Puntaje total prompt  
<0,01  
Relevancia  
3,3 (0,9)  
3,7 (0,8)  
Puntaje total respuesta  
10,7 (1,9)  
11,9 (1,9)  
<0,01  
■
TABLA A2  
■
TABLA A7  
Concordancia interevaluador en el análisis de los prompts  
Caso clínico 1: variables relacionadas con las respuestas antes y  
después de recibir capacitación en IP  
Antes de IP  
3,3 (0,6)  
3,3 (0,9)  
2,7 (0,9)  
9,3 (2,2)  
Después de IP  
3,9 (0,7)  
p
Intervención  
Antes  
Kappa  
0,59  
0,67  
0,52  
0,59  
0,7  
Interpretación  
Moderada  
Sustancial  
Moderada  
Moderada  
Sustancial  
Sustancial  
Aceptable  
Pobre  
Precisión  
<0,01  
0,01  
Compleꢀtud  
Compleꢀtud  
Contexto  
Compleꢀtud  
3,8 (0,8)  
Después  
Antes  
Relevancia  
3,5 (0,8)  
<0,01  
<0,01  
Puntaje total respuesta  
11,3 (1,7)  
Contexto  
Después  
Antes  
Datos de entrada  
Datos de entrada  
Formato de salida  
Formato de salida  
Instrucción  
■
TABLA A3  
Después  
Antes  
0,77  
0,23  
-0,12  
0,57  
0,49  
0,04  
0,25  
Caso clínico 2: variables relacionadas con los prompts antes y des-  
pués de recibir capacitación en IP  
Después  
Antes  
Antes de IP  
2,2 (1,1)  
1,3 (0,6)  
1,4 (0,5)  
1,1 (0,3)  
1,8 (0,4)  
7,8 (2)  
Después de IP  
3,4 (1,4)  
p
Moderada  
Moderada  
Leve  
Compleꢀtud  
<0,01  
<0,01  
0,13  
0,06  
1
Instrucción  
Después  
Antes  
Contexto  
2,2 (0,7)  
Puntaje total  
Puntaje total  
Datos de entrada  
Formato de salida  
Instrucción  
1,7 (0,9)  
Después  
Aceptable  
1,4 (0,5)  
■
TABLA A8  
Concordancia interevaluador en el análisis de las respuestas  
1,8 (0,4)  
Puntaje total prompt  
10,6 (2,7)  
<0,01  
Intervención  
Antes  
Kappa  
0,14  
0,06  
0,13  
-0,07  
0,2  
Interpretación  
Leve  
■
TABLA A4  
Precisión  
Caso clínico 2: variables relacionadas con las respuestas antes y  
después de recibir capacitación en IP  
Precisión  
Después  
Antes  
Leve  
Compleꢀtud  
Compleꢀtud  
Relevancia  
Relevancia  
Puntaje total  
Puntaje total  
Leve  
Antes de IP  
3,8 (0,7)  
3,8 (0,8)  
3,3 (0,8)  
10,8 (2)  
Después de IP  
4,4 (0,7)  
p
Después  
Antes  
Pobre  
Leve  
Precisión  
<0,01  
0,2  
Compleꢀtud  
4,1 (0,6)  
Después  
Antes  
0,04  
0,04  
-0,11  
Leve  
Relevancia  
4 (0,7)  
0,03  
0,01  
Leve  
Puntaje total respuesta  
12,4 (1,7)  
Después  
Pobre  
8
Peña ME y cols. Chatbots basados en inteligencia arꢁꢂcial: la importancia de saber preguntar. Rev Argent Cir. 2026;118(2):e-1961  
■
TABLA A9  
■ TABLA A10  
Asociación entre el año de residencia, la experiencia previa en el  
uso de CBIA (general y ámbito médico) y el puntaje total de los  
prompts antes y después de la capacitación en IP  
Asociación entre el año de residencia, la experiencia previa en el  
uso de CBIA (general y ámbito médico) y el puntaje total de las  
respuestas antes y después de la capacitación en IP  
Intervención  
Antes  
OR (IC 95%)  
p
Intervención  
Antes  
OR (IC 95%)  
p
Año de residencia  
Año de residencia  
Uso previo CBIA  
1,34 (0,43–4,15)  
1,95 (0,66–5,81)  
0,61  
0,23  
Año de residencia  
Año de residencia  
Uso previo CBIA  
Uso previo CBIA  
1,76 (0,65–4,73) 0,27  
Después  
Antes  
Después  
Antes  
1,23 (0,43–3,48) 0,7  
1,49 (0,22–10,24) 0,69  
0,59 (0,1–3,61)  
0,57  
Uso previo CBIA  
Después  
Antes  
0,07 (0,01–0,57)  
0,47 (0,08–2,97)  
0,01  
0,42  
Después  
3,08 (0,41–23,37) 0,28  
1,41 (0,28–6,98) 0,68  
0,72 (0,11–4,68) 0,73  
Uso previo CBIA médico  
Uso previo CBIA médico  
Uso previo CBIA médico Antes  
Después  
1,91 (0,31–11,71) 0,46  
Uso previo CBIA médico Después  
■
ENGLISH VERSION  
Introducꢀon  
resoluꢀon in general surgery, before and following PE  
training. The hypothesis was that gaining knowledge  
Arꢀꢁcial intelligence (AI) has grown in PE would improve both the quality of prompts and  
remarkably in recent years, especially in the area of responses obtained.  
large language models (LLMs). A large language model  
is a natural language processing (NLP) tool that has  
been trained on vast amounts of data using machine Materials and methods  
learning. Consequently, LLMs are currently employed  
for text understanding, speech recogniꢀon, language  
We conducted a prospecꢀve, analyꢀc and  
1
generaꢀon, translaꢀon, and other related tasks .  
quasi-experimental study. ChatGPT-4 (the most recent  
ChatGPT  
(Chat-Generaꢀve  
Pre-Trained version at the ꢀme of design) was selected as the  
Transformer) is a chatbot trained on the GPT LLM and is plaꢆorm for this project. The study populaꢀon included  
notable for its ability to simulate human conversaꢀons general surgery residents and clinical cases designed  
through a user-friendly quesꢀon-and-answer interface. for this purpose. The unit of analysis was the set of  
Since its launch in November 2022 by OpenAI, it has prompts created by the residents and the responses  
gained popularity in various seꢅngs, including the provided by ChatGPT. The study took place between  
medical ꢁeld. ChatGPT has proven useful for educaꢀng June and July 2024.  
2
,3  
healthcare professionals and assisꢀng in medical  
The inclusion criteria for the study populaꢀon  
4
–6  
decision-making . It is currently widely used by included all the residents in the general surgery  
professionals, paꢀents, and healthcare insꢀtuꢀons . program at a terꢀary care hospital, and clinical cases  
7
However, the validity and reliability of the informaꢀon involving common general surgery condiꢀons. There  
provided by arꢀꢁcial intelligence-based chatbots were no exclusion criteria.  
8
,9  
(
AiBCs) in the medical ꢁeld remain controversial .  
The quesꢀon, instrucꢀon, or words that users  
enter into the AiCB to obtain a response are called a Procedures  
prompt. Several previous studies have shown that the  
way prompts are formulated has a signiꢁcant impact on  
Three ꢁcꢀonal clinical cases were developed  
1
0
the quality of the responses they generate . Prompt based on common condiꢀons in general surgery  
engineering (PE) is a ꢁeld of research dedicated to the (Appendix 1). Clinical case 1 corresponded to a  
design and reꢁnement of prompts to interact more young female paꢀent who aꢇended the emergency  
effecꢀvely with AiCBs and obtain more appropriate department for acute abdomen requiring surgery. The  
1
responses .  
aim of this case was to evaluate the possible differenꢀal  
As this is a relaꢀvely new ꢁeld of knowledge diagnoses. Clinical case 2 corresponded to a paꢀent  
with which many users in medical and educaꢀonal hospitalized for acute cholecysꢀꢀs. The aim of this  
seꢅngs are unfamiliar, the quesꢀon arises whether case was to assess evidence-based management of  
PE training could influence the quality of informaꢀon cholecysꢀꢀs according to its severity. Clinical case 3 was  
obtained through an AiCB.  
a paꢀent aꢇending the outpaꢀent clinic for a complex  
The aim of this study was to compare the incisional hernia. The aim of this case was to evaluate  
quality of prompts generated by residents and the the descripꢀon of the surgical technique steps.  
responses provided by an AiCB for clinical case  
All residents in the general surgery department  
Peña ME y cols. Chatbots basados en inteligencia arꢁꢂcial: la importancia de saber preguntar. Rev Argent Cir. 2026;118(2):e-1961  
9
at a terꢀary care hospital were invited to parꢀcipate in format) were then listed and deꢁned. Finally, strategies  
the study voluntarily. A single 3-hour in-person meeꢀng for reꢁning the prompts were provided, including  
was held, divided into four stages.  
iteraꢀon and role-playing.  
Stage 1: Assessment of parꢁcipants’ prior experience Step 4: Solving clinical cases following PE training  
with AiCB and PE  
Parꢀcipants were asked to revisit the clinical  
Parꢀcipants were asked whether they had ever cases and apply the knowledge they had gained about  
used an AiCB for any acꢀvity, whether they had used PE to resolve them. They were asked to submit the  
it in their medical pracꢀce, and whether they were prompt generated for each clinical case, along with  
aware of PE. A Google form was distributed to collect ChatGPT’s corresponding response, via a Google form  
their responses. Next, the use and basic components of idenꢀcal to the previously submiꢇed, resulꢀng in a total  
ChatGPT-4 were briefly introduced.  
of three prompts and three responses per resident.  
Stage 2: Solving clinical cases.  
Analysis of variables  
The three clinical cases described above were  
distributed to the parꢀcipants. They were asked to  
The quality of the prompts elaborated by the  
solve the cases by interacꢀng with ChatGPT using residents and of the responses provided by ChatGPT  
prompts. Parꢀcipants were instructed to start a new was evaluated. Then, the results obtained before and  
session for each case, to prevent the chat system following PE training were compared.  
from retaining memory, and to avoid modifying the  
Prompt quality was analyzed considering ꢁve  
model’s hyperparameters. The residents were allowed categories: completeness, context, input data, output  
to reformulate (iterate) the prompt. They were asked format, and instrucꢀons (Table 1). Each category was  
to submit the prompt generated for each clinical case assessed using Likert scales, and the total score —  
along with ChatGPT’s corresponding response via a ranging from 5 to 15 points — was calculated by adding  
Google form, resulꢀng in a total of three prompts and up the individual scores. The “completeness” category  
three responses per resident.  
was assigned the highest relaꢀve weight in the ꢁnal  
score because it is a fundamental requirement for  
valid clinical reasoning. This is parꢀcularly relevant in  
the medical ꢁeld, where decision-making depends  
Step 3: PE training.  
Finally, residents were trained on PE based on on the availability of sufficient and relevant clinical  
1
1
the publicaꢀon by Meskó . This included the deꢁniꢀon informaꢀon.  
of PE and its impact on obtaining beꢇer responses from  
The quality of the responses was analyzed  
the AiCB in the medical ꢁeld. The basic elements of using three categories: accuracy, completeness, and  
prompts (instrucꢀons, context, input data, and output relevance (Table 2). Each category was assessed using  
■
TABLE 1  
Descripꢀon of the variables related to prompt quality  
Deꢁniꢀon  
Evaluaꢀon  
Variable  
Inclusion of all relevant clinical case data within the prompt (e.g.,  
“35-year-old female paꢀent presenꢀng with abdominal pain that  
began 6 hours ago…”)  
Likert scale. Score from 1 to 5 (1: Highly deꢁcient, 2:  
Incomplete, 3: Parꢀally complete, 4: Substanꢀally  
complete, 5: Fully comprehensive).  
Completeness  
Context  
Inclusion of contextual data regarding the clinical case within the  
Likert scale. Score from 1 to 3 (1: Does not include, 2:  
prompt (e.g., “I am a postgraduate year-1 resident “).  
Parꢀally includes, 3: Fully includes).  
Inclusion of external informaꢀon upon which to base the prompt  
(e.g., “Respond using the guidelines from the European Hernia  
Society”).  
Likert scale. Score from 1 to 3 (1: Does not include, 2:  
Input Data  
Includes with minor detail, 3: Includes with detail).  
Inclusion of the required output format when formulaꢀng the prompt Likert scale. Score from 1 to 2 (1: Does not include, 2:  
Output Format  
Instrucꢀon  
(
e.g., “Respond in 200 words”).  
Includes).  
Inclusion of clear and precise instrucꢀons within the prompt (e.g.,  
Likert scale. Score from 1 to 2 (1: Does not include, 2:  
“Develop a list of differenꢀal diagnoses”).  
Includes).  
Sum of the scores obtained for completeness, context, input data,  
Total Prompt Score  
Score from 5 to 15.  
output format, and instrucꢀon.  
1
0
Peña ME y cols. Chatbots basados en inteligencia arꢁꢂcial: la importancia de saber preguntar. Rev Argent Cir. 2026;118(2):e-1961  
■
TABLE 2  
Descripꢀon of the variables related to response quality  
Variable  
Deꢁniꢀon  
Assessment  
Accuracy of the informaꢀon provided in the  
Likert scale Score from 1 to 5 (1: Completely incorrect, 2: Mostly incorrect,  
Accuracy  
response  
3: Equally correct and incorrect, 4: Mostly correct, 5: Completely correct).  
Presence of all necessary informaꢀon within the  
response to address the clinical case.  
Likert scale. Score from 1 to 5 (1: Highly deꢁcient, 2: Incomplete, 3:  
Parꢀally complete, 4: Substanꢀally complete, 5: Fully comprehensive  
Completeness  
Likert scale Score from 1 to 5 (1: Completely irrelevant, 2: Mostly  
irrelevant, 3: Parꢀally relevant, 4: Mostly relevant, 5: Completely  
relevant).  
Relevance of the informaꢀon provided by the  
response to address the clinical case  
Relevance  
Sum of the scores obtained for accuracy,  
completeness, and relevance.  
Total response score  
Score from 3 to 15  
Likert scales, and the total score — ranging from 3 to regression using the Brant test. A p-value < 0.05 was  
5 points — was calculated by adding up the individual considered staꢀsꢀcally signiꢁcant. All the staꢀsꢀcal  
scores. For both scales, a higher score indicates greater calculaꢀons were performed using SPSS v.25® and  
prompt or response quality. RStudio® soꢂware packages.  
The prompts and responses were assessed by  
two evaluators (AG and FI), who are general surgeons.  
1
Both surgeons had received training in prompt Results  
engineering using the same method as that employed  
with residents. They were administered the same set of  
Of the 18 residents in the department of  
prompts and encoded responses, with no informaꢀon general surgery, 16 parꢀcipated in the study. Seventy-  
about the parꢀcipants or the intervenꢀon provided. ꢁve percent had used an AiCB before, with 63% having  
They were asked to assess the prompts and responses used it in their professional acꢀviꢀes. None of the  
using the menꢀoned scales. The scores calculated by residents had any prior knowledge of PE (Table 3). All  
both evaluators were averaged to obtain a ꢁnal score.  
residents solved the three clinical cases before and  
For staꢀsꢀcal analysis, quanꢀtaꢀve variables following PE training, providing a total of 96 prompts  
were reported as mean and standard deviaꢀon to and 96 responses.  
facilitate their interpretaꢀon. Qualitaꢀve variables  
Prompts’ quality improved signiꢁcantly  
were expressed as absolute and relaꢀve frequencies. following PE training [total score before training: 7.9  
The Wilcoxon test for dependent samples was used to (1.8); total score following training: 10.4 (2.1); p <  
compare prompts and responses before and following 0.01]. This improvement was noted in completeness,  
the training intervenꢀon.  
context, input data and output format categories  
Inter-rater agreement was assessed using (Table 4). In clinical case 1, a signiꢁcant increase was  
Cohen’s weighted kappa coefficient, given the ordinal observed in the total score, completeness, context,  
nature of the scales used. The total scores obtained and output format categories (Appendix 2, Table A1).  
from prompts and responses, as well as the speciꢁc In clinical case 2, a signiꢁcant increase was observed  
dimensions, were analyzed both before and following in the total score, completeness and context categories  
the intervenꢀon. The magnitude of the agreement (Appendix 2, Table A3). In clinical case 3, the total score,  
was interpreted according to the criteria of Landis and completeness, context, and input data categories  
1
2
Koch .  
increased signiꢁcantly (Appendix 2, Table A5).  
The quality of responses improved signiꢁcantly  
The associaꢀon between prior experience  
of AiCB (for both general and medical purposes) followingPEtraining[totalscorebeforetraining:10.2(2);  
and year in the residency program with the quality total score following training: 11.9 (1.8); p < 0.01]. This  
of prompts and responses generated by ChatGPT improvement was noted in the accuracy, completeness,  
was evaluated using ordinal mulꢀvariate regression. and relevance categories (Table 5). In clinical cases  
The dependent variables were the total prompt and 1 and 2, the total score, accuracy, completeness, and  
response quality scores, assessed before and following relevance categories increased signiꢁcantly (Appendix  
prompt engineering training. The year of residency 2, Tables A2 and A4). In clinical case 3, there was a  
was modeled as an ordinal variable, and its effect signiꢁcant increase in the total score, accuracy, and  
was assessed as a linear trend. Odds raꢀos (OR) were completeness categories (Appendix 3, Table A6).  
esꢀmated, along with their corresponding conꢁdence  
The analysis of inter-rater agreement revealed  
intervals and p-values. The model assumpꢀons were that agreement was low before training (κ = 0.04) and  
veriꢁed, including the absence of mulꢀcollinearity acceptable following training for the total prompt score  
among independent variables, using the variance (κ = 0.25). When analyzing the speciꢁc dimensions,  
inflaꢀon factor (VIF), and the assumpꢀon of parallel moderate and substanꢀal levels of agreement were  
Peña ME y cols. Chatbots basados en inteligencia arꢁꢂcial: la importancia de saber preguntar. Rev Argent Cir. 2026;118(2):e-1961  
11  
(
95% CI: 0.01–0.57)]. No associaꢀon occurred with the  
■
TABLE 3  
rest of the scores for this variable.  
Number of residents by year of residency  
Similarly, previous experience with ChatGPT  
for medical purposes was not signiꢁcantly associated  
with total prompt or response scores in any scenario  
Variable  
n (%)  
16  
Parꢀcipants  
(Tables A9 and A10).  
Year of residency  
PGY-1  
6 (37%)  
3 (19%)  
4 (25%)  
3 (19%)  
12 (75%)  
10 (63%)  
0
PGY-2  
Discussion  
In this study, we analyzed the quality of  
PGY-3  
PGY-4  
prompts generated by residents and the responses  
provided by ChatGPT-4 for clinical case resoluꢀon in  
general surgery, before and following PE training. The  
main ꢁndings were: a) the prompt quality signiꢁcantly  
improved following training; b) response quality  
signiꢁcantly improved following the training; c) the  
year of residency and prior experience of residents in  
the use of AiCB without speciꢁc PE training were not  
associated with beꢇer prompt quality and response  
quality.  
Previous use of AiCB  
Previous use of AiCB for professional acꢀviꢀes  
PE knowledge  
PGY-1: post-graduate year 1 resident; PGY-2: post-graduate year 2  
resident; PGY-3: post-graduate year 3 resident; PGY-4: post-graduate  
year 4 resident; AiCB: arꢀꢁcial intelligence-based chatbot; PE: prompt  
engineering.  
■
TABLE 4  
Variables related to prompts before and following PE training  
Prompt engineering is an emerging ꢁeld  
of research that focuses on designing and reꢁning  
prompts. The goal is to interact with the AiCB more  
Before PE Following PE  
p-value  
<0.01  
<0.01  
<0.01  
<0.01  
0.4  
Completeness  
Context  
Input data  
Output format  
Instrucꢀon  
Total prompt score  
2.2 (1.1)  
1.3 (0.6)  
1.3 (0.5)  
1.3 (0.5)  
1.8 (0.4)  
7.9 (1.8)  
3.2 (1.3)  
2.2 (0.7)  
1.6 (0.8)  
1.6 (0.5)  
1.9 (0.3)  
10.4 (2.1)  
1
effecꢀvely and obtain more appropriate responses .  
There are several strategies to achieve this goal. For  
example, in the zero-shot technique, the user asks the  
AiCB to perform a task without providing any examples,  
whereas in the few-shot technique, the user provides  
examples of how the model should respond before  
generaꢀng the prompt1 . Several studies have shown  
that reꢁning prompts improves the performance of  
language models1 . However, in the medical ꢁeld,  
parꢀcularly in general surgery, such informaꢀon is  
<0.01  
,13  
■
TABLA 5  
Variables related to response before and following PE training  
4,15  
Before PE  
3.6 (0.6)  
3.6 (0.9)  
3.1 (0.9)  
10.2 (2)  
Following PE p-value  
scarce, andtherearenostandardizedrecommendaꢀons  
Accuracy  
Completeness  
Relevance  
4.1 (0.7)  
4.1 (0.8)  
3.7 (0.8)  
11.9 (1.8)  
<0.01  
<0.01  
<0.01  
<0.01  
5,11,16  
or guidelines about opꢀmal interacꢀon with AiCBs  
.
In our study, we observed that PE produced a posiꢀve  
impact on the quality of prompts created by residents,  
parꢀcularly in the categories completeness, context,  
input data, output format, and instrucꢀons, which  
could guide the development of medical prompts in  
the future.  
Total response score  
found for completeness, context, input data and  
instrucꢀons before and following the intervenꢀon,  
respecꢀvely. Fortheoutputformat, poorandacceptable  
levels of agreement were found, respecꢀvely (Table  
A7).  
The analysis of inter-rater agreement revealed  
that agreement was low before training (κ = 0.04) and  
poor following training for the total response score  
ChatGPT is one of the most widely known  
and used AiCBs at present. Its performance on various  
tasks improved signiꢁcantly with the development  
of LLMs6 . Some previous studies have examined  
the usefulness of ChatGPT 3.5® in the ꢁeld of  
educaꢀon and medicine. In the United States Medical  
Licensing Examinaꢀon (USMLE), for instance, ChatGPT  
demonstrated capabiliꢀes to answer over 50% of the  
quesꢀons, exhibiꢀng a level of knowledge comparable  
to that of a third-year medical student1 . The version  
used in our study, ChatGPT-4, offers improved accuracy  
and contextual relevance of responses2 . Our results  
suggest that, while this version demonstrates enhanced  
accuracy, response quality sꢀll largely depends on  
prompt formulaꢀon, parꢀcularly within medical  
contexts where the accuracy and ethical integrity of  
,7,17  
(
κ = 0.11). When analyzing the speciꢁc dimensions,  
agreement was poor for all three categories, both  
before and following the intervenꢀon (Table A8).  
The analysis of quality predictors revealed no  
8,19  
associaꢀon between the year of residency and the total  
prompt score or total response score, either before or  
following PE training in the ordinal regression model.  
Regarding previous experience in using AiCB  
for general acꢀviꢀes, there was a negaꢀve associaꢀon  
with the total prompt score following training [OR 0.7  
0–22  
1
2
Peña ME y cols. Chatbots basados en inteligencia arꢁꢂcial: la importancia de saber preguntar. Rev Argent Cir. 2026;118(2):e-1961  
the informaꢀon are crucial to avoiding serious adverse Altogether, these ꢁndings underscore the importance  
2
2
outcomes for paꢀents .  
of incorporaꢀng knowledge on the use of AiCBs and PE  
It is worth noꢀng that the clinical cases into medical training programs.  
presented addressed various aspects of medical  
This study has some limitaꢀons. First, we  
evaluaꢀon, such as the formulaꢀon of differenꢀal analyzed only ChatGPT-4, so the results cannot be  
diagnoses,evidence-basedtreatments,anddescripꢀons generalized to other versions or other AI models. The  
of surgical techniques. The prompts improved in both use of ꢁcꢀonal clinical cases may limit the applicability  
completeness and context in all cases, resulꢀng in of these ꢁndings to real-world scenarios, which are  
beꢇer chatbot responses. This ꢁnding underscores more complex and variable. Another limitaꢀon was  
the importance of including comprehensive and the low inter-rater agreement about the responses  
contextualized informaꢀon in prompts, regardless of provided by the AiCB, even following training. This  
the type of clinical case presented. Conversely, the other suggests that their assessment might be influenced by  
three categories showed no signiꢁcant improvement their own subjecꢀve interpretaꢀons. Furthermore, the  
in most scenarios following training. In parꢀcular, the results of the ordinal regression should be interpreted  
instrucꢀon category showed no changes in any of the with cauꢀon, as the wide conꢁdence intervals indicate  
cases. This could be explained by the fact that baseline lower accuracy in esꢀmaꢀng the effects. Finally, the  
scores were already high before training. This may have sample of parꢀcipants was small and drawn from a  
limited the potenꢀal for improvement and reduced the single insꢀtuꢀon, which could limit the generalizability  
emphasis placed on this aspect during PE training.  
Another relevant aspect is that although most  
of the results to other clinical and educaꢀonal seꢅngs.  
In conclusion, this study found that training  
residents had already used an AiCB in their personal general surgery residents in PE signiꢁcantly improved  
or professional acꢀviꢀes, none had prior knowledge the quality of prompts and ChatGPT responses. Year of  
of PE before training. This highlights the PE is not residency and prior AiCB use without speciꢁc PE training  
well disseminated, despite the growing popularity were not signiꢁcantly associated with higher-quality  
of these tools. Conversely, the year of residency and prompts or responses. These ꢁndings underscore the  
prior experience using ChatGPT, whether for general importance of leveraging PE experꢀse to enhance  
or medical purposes, were not consistently associated the effecꢀveness of AI-based chatbots in medical  
with higher-quality prompts and responses before or decision-making. It is recommended that PE training  
following training. This suggests that a higher level of be incorporated into medical educaꢀon programs to  
training and casual use of AiCBs do not ensure more maximize the potenꢀal of these tools and promote  
effecꢀve interacꢀon with these language models. their safe and effecꢀve use.  
■
APPENDICES  
Appendix 1  
function, electrolytes: white cell count 11 000/mm³,  
with no other abnormal results.  
▪ Abdominal ultrasound: free peritoneal fluid in the right  
lower quadrant. There were no other abnormalities.  
Clinical case 1  
A 35-year-old female paꢀent presents to the  
emergency department with abdominal pain in the  
The paꢀent asks about the diagnosis and  
right iliac fossa (visual analogue scale: 8/10) that started course of acꢀon.  
6
hours ago, with no other associated symptoms.  
Clinical case 2  
You are required for a consultaꢀon on a  
Physical examination: blood pressure 12/80 mm 60-year-old male paꢀent admiꢇed to the general ward  
Hg, heart rate 90 bpm, respiratory rate 18 bpm, with abdominal pain in the right hypochondriac region  
temperature 37 °C. The abdomen is soft, depressible, that has persisted for 5 days. On physical examinaꢀon,  
and tender on palpation in the right iliac fossa, without the paꢀent is alert; his body temperature is 38 °C, his  
guarding or rebound tenderness. The bowel sounds are blood pressure is normal, and he presents tachycardia  
normal. There are no other relevant signs on physical (105 bpm). The abdomen is soꢂ, depressible, and  
tender on palpaꢀon in the right hypochondriac region,  
with guarding and rebound tenderness. The laboratory  
tests show high white cell count (25,000/mm3) with no  
other abnormal results. On abdominal ultrasound, the  
Laboratory tests: complete blood count, kidney gallbladder walls measure 5 mm, a stone is lodged in  
▪
Personal history: appendectomy when she was 25  
years old and cholecystectomy at the age of 30.  
▪
examination.  
Ancillary tests:  
▪
Peña ME y cols. Chatbots basados en inteligencia arꢁꢂcial: la importancia de saber preguntar. Rev Argent Cir. 2026;118(2):e-1961  
13  
the gallbladder infundibulum, and pericholecysꢀc fluid  
is visible.  
Your on-call colleague asks you about the best  
■
TABLE A3  
Clinical case 2:  
prompt-related variables before and following PE training  
treatment for this paꢀent, based on scienꢀꢁc evidence.  
Before PE  
2.2 (1.1)  
1.3 (0.6)  
1.4 (0.5)  
1.1 (0.3)  
1.8 (0.4)  
7.8 (2)  
Following PE  
3.4 (1.4)  
2.2 (0.7)  
1.7 (0.9)  
1.4 (0.5)  
1.8 (0.4)  
10.6 (2.7)  
p-value  
<0.01  
<0.01  
0.13  
Clinical case 3  
Completeness  
Context  
You are in the abdominal wall surgery clinic. A  
8-year-old male paꢀent presents with a painful bulge  
5
Input data  
in the mid-abdominal region that has been present for  
two years. He complains of frequent episodes of pain  
that affect his quality of life.  
Output format  
Instrucꢀon  
0.06  
1
▪
Personal history: diabetes, hypertension, left  
hemicolectomy for acute diverticulitis 5 years ago.  
Physical examination: infraumbilical median scar.  
Midline incisional hernia with a sac measuring 20 × 20  
cm.  
Total prompt score  
<0.01  
▪
■
TABLE A4  
▪
Computed tomography scan of the abdomen and  
pelvis: midline incisional hernia with a 20 × 20 cm sac  
containing intestinal contents and a 12 cm wide ring.  
The diagnosis is complex incisional hernia. The  
Clinical case 2:  
response-related variables before and following PE training  
Before PE  
3.8 (0.7)  
3.8 (0.8)  
3.3 (0.8)  
10.8 (2)  
Following PE  
4.4 (0.7)  
4.1 (0.6)  
4 (0.7)  
p-value  
<0.01  
0.2  
Accuracy  
decision is to perform convenꢀonal hernia repair, but  
you don’t fully recall the surgical steps.  
Completeness  
Relevance  
0.03  
Total response score  
12.4 (1.7)  
0.01  
Appendix 2  
■
TABLE A5  
■
TABLE A1  
Clinical case 3:  
Clinical case 1:  
prompt-related variables before and following PE training  
prompt-related variables before and following PE training  
Before PE  
2.3 (1.1)  
1.3 (0.5)  
1.4 (0.5)  
1.4 (0.5)  
1.8 (0.4)  
8.2 (1.5)  
Following PE  
3.5 (1.3)  
2.2 (0.8)  
1.7 (0.8)  
1.7 (0.5)  
1.9 (0.3)  
10.9 (1.7)  
p-value  
<0.01  
<0.01  
0.03  
Before PE  
2.2 (1.2)  
1.3 (0.7)  
1.2 (0.4)  
1.3 (0.5)  
1.8 (0.4)  
7.75 (2)  
Following PE  
2.9 (1.2)  
2.2 (0.8)  
1.4 (0.6)  
1.6 (0.5)  
1.9 (0.3)  
10 (1.9)  
p-value  
<0.01  
<0.01  
0.08  
Completeness  
Context  
Completeness  
Context  
Input data  
Input data  
Output format  
Instrucꢀon  
0.09  
Output format  
Instrucꢀon  
0.03  
0.7  
0.3  
Total prompt score  
<0.01  
Total prompt score  
<0.01  
■
TABLE A2  
■ TABLE A6  
Clinical case 1:  
Clinical case 3:  
response-related variables before and following PE training  
response-related variables before and following PE training  
Before PE  
3.3 (0.6)  
3.3 (0.9)  
2.7 (0.9)  
9.3 (2.2)  
Following PE  
3.9 (0.7)  
p-value  
<0.01  
0.01  
Before PE  
3.7 (0.5)  
3.7 (0.7)  
3.3 (0.9)  
10.7 (1.9)  
Following PE  
4 (0.7)  
p-value  
0.03  
Accuracy  
Accuracy  
Completeness  
Relevance  
3.8 (0.8)  
Completeness  
Relevance  
4.3 (0.9)  
3.7 (0.8)  
11.9 (1.9)  
0.03  
3.5 (0.8)  
<0.01  
<0.01  
0.3  
Total response score  
11.3 (1.7)  
Total response score  
<0.01  
1
4
Peña ME y cols. Chatbots basados en inteligencia arꢁꢂcial: la importancia de saber preguntar. Rev Argent Cir. 2026;118(2):e-1961  
■
TABLE A7  
■ TABLE A9  
Inter-rater agreement in prompt analysis  
Associaꢀon between year of residency, prior experience with AiCB  
(
general and medical purposes), and total prompt scores before and  
Intervenꢀon  
Before  
Kappa  
Interpretaꢀon  
Moderate  
Signiꢁcant  
Moderate  
Moderate  
Signiꢁcant  
Signiꢁcant  
Acceptable  
Poor  
following PE training  
Completeness  
Completeness  
Context  
0.59  
0.67  
0.52  
0.59  
0.7  
Intervenꢀon  
Before  
OR (95% CI)  
p-value  
Following  
Before  
Year of residency  
Year of residency  
Previous use of AiCB  
Previous use of AiCB  
1.34 (0.43–4.15)  
0,61  
Following  
Before  
1.95 (0.66–5.81)  
1.49 (0.22–10.24)  
0.07 (0.01–0.57)  
0,23  
0,69  
0,01  
Context  
Following  
Before  
Input data  
Input data  
Following  
Before  
0.77  
0.23  
-0.12  
0.57  
0.49  
0.04  
0.25  
Following  
Output format  
Output format  
Instrucꢀon  
Instrucꢀon  
Total score  
Total score  
Previous use of AiCB for  
medical purposes  
Before  
0.47 (0.08–2.97)  
1.91 (0.31–11.71)  
0,42  
0,46  
Following  
Before  
Moderate  
Moderate  
Mild  
Previous use of AiCB for  
medical purposes  
Following  
Following  
Before  
■
TABLE A10  
Following  
Acceptable  
Associaꢀon between year of residency, prior experience with AiCB  
(
general and medical purposes), and total prompt scores before  
■
TABLE A8  
and following PE training  
Inter-rater agreement in response analysis  
Intervenꢀon  
OR (95% CI)  
p-value  
0.27  
Intervenꢀon  
Before  
Kappa  
0.14  
0.06  
0.13  
-0.07  
0.2  
Interpretaꢀon  
Mild  
Year of residency  
Year of residency  
Previous use of AiCB  
Previous use of AiCB  
Prior  
1.76 (0.65–4.73)  
Accuracy  
Following  
Prior  
1.23 (0.43–3.48)  
0.59 (0.1–3.61)  
3.08 (0.41–23.37)  
0.7  
Accuracy  
Following  
Before  
Mild  
Completeness  
Completeness  
Relevance  
Relevance  
Total score  
Total score  
Mild  
0.57  
0.28  
Following  
Before  
Poor  
Following  
Mild  
Previous use of AiCB  
for medical purposes  
Prior  
1.41 (0.28–6.98)  
0.68  
Following  
Before  
0.04  
0.04  
-0.11  
Mild  
Mild  
Previous use of AiCB  
for medical purposes  
Following  
0.72 (0.11–4.68)  
0.73  
Following  
Poor  
Referencias bibliográꢁcas /References  
1
2
3
4
5
6
.
.
.
.
.
.
Wang J, Enze S, Sigang Y, Zihao W, Chong M, Haixing D, et  
al. Prompt Engineering for Healthcare: Methodologies and  
Applicaꢀons. ArXiv. 2023; abs/2304.14670. doi:10.48550/  
arXiv.2304.14670.  
Medical Applicaꢀons: 1-Year Timeline and Perspecꢀves. J Med  
Syst. 2024;48(1):22. doi:10.1007/s10916-024-02045-3.  
8. Birkun AA, Gautam A. Large Language Model (LLM)-Powered  
Chatbots Fail to Generate Guideline-Consistent Content on  
Resuscitaꢀon and May Provide Potenꢀally Harmful Advice.  
Prehosp Disaster Med. 2023;38(6):757–63. doi: hꢇps://doi.  
org/10.1017/S1049023X23006568.  
Goodman RS, Patrinely JR, Stone CA Jr, Zimmerman E, Donald RR,  
Chang SS, et al. Accuracy and Reliability of Chatbot Responses to  
Physician Quesꢀons. JAMA Netw Open. 2023;6(10):e2336483.  
doi:10.1001/jamanetworkopen.2023.36483.  
9. Zúñiga Salazar G, Zúñiga D, Vindel CL, Yoong AM, Hincapie S,  
Zúñiga AB, et al. Efficacy of AI Chats to Determine an Emergency:  
A Comparison Between OpenAI’s ChatGPT, Google Bard, and  
Microsoꢂ Bing AI Chat. Cureus. 2023;15(9):e45473. doi: hꢇps://  
doi.org/10.7759/cureus.45473.  
Sallam M. ChatGPT Uꢀlity in Healthcare Educaꢀon, Research, and  
Pracꢀce: Systemaꢀc Review on the Promising Perspecꢀves and  
Valid Concerns. Healthcare (Basel). 2023;11(6):887. doi: 10.3390/  
healthcare11060887.  
Sorin V, Klang E, Sklair-Levy M, Cohen I, Zippel DB, Balint Lahat N,  
et al. Large language model (ChatGPT) as a support tool for breast  
tumor board. NPJ Breast Cancer. 2023;9(1):44. doi:10.1038/  
s41523-023-00557-8.  
10. Liu M, Okuhara T, Chang X, Shirabe R, Nishiie Y, Okada H,  
et al. Performance of ChatGPT Across Different Versions in  
Medical Licensing Examinaꢀons Worldwide: Systemaꢀc Review  
J Med Internet Res. 2024;26:e60807.  
and Meta-Analysis.  
doi:10.2196/60807.  
Kuşcu O, Pamuk AE, SütaySüslü N, Hosal S. Is ChatGPT accurate  
and reliable in answering quesꢀons regarding head and  
neck cancer? Front Oncol. 2023;13:1256459. doi:10.3389/  
fonc.2023.1256459.  
11. Meskó B. Prompt Engineering as an Important Emerging  
Skill for Medical Professionals: Tutorial. J Med Internet Res.  
2023;25:e50638. doi:10.2196/50638.  
Hirosawa T, Harada Y, Yokose M, Sakamoto T, Kawamura R,  
Shimizu T. Diagnosꢀc Accuracy of Differenꢀal-Diagnosis Lists  
Generated by Generaꢀve Pretrained Transformer 3 Chatbot for  
Clinical Vigneꢇes with Common Chief Complaints: A Pilot Study.  
Int J Environ Res Public Health. 2023;20(4):3378. doi:10.3390/  
ijerph20043378.  
12. Landis JR, Koch GG. The measurement of observer agreement for  
categorical data. Biometrics. 1977;33(1):159-74.  
13. Singhal K, Azizi S, Tu T, Mahdavi SS, Wei J, Chung HW, et al.  
Large language models encode clinical knowledge. Nature.  
2023;620(7972):172-80. doi:10.1038/s41586-023-06291-2.  
14. Wang L, Chen X, Deng X, Wen H, You M, Liu W, et al.  
Prompt engineering in consistency and reliability with  
the evidence-based guideline for LLMs. NPJ Digit Med.  
7
.
Cascella M, Semeraro F, Montomoli J, Bellini V, Piazza O, Bignami  
E. The Breakthrough of Large Language Models Release for  
Peña ME y cols. Chatbots basados en inteligencia arꢁꢂcial: la importancia de saber preguntar. Rev Argent Cir. 2026;118(2):e-1961  
15  
2
024;7(1):41.  
doi:10.1038/s41746-024-01029-4.  
19. Kung TH, Cheatham M, Medenilla A, Sillos C, De Leon L, Elepaño C,  
et al. Performance of ChatGPT on USMLE: Potenꢀal for AI-assisted  
medical educaꢀon using large language models. PLOS Digit Health.  
2023;2(2):e0000198. doi:10.1371/journal.pdig.0000198.  
1
1
5. White J, Fu Q, Hays S, Sandborn M, Olea C, Gilbert H, et al. A  
Prompt Paꢇern Catalog to Enhance Prompt Engineering with  
20. Rojas M, Rojas M, Burgess V, Toro-Pérez J, Salehi S. Exploring the  
Performance of ChatGPT Versions 3.5, 4, and 4 With Vision in  
the Chilean Medical Licensing Examinaꢀon: Observaꢀonal Study.  
JMIR Med Educ. 2024;10:e55048. doi: 10.2196/55048.  
6. Sorin V, Klang E, Sklair-Levy M, Cohen I, Zippel DB, Balint Lahat N,  
et al. Large language model (ChatGPT) as a support tool for breast  
tumor board. NPJ Breast Cancer. 2023;9(1):44. doi:10.1038/  
s41523-023-00557-8.  
7. Open AI, Achiam J, Adler S, Agarwal S, Ahmad L, Akkaya I, et  
al. GPT-4 Technical Report ArXiv. 2023: 2303.08774v6. doi.  
org/10.48550/arXiv.2303.08774.  
8. Gilson A, Safranek CW, Huang T, Socrates V, Chi L, Taylor RA, et al.  
HowDoesChatGPTPerformontheUnitedStatesMedicalLicensing  
Examinaꢀon (USMLE)? The Implicaꢀons of Large Language  
Models for Medical Educaꢀon and Knowledge Assessment. JMIR  
Med Educ. 2023;9:e45312. doi:10.2196/45312.  
21. Shieh A, Tran B, He G, Kumar M, Freed JA, Majety P. Assessing  
ChatGPT 4.0’s test performance and clinical diagnosꢀc accuracy  
1
1
on USMLE STEP  
2 CK and clinical case reports. Sci Rep.  
2024;14(1):9330. doi: 10.1038/s41598-024-58760-x.  
22. Guillen-Grima F, Guillen-Aguinaga S, Guillen-Aguinaga L, Alas-Brun  
R, Onambele L, Ortega W, et al. Evaluaꢀng the Efficacy of ChatGPT  
in Navigaꢀng the Spanish Medical Residency Entrance Examinaꢀon  
(MIR): Promising Horizons for AI in Clinical Medicine. Clin Pract.  
2023;13(6):1460-87. doi: 10.3390/clinpract13060130.