ChatGPT, el chatbot de inteligencia artificial de OpenAI, podría competir con Google algún día como un recurso de salud en línea, dicen muchas personas, pero ¿qué tan confiables son sus respuestas en este momento?
Investigadores de la Universidad de Maryland Facultad de Medicina (UMSOM) estaban ansiosos por averiguarlo.
En febrero, crearon una lista de 25 preguntas relacionadas con las pautas de detección del cáncer de mama y luego le pidieron a ChatGPT que respondiera cada una de las preguntas tres veces.
Los investigadores encontraron que 22 de las 25 respuestas del chatbot eran precisas. Sin embargo, dos de las preguntas dieron como resultado respuestas significativamente diferentes cada vez.
INTELIGENCIA ARTIFICIAL EN SALUD: NUEVO PRODUCTO ACTÚA COMO ‘COPILOTO PARA MÉDICOS’
Además, ChatGPT proporcionó información obsoleta en una de sus respuestas, según un comunicado de prensa que anuncia los hallazgos.
En general, los investigadores dijeron que ChatGPT respondió correctamente a las preguntas alrededor del 88 % de las veces.
En un estudio realizado por la Universidad de Maryland, los investigadores le hicieron a ChatGPT 25 preguntas relacionadas con la detección del cáncer de mama y observaron una tasa de precisión del 88 %, dijeron los investigadores. Pero ese porcentaje no cuenta toda la historia. (iStock)
Los hallazgos del estudio se publicaron este mes en la revista Radiology. También participaron investigadores del Hospital General de Massachusetts y de la Facultad de Medicina de la Universidad Johns Hopkins.
“ChatGPT tiene un tremendo potencial para proporcionar información médica, como mostramos en nuestro estudio”, dijo a Fox News Digital en un correo electrónico el coautor del estudio, Paul Yi, MD, profesor asistente de radiología de diagnóstico y medicina nuclear en la UMSOM.
“Aunque a menudo proporciona información correcta, la información incorrecta que presenta podría tener consecuencias negativas”.
“Sin embargo, no está listo para el mundo real”, dijo también. “Aunque a menudo proporciona información correcta, la información incorrecta que presenta podría tener consecuencias negativas”.
Las preguntas se centraron en sintomas de cancer de mamafactores de riesgo individuales y recomendaciones para las mamografías.
Aunque las respuestas tenían una alta tasa de precisión, los investigadores señalaron que no eran tan profundas como lo que podría proporcionar una búsqueda en Google.
“ChatGPT proporcionó solo un conjunto de recomendaciones sobre la detección del cáncer de mama, emitido por la Sociedad Estadounidense del Cáncer, pero no mencionó las diferentes recomendaciones emitidas por los Centros para el Control y la Prevención de Enfermedades (CDC) o el Grupo de Trabajo de Servicios Preventivos de EE. UU. (USPSTF), “, dijo la autora principal del estudio, Hana Haver, MD, residente de radiología en el Centro Médico de la Universidad de Maryland, en el comunicado de prensa.
ChatGPT es un chatbot de inteligencia artificial (IA) que fue lanzado por la empresa OpenAI en noviembre de 2022. (iStock)
La única respuesta “inapropiada” se dio a la pregunta “¿Necesito planificar mi mamografía en torno a mi vacunación contra el covid?”
ChatGPT respondió que las mujeres deberían esperar de cuatro a seis semanas después de la vacuna para programar una mamografía, pero esa guía cambió en febrero de 2022. El chatbot basaba sus respuestas en información desactualizada.
El chatbot también dio respuestas inconsistentes a las preguntas “¿Cómo puedo prevenir el cáncer de mama?” y “¿Dónde puedo hacerme una prueba de detección de cáncer de mama?”
LA IA Y LA SALUD DEL CORAZÓN: LAS MÁQUINAS REALIZAN UN MEJOR TRABAJO DE LECTURA DE ULTRASONIDOS QUE LOS SONÓGRAFOS, DICE UN ESTUDIO
“Puede proporcionar información incorrecta que puede sonar muy convincente, pero actualmente no hay ningún mecanismo disponible para indicar si no está seguro de sus respuestas”, dijo Yi a Fox News Digital.
“Es importante resolver esto antes de que estos chatbots puedan usarse de manera segura en la educación médica del mundo real”.
¿Por qué ChatGPT da diferentes respuestas a la misma pregunta?
Aquellos que le hagan la misma pregunta a ChatGPT varias veces probablemente recibirán respuestas diferentes. Dr. Harvey Castro, un con sede en Dallas, Texas médico de medicina de emergencia certificado por la junta y orador nacional sobre inteligencia artificial en el cuidado de la salud, dijo que hay algunas razones para esto.
(Castro no participó en el estudio de la UMSOM).
Las preguntas del estudio se centraron en los síntomas del cáncer de mama, los factores de riesgo individuales y las recomendaciones para las mamografías. (iStock)
“ChatGPT siempre está aprendiendo cosas nuevas de los datos que obtiene”, explicó a Fox News Digital. “Cada generación de este software mejorará debido a los datos a los que puede acceder. Si un humano corrige los datos, ChatGPT actualizará su respuesta en función de las respuestas de los demás”.
Continuó: “Entonces, si hace la misma pregunta mañana, podría haber obtenido más información [by then] eso podría cambiar su respuesta. Esto hace que el programa sea mejor para dar respuestas útiles y actualizadas”.
El chatbot también tiene una gran cantidad de conocimientos a su disposición, por lo que puede “pensar” en muchas formas diferentes de responder una pregunta, explicó Castro.
Las respuestas de ChatGPT deben ser examinadas por un médico, dicen los expertos.
Además, ChatGPT varía su elección de palabras para cualquier respuesta dada.
“ChatGPT funciona al pensar qué palabras deben aparecer a continuación en una oración”, dijo Castro. “Analiza las posibilidades de que diferentes palabras encajen bien. Debido a esto, siempre hay un poco de aleatoriedad en sus respuestas”.
Si bien ChatGPT puede ser un recurso útil, los expertos están de acuerdo en que las respuestas deben ser examinadas por el médico correspondiente. (Gabby Jones/Bloomberg vía Getty Images)
ChatGPT también recuerda las conversaciones, por lo que si alguien hace la misma pregunta varias veces en una conversación, el chatbot podría cambiar su respuesta en función de lo que se dijo anteriormente, señaló Castro.
A medida que la IA se muestra prometedora, los expertos piden precaución
Si bien ChatGPT puede ser un recurso útil, los expertos están de acuerdo en que las respuestas deben ser examinadas por el médico adecuado.
“Puede proporcionar información incorrecta que puede sonar muy convincente”.
Sanjeev Agrawal, presidente y director de operaciones de con sede en California LeanTaaS, que desarrolla soluciones de IA para hospitales de todo el país, quedó impresionado con los resultados del estudio, aunque señaló que el 88 % no es una puntuación tan alta como los pacientes quisieran ver cuando se les realiza una prueba de detección de cáncer.
HAGA CLIC AQUÍ PARA SUSCRIBIRSE A NUESTRO BOLETÍN DE SALUD
“Si bien no veo que esto reemplace la última milla de necesitar un médico calificado y capacitado todavía, puedo ver el valor tanto para el paciente como para el médico de obtener una síntesis asistida por IA de su prueba de detección como un punto de partida”, dijo a Fox News Digital.
HAGA CLIC AQUÍ PARA OBTENER LA APLICACIÓN FOX NEWS
Agrawal agregó: “Para el asesoramiento y la evaluación menos sofisticados y más rutinarios, esto podría permitir a los pacientes obtener un asesoramiento confiable y preciso antes y aliviar parte de la carga del sistema de atención médica”.