Skip to main content

01.05.2024 | Original Article

Examining the Performance of ChatGPT 3.5 and Microsoft Copilot in Otolaryngology: A Comparative Study with Otolaryngologists’ Evaluation

verfasst von: Miguel Mayo-Yáñez, Jerome R. Lechien, Alberto Maria-Saibene, Luigi A. Vaira, Antonino Maniaci, Carlos M. Chiesa-Estomba

Erschienen in: Indian Journal of Otolaryngology and Head & Neck Surgery

Einloggen, um Zugang zu erhalten

Abstract

To evaluate the response capabilities, in a public healthcare system otolaryngology job competition examination, of ChatGPT 3.5 and an internet-connected GPT-4 engine (Microsoft Copilot) with the real scores of otolaryngology specialists as the control group. In September 2023, 135 questions divided into theoretical and practical parts were input into ChatGPT 3.5 and an internet-connected GPT-4. The accuracy of AI responses was compared with the official results from otolaryngologists who took the exam, and statistical analysis was conducted using Stata 14.2. Copilot (GPT-4) outperformed ChatGPT 3.5. Copilot achieved a score of 88.5 points, while ChatGPT scored 60 points. Both AIs had discrepancies in their incorrect answers. Despite ChatGPT’s proficiency, Copilot displayed superior performance, ranking as the second-best score among the 108 otolaryngologists who took the exam, while ChatGPT was placed 83rd. A chat powered by GPT-4 with internet access (Copilot) demonstrates superior performance in responding to multiple-choice medical questions compared to ChatGPT 3.5.
Literatur
8.
Zurück zum Zitat Microsoft Corporation. (2023). Consultas realizadas en Copilot. https://www.bing.com Microsoft Corporation. (2023). Conversaciones con el asistente de Copilot. Accessed September 2023. Microsoft Corporation. (2023). Consultas realizadas en Copilot. https://​www.​bing.​com Microsoft Corporation. (2023). Conversaciones con el asistente de Copilot. Accessed September 2023.
11.
Zurück zum Zitat Ha, LA, Yaneva V (2019) Automatic question answering for medical MCQs: Can it go further than information retrieval? Proceedings of Recent Advances in Natural Language Processing, Varna, Bulgaria, pp. 418–422. Ha, LA, Yaneva V (2019) Automatic question answering for medical MCQs: Can it go further than information retrieval? Proceedings of Recent Advances in Natural Language Processing, Varna, Bulgaria, pp. 418–422.
Metadaten
Titel
Examining the Performance of ChatGPT 3.5 and Microsoft Copilot in Otolaryngology: A Comparative Study with Otolaryngologists’ Evaluation
verfasst von
Miguel Mayo-Yáñez
Jerome R. Lechien
Alberto Maria-Saibene
Luigi A. Vaira
Antonino Maniaci
Carlos M. Chiesa-Estomba
Publikationsdatum
01.05.2024
Verlag
Springer India
Erschienen in
Indian Journal of Otolaryngology and Head & Neck Surgery
Print ISSN: 2231-3796
Elektronische ISSN: 0973-7707
DOI
https://doi.org/10.1007/s12070-024-04729-1

Betalaktam-Allergie: praxisnahes Vorgehen beim Delabeling

16.05.2024 Pädiatrische Allergologie Nachrichten

Die große Mehrheit der vermeintlichen Penicillinallergien sind keine. Da das „Etikett“ Betalaktam-Allergie oft schon in der Kindheit erworben wird, kann ein frühzeitiges Delabeling lebenslange Vorteile bringen. Ein Team von Pädiaterinnen und Pädiatern aus Kanada stellt vor, wie sie dabei vorgehen.

Eingreifen von Umstehenden rettet vor Erstickungstod

15.05.2024 Fremdkörperaspiration Nachrichten

Wer sich an einem Essensrest verschluckt und um Luft ringt, benötigt vor allem rasche Hilfe. Dass Umstehende nur in jedem zweiten Erstickungsnotfall bereit waren, diese zu leisten, ist das ernüchternde Ergebnis einer Beobachtungsstudie aus Japan. Doch es gibt auch eine gute Nachricht.

Real-World-Daten sprechen eher für Dupilumab als für Op.

14.05.2024 Rhinosinusitis Nachrichten

Zur Behandlung schwerer Formen der chronischen Rhinosinusitis mit Nasenpolypen (CRSwNP) stehen seit Kurzem verschiedene Behandlungsmethoden zur Verfügung, darunter Biologika, wie Dupilumab, und die endoskopische Sinuschirurgie (ESS). Beim Vergleich der beiden Therapieoptionen war Dupilumab leicht im Vorteil.

Schwindelursache: Massagepistole lässt Otholiten tanzen

14.05.2024 Benigner Lagerungsschwindel Nachrichten

Wenn jüngere Menschen über ständig rezidivierenden Lagerungsschwindel klagen, könnte eine Massagepistole der Auslöser sein. In JAMA Otolaryngology warnt ein Team vor der Anwendung hochpotenter Geräte im Bereich des Nackens.

Update HNO

Bestellen Sie unseren Fach-Newsletter und bleiben Sie gut informiert – ganz bequem per eMail.