Scheitern beim Erstellen von Prüfungsaufgaben
Im Rahmen einer britischen Studie wurden führende KI-Chatbots wie ChatGPT-4.0 von OpenAI, Elon Musks Grok2 sowie Googles Gemini auf ihre Fähigkeit getestet, echte Prüfungsfragen aus UK-Curricula für Zahnmedizinstudierende zufriedenstellend zu beantworten. Dafür mussten ChatGPT und Co. Prüfungsaufgaben aus den Studiengängen „Bachelor of Dental Surgery“ und „Dental Hygiene and Therapy“ in Form von 340 Multiple-Choice- und 80 Kurzantwort-Fragen lösen sowie drei strukturierte mündliche Prüfungen bestehen. Alle drei KI-Systeme zeigten sich den gestellten Aufgaben grundsätzlich gewachsen, lediglich der Google-Chatbot Gemini wies einige Schwächen auf.
Die zweite Herausforderung für die KI-Chatbots bestand darin, selbst 140 neue Prüfungsfragen zu generieren. An dieser Aufgabe scheiterte die KI. Die von ihr aufgestellten Fragen erwiesen sich als kaum prüfungstauglich, da oft unklar formuliert, didaktisch unzulänglich, nicht selten veraltet in der Terminologie und meist zu oberflächlich, um das Niveau der klinischen Anwendung zu erreichen.
Fazit: „Deep Learning“ als grundsätzliches Prinzip hinter der KI hat auch im Bereich Zahnmedizin zu einem erstaunlichen Wissenszuwachs der künstlichen Intelligenz geführt. KI-Chatbots können sich in zahnmedizinischen Prüfungen leidlich behaupten. Für eine „Lizenz zum Ausbilden“ von Studierenden der Zahnmedizin reicht es für die KI aber nicht so ganz. Vielleicht dauert es trotzdem nicht mehr allzu lange, bis „Dr. KI“ zahnmedizinische Fakultäten bei der Aufstellung von Prüfungskonzepten und Prüfungsaufgaben unterstützen kann.
„Deep Learning“ auf Basis großer Datenmengen
ChatGPT, Grok und Gemini sind als sogenannte „Large Language Models“ (LLMs) eine Kategorie von „Deep Learning“-Modellen, die auf der Basis sehr großer Datenmengen trainiert wurden und daher in der Lage sind, natürliche Sprache und andere Arten von Inhalten zu verstehen und selbst zu erzeugen. Sie sind dazu fähig, ein breites Spektrum an Aufgaben zu erfüllen.
KI in der zahnmedizinischen Ausbildung
Potenzial und Grenzen von ChatGPT und Co.
Die Studie „Performance of large language models (ChatGPT4-0, Grok2 and Gemini) in UK dentistry and dental hygiene and therapy assessments“ finden Sie auf den Seiten von „nature.com“.