O testach poinformowało pismo branżowe "PLOSDigital Health". Z przeprowadzonych badań wynika, że ChatGPT jest w stanie uzyskać wynik równy lub zbliżony do 60-proc. progu wymaganego do uzyskania licencji medycznej (USMLE) w Stanach Zjednoczonych. Jak podkreślili naukowcy, odpowiedzi sztucznej inteligencji były "spójne i miały wewnętrzny sens".
ChatGPT to system sztucznej inteligencji, który służy generowaniu tekstów podobnych do tych napisanych przez człowieka - robi to na podstawie przewidywanej sekwencji słów.
ChatGPT zdał egzamin, który uprawnia do uzyskania licencji medycznej w USA
Dr Tiffany Kung i jej współpracownicy ze start-upu AnsibleHealth sprawdzili, jak ChatGPT poradzi sobie ze zdaniem testu USMLE, który składa się z trzech egzaminów, do których podchodzą studenci medycyny i lekarze stażyści. Test sprawdza wiedzę z większości dyscyplin medycznych - od biochemii, przez diagnostykę, aż po bioetykę.
Z testu naukowcy musieli jednak usunąć pytania, które są oparte na obrazach. ChatGPT musiał więc odpowiedzieć na 350 z 376 pytań zawartych w teście USMLE z czerwca 2022 roku. W trzech egzaminach sztuczna inteligencja uzyskała wynik od 52,4 proc. do 75 proc. Poza tym program wykazał zgodność w 94,6 proc. odpowiedzi i uzyskał co najmniej jeden znaczący wgląd w 88,9 proc. odpowiedzi (znaczący wgląd dotyczy odpowiedzi, które opierają się na nowych, nieoczywistych i klinicznie ważnych danych). ChatGPT przewyższył wynikami PubMedGPT - model sztucznej inteligencji, który zajmuje się zbieraniem danych z dziedziny biomedycyny - ten uzyskał 50,8 proc. poprawnych odpowiedzi w ramach USMLE.
Przeczytaj więcej aktualnych informacji na stronie głównej Gazeta.pl.
Według dr Tiffany Kung test ten potwierdza potencjał programu ChatGPT w zakresie poprawy edukacji medycznej. Klinicyści z Ansible Health (start-upu zrzeszającego klinicystów i technologów, którzy pracują nad zapewnieniem lepszej opieki medycznej pacjentom z przewlekłymi chorobami płuc) używają już sztucznej inteligencji do tłumaczenia skomplikowanego, medycznego języka na opis, który będzie bardziej zrozumiały dla pacjentów.
- Osiągnięcie pozytywnego wyniku tego niezwykle trudnego egzaminu eksperckiego i dokonanie tego bez wsparcia ze strony ludzi stanowi znaczący kamień milowy w klinicznym dojrzewaniu sztucznej inteligencji - dodała dr Kung. Jak zauważyła, aby zdać egzamin USMLE, człowiek potrzebuje co najmniej kilku lat nauki.
