ChatGPT ve zkouškách: otázky ABCD zvládá výborně, jinde si vymýšlí vědecké zdroje

Na University of Bath se podívali na problematiku využití umělé inteligence ve studiu. Studenti ji už dnes často využívají k psaní esejí, a tak bylo zajímavé se podívat, co vlastně dokáže v různých typech úloh. Otázkou tedy bylo, jestli může být použita studenty k zodpovězení otázek v testech. ChatGPT se projevil jako velmi dobrý systém pro otázky s výběrem odpovědí typu ABCD. Sami vědci nepředpokládali, že si AI povede tak dobře, jak si vedla. Její úspěšnost se velmi blížila hranici 100 %. Bohužel v komplexnějších otázkách to už tak dobré nebylo. Pokud se má zapojit kritické myšlení, je to problém.

 

 

Když měl systém napsat esej na téma toho, proč je důležité rozumět načasování cvičení v souvislosti s aktuální sytostí lidí s nadváhou, odpověď byla nedostačující. Samotný text nebyl napsán špatně, vědcům se ale nelíbilo např. to, že v textu často opakoval samotnou otázku. To mi osobně nepřijde být zase až tak špatné, protože tím pisatel upozorňuje na to, na co se vlastně jeho esej snaží odpovědět, je však pravdou, že nemusí být opakována doslovně. Některé části odstavců byly příliš zjednodušující, prezentující závěry, ale bez důkazů nebo zevrubnějšího popisu "proč".  Nejhorší bylo uvádění zdrojů. Autoři existovali, stejně tak časopisy, kde bylo možné publikovat články. Neexistovaly ale uvedené vědecké články, které AI prezentovala, a tedy ani ne čísla stránek, na kterých se měl údajný článek nacházet. AI si je prostě vymyslela.

 

Pořád se tak ukazuje, že ChatGPT nedokáže na základě informací vytvářet fakticky korektní eseje, nicméně je obvykle dobrý v odpovídání na jednoduché jasné dotazy (obzvlášť má-li na výběr mezi odpověďmi) a velmi dobře slouží také k překonávání tvůrčích bloků a vytváření základní struktury textů. Studentům může velmi dobře pomáhat s tím "začít". Další doplnění textů a faktická správnost je už ale úlohou především pro člověka a ne AI.

 

Zdroj: bbc.com, digitaltrends.com