Počítačově generované vědecké posudky ošálily i kritiky
23.9.2016, Jan Vítek, aktualita
Asi před deseti lety si studenti z MIT vyzkoušeli v rámci projektu udělat legraci z některých počítačových vědců a z toho, jak stále více využívají trendové výrazy a slang. Vytvořili generátor SCIgen, který se je snažil napodobit a nyní tu máme pokračování.
Program SCIgen využívá Markovův řetězec, který náhodně vypichuje věty a části vět z hlavních částí vědeckých prací. Algoritmus pak uspořádá slova do syntakticky správného pořadí, z čehož ovšem pochopitelně často vznikl slepenec slov, které sice měly ve větě správný sled, ale jako celek nedávaly smysl. Ovšem právě to byl celý účel, čili ukázat, že smysl občas postrádají i věty ve vědeckých prací, pokud jsou plné trendových výrazů a slangu.
Tehdy byl podobný program využitý pro to, aby zkusil napsat několik vědeckých prací, které by pak mohly být prezentovány na konferenci. Cílem jeho autorů prostě bylo, aby byla posudková práce jejich algoritmu přijata na konferenci a oni ji zkusili naprosto vážně opravdu prezentovat a sledovat, co se stane. Nicméně cíleně si vybrali takové konference, o nichž je dobře známo, že akceptují i příspěvky, jejich úroveň není zrovna vysoká.
Markovův generátor tak byl nakrmen velkým množstvím vědeckých prací z počítačové branže a nakonec vytvořil své vlastní práce, které byly opravdu přijaty pro prezentaci na konferenci. Zde jsou jejich názvy: Harnessing Byzantine Fault Tolerance Using Classical Theory, Synthesizing Checksums and Lambda Calculus using Jog a On the Study of the Ethernet. Všechny opravdu byly prezentovány na konferenci WMSCI v roce 2005, z čehož ještě jsou dostupná videa.
Nyní se jiní výzkumníci pokusili využít podobný program jako SCIgen a opět se zde uplatnil Markovův řetězec, který byl "nakrmen" řadou různých publikací na téma biologie. Na základě toho vytvořil své vlastní posudky, které byly společně s ostatními postoupeny kritikům. Generované posudky tak byly zamíchány mezi ty, které opravdu napsali lidé. Kritici přitom v jednom ze čtyř případů nedokázali odhalit, že text byl generován počítačem a že dohromady nedává valný smysl.
Tvůrci programu přiznávají, že žádný z výsledných generovaných testů nedokáže obstát před opravdu podrobným zkoumáním, ovšem dokáže ošálit člověka v případě, že text jen zběžně pročítá. Dá se tak říci, že nejde o vytvoření dokonalé umělé inteligence, která dokáže ošálit i lidi, jako spíše o prokázání toho, jak špatnou práci odvádějí někteří kritici vědeckých prací, což můžeme přičíst nedostatku času nebo spíše vůle se prokousávat všemi těmi texty. Vše pak bylo popsáno v práci s názvem "Vaše práce byla přijata, odmítnuta, nebo něco takového: automatické generování vědeckých posudků".
Opět se tak ukazuje problém známý především z tzv. predátorských periodik, která dokáží přijmout a publikovat téměř jakoukoliv práci, kterou jejich redakce prohlíží jen zběžně, nebo vůbec ne.
Zdroj: Extremetech
Tehdy byl podobný program využitý pro to, aby zkusil napsat několik vědeckých prací, které by pak mohly být prezentovány na konferenci. Cílem jeho autorů prostě bylo, aby byla posudková práce jejich algoritmu přijata na konferenci a oni ji zkusili naprosto vážně opravdu prezentovat a sledovat, co se stane. Nicméně cíleně si vybrali takové konference, o nichž je dobře známo, že akceptují i příspěvky, jejich úroveň není zrovna vysoká.
Markovův generátor tak byl nakrmen velkým množstvím vědeckých prací z počítačové branže a nakonec vytvořil své vlastní práce, které byly opravdu přijaty pro prezentaci na konferenci. Zde jsou jejich názvy: Harnessing Byzantine Fault Tolerance Using Classical Theory, Synthesizing Checksums and Lambda Calculus using Jog a On the Study of the Ethernet. Všechny opravdu byly prezentovány na konferenci WMSCI v roce 2005, z čehož ještě jsou dostupná videa.
Nyní se jiní výzkumníci pokusili využít podobný program jako SCIgen a opět se zde uplatnil Markovův řetězec, který byl "nakrmen" řadou různých publikací na téma biologie. Na základě toho vytvořil své vlastní posudky, které byly společně s ostatními postoupeny kritikům. Generované posudky tak byly zamíchány mezi ty, které opravdu napsali lidé. Kritici přitom v jednom ze čtyř případů nedokázali odhalit, že text byl generován počítačem a že dohromady nedává valný smysl.
Tvůrci programu přiznávají, že žádný z výsledných generovaných testů nedokáže obstát před opravdu podrobným zkoumáním, ovšem dokáže ošálit člověka v případě, že text jen zběžně pročítá. Dá se tak říci, že nejde o vytvoření dokonalé umělé inteligence, která dokáže ošálit i lidi, jako spíše o prokázání toho, jak špatnou práci odvádějí někteří kritici vědeckých prací, což můžeme přičíst nedostatku času nebo spíše vůle se prokousávat všemi těmi texty. Vše pak bylo popsáno v práci s názvem "Vaše práce byla přijata, odmítnuta, nebo něco takového: automatické generování vědeckých posudků".
Opět se tak ukazuje problém známý především z tzv. predátorských periodik, která dokáží přijmout a publikovat téměř jakoukoliv práci, kterou jejich redakce prohlíží jen zběžně, nebo vůbec ne.
Zdroj: Extremetech
