2024.07.02. 06:00
A ChatGPT-vel írt, hamis egyetemi dolgozatok 94%-a csont nélkül átmegy a vizsgán
Egy tekintélyes brit egyetem vizsgáján titokban végzett kísérletből kiderült, a ChatGPT-vel kapcsolatos csalások gyakorlatilag nem észlelhetők. Átmennek az ellenőrzésen: a robot jobban teljesít, mint az emberek.
129258800
Forrás: Shutterstock
Fotó: Ociacia
Az Egyesült Királyságban található University of Reading kísérletében a ChatGPT által adott válaszokat az elbírálók tudomása nélkül bekeverték a dolgozatok közé. A vizsgán természetesen tiltott volt a mesterséges intelligencia használata – ehhez képest a ChatGPT által írt válaszok 94%-át elfogadták, az átlagnál magasabb pontszámot értek el.
Mondhatjuk úgy is, hogy ez volt az egyetemi vizsgarendszer Turing-tesztje.
Mint ismert, Alan Turing angol matematikus a második világháború alatt a németek titkosító berendezését feltörte. Ő állította fel a Turing-teszt koncepcióját, ami arra hivatott, hogy egy adott gépezetről megállapítsa, képes-e olyan válaszokat adni, mint egy ember. Ez a mesterséges intelligencia hajnalán készült teszt abból áll, hogy a bíráló billentyűzet és monitor közvetítésével kérdéseket tesz fel a két tesztalanynak, akiket így se nem láthat, se nem hallhat. A két alany egyike valóban ember, míg a másik egy gép, és mindketten megpróbálják meggyőzni a kérdezőt arról, hogy ők gondolkodó emberek. Ha a kérdező öt perces faggatás után sem tudja egyértelműen megállapítani, hogy a két alany közül melyik a gép, akkor a gép sikerrel teljesítette a tesztet.
A szöveggeneráló mesterséges intelligencia, például a ChatGPT fejlesztésével számos plágium elleni eszközt fejlesztettek az MI által írt szövegek észlelésére. Kiderült, hogy az észlelő szoftverek nagyon gyengén teljesítenek: az OpenAI szép csendben meg is szüntette az AI Text Classifier szolgáltatását, aminek az lett volna a dolga, hogy észlelje az MI által generált szövegeket.
Ezért a Readingi Egyetem kutatócsoportja a ChatGPT által írt dolgozatok felderítésére embereket, nem pedig eszközöket vetett be. Egyszerűen titokban beadták a ChatGPT dolgozatait is a tanároknak egy nem létező diák nevében.
A kísérletet 2023 nyarán végezték, a dolgozatok pontozását elsősorban az egyetem munkatársai és doktoranduszok végezték.
Az alábbi grafikon a csalásként észlelt, a ChatGPT-vel létrehozott válaszok százalékát mutatja: a dolgozatok 94%-a átment a vizsgán anélkül, hogy bármilyen csalást észleltek volna.
A kísérlet eredményei alapján a kutatócsoport arra a következtetésre jutott, hogy „az MI válaszai következetesen jobbak, mint az emberek által adottak, és gyakorlatilag lehetetlen kiszűrni a mesterséges intelligencia által kreáltakat”. Rámutattak, hogy „a mesterséges intelligencia-alapú csalás ellen nem lehet másként védekezni, mint hogy visszatérnek a szóbelizéshez és elhagyják az írásbeli és az online vizsgákat”.
Digitália
- Segítség! Houston, idefent az agyunk nem működik jól
- Akkor most utáljuk a karácsonyi videót?
- „Kérlek, halj meg!” – mi is megkérdeztük, miért adott ilyen tanácsot a chatbot egy egyetemistának
- Hogyan műt ez a robot csupán videókból tanulva úgy, mint az emberi orvosok?
- Ki hinné? Az első tömeges virtuális találkozót 1916-ban tartották
