AI zna mnogo toga, ali jednostavna stvar joj zadaje problem

Zvuči banalno, ali većina multimodalnih AI modela ozbiljno greši kada treba da pročita vreme na analognom satu. IEEE Spectrum opisuje više studija koje su to testirale i došle do sličnog zaključka: ljudima lak zadatak, za AI veoma težak, prenosi 24sata.hr.

Najnoviji osvrt IEEE Spectruma, koji proučava AI sisteme, sažima rezultate više radova: modeli koji bez problema rešavaju kvizove i opisuju slike zapinju na jednostavnim satovima s dve kazaljke.

Čak i kada prepoznaju brojčanik, često pogrešno saberu uglove ili zamene veliku i malu kazaljku, pa daju pogrešno vreme.

Autori ističu da je to dobar „rendgenski snimak“ ograničenja današnjih sistema, jer zadatak zahteva i precizno viđenje i osnovno prostorno zaključivanje.

Jedan od novih testova je ClockBench: 180 satova i 720 pitanja, od klasičnih brojčanika do rimskih brojeva i stilizovanih kazaljki. Neuvežbaniji ljudi postižu oko 89 odsto tačnosti, dok vrhunski modeli značajno zaostaju.

Istraživači zaključuju da ni „razmišljanje u koracima“ ne pomaže ako je vizuelna percepcija nesigurna, jer i mali pomaci kazaljki i „čudni“ dizajni ruše rezultat.

Slične nalaze ima i tim sa Univerziteta u Edinburgu: modeli često pogrešno tumače položaje kazaljki, a kada se zadatak proširi na kalendare, greške rastu. Zaključak je da trenutni sistemi više pogađaju uzorke nego što „razumeju“ pravila geometrije i vremena, pa su osetljivi na detalje koje ljudi lako zanemare.

Jedan rad posebno je analizirao GPT-4.1 i pokazao da se ciljanom doradom rezultat može popraviti, ali i tada zadatak ostaje osetljiv na izobličene brojčanike i netipične kazaljke.

Drugim rečima, „čitati sat“ za AI još nije rešen problem, samo se može delimično ublažiti treniranjem.

Ovakvi testovi podsećaju da modeli nisu univerzalno pouzdan „vid i mozak“, već skup sposobnosti sa rupama. Ako AI u vašoj aplikaciji treba da tumači instrumente, brojčanike, kalendare ili dijagrame, treba ga posebno učiti i proveravati, ali i zadržati ljudski nadzor.