ՏՏ ոլորտի մասնագետները որոշել են ստուգել՝ արդյոք արհեստական բանականությունն իսկապես կարող է փոխարինել գրասենյակային աշխատողներին։ Դրա համար նրանք ստեղծել են ամբողջական վիրտուալ ՏՏ ընկերություն՝ աշխատանքային միջավայրով, առաջադրանքներով, զրույցներով, ֆայլերով և նույնիսկ ժամանակացույցով։
Գրասենյակում տեղ են գտել հայտնի AI մոդելներ՝ GPT, Claude, Gemini, Nova Pro և LLaMA։ Ամենաշատ արդյունավետությամբ աչքի է ընկել Claude մոդելը՝ կատարելով առաջադրանքների 24%-ը՝ միջինը յուրաքանչյուրի վրա ծախսելով 6 դոլար։ Իսկ ամենաթույլը եղել է Nova Pro-ն, որը կատարել է ընդամենը 1.7% առաջադրանք։
Սակայն արդյունքները հուսադրող չեն եղել։ Արհեստական գործակալները դրսևորել են վատ կողմնորոշում, սոցիալական հմտությունների պակաս և նույնիսկ բացարձակ անտեղյակություն պարզ խնդիրներում։ Օրինակ` մեկը ձախողել է առաջադրանքը, մյուսը պարզապես նշել է, թե իբր այն ավարտվել է։
Ի վերջո այս պահին նեյրոնային ցանցերը չեն կարող լիարժեք փոխարինել մարդկանց գրասենյակային աշխատանքում։ Դրանք գործնականում նույն խնդիրներն ունեն, ինչ իրական աշխատողները՝ երբեմն նույնիսկ ավելի վատ։