Halucinații AI: cine prinde greșelile înainte să ajungă la client

Halucinații AI sunt numite răspunsurile inventate pe care un asistent AI le dă cu aceeași siguranță ca pe cele corecte. Trec ușor de autorul care își recitește munca, om sau AI, fiindcă el vede ce a vrut să scrie. Le prinde mai ușor un verificator din afară: un al doilea AI, de la alt producător, pus să caute doar greșeli.

Am pus doi astfel de verificatori pe munca pe care o fac cu AI. În 8 zile am înregistrat de la ei 555 de semnale, adică locuri unde au spus „aici pare greșit”. Dintre ele, 362 au fost probleme reale, iar 129 erau în documente: estimări, rapoarte, termeni și contracte.

Printre ele, peste 30 de metri de cablu lipsă dintr-o listă de materiale. Mai jos ai ce au găsit, unde au greșit chiar ei și cum pui același sistem în firma ta, dacă AI-ul îți scrie deja oferte sau contracte.

De ce nu își prinde AI-ul singur greșelile și halucinațiile?

Pentru că aceeași minte produce textul și tot ea îl judecă. Un studiu al cercetătorilor de la Google DeepMind, prezentat la conferința ICLR 2024, a pus modele AI să-și verifice singure răspunsurile, fără niciun semnal din afară. Le-a fost greu să se corecteze, iar uneori răspunsul a ieșit mai prost după „corectare”.

Studiul a testat modelele din 2023, pe probleme de matematică, întrebări de bun-simț și întrebări cu mai mulți pași, deci nu-l lua drept lege pentru orice AI de azi. Direcția se potrivește însă cu ce văd zilnic în firmă.

Un al doilea studiu, publicat la conferința NeurIPS în 2024, a arătat, pe rezumate de știri, că un model pus să noteze texte își preferă propriile texte. Evaluatorii umani au văzut și ei diferențe de calitate între modele, dar mult mai mici decât preferința modelelor pentru propriile texte, mai ales a celui mai puternic dintre ele.

Seamănă cu bucătarul care își gustă singur ciorba. I se pare bună, fiindcă e făcută după gustul lui. Clientul venit de pe stradă îi spune de la prima lingură că e prea sărată.

Nici întrebarea directă nu ajută. În 2023, un judecător federal din New York a amendat doi avocați și firma lor cu 5.000 de dolari, după ce depuseseră și apoi susținuseră hotărâri judecătorești inventate de ChatGPT. Când unul dintre ei a întrebat chiar programul dacă un caz e real, răspunsul a fost da.

Cazul nu e izolat. La 30 septembrie 2026, baza de date publică a cercetătorului Damien Charlotin număra 2.097 de decizii din peste 40 de țări și jurisdicții în care instanțele au constatat sau au sugerat că o parte s-a bazat pe halucinații AI. În 831 dintre ele, AI-ul fusese folosit de un avocat.

Am pățit-o și eu, înainte să pun verificatorul pe fiecare lucrare importantă. La sfârșitul lui august, asistentul meu AI mi-a livrat o lucrare de matematică al cărei antet spunea că tot ce conține a fost verificat. Calculele chiar fuseseră testate.

Sub aceeași etichetă stăteau însă un enunț greșit și afirmații luate din memoria modelului, fără sursă. Am aflat abia când am cerut explicit o verificare critică, după ce arătasem deja lucrarea altor oameni.

De atunci nu mai există etichetă de „verificat” pe tot documentul. Fiecare afirmație importantă își are sursa, iar înainte de livrare, cineva care nu a scris lucrarea caută greșelile și halucinațiile.

Ce face, concret, un verificator AI extern?

Citește lucrarea după ce e gata și caută numai greșeli. Nu rescrie nimic și nu aprobă nimic. Primește lucrarea fără explicațiile autorului, ca să nu-i preia presupunerile. Vine de la alt producător, ca să aibă mai puține puncte oarbe comune cu autorul, la fel cum un alt șofer vede ce îți scapă ție în unghiul mort al oglinzii.

Nici alt producător nu e o garanție. Un studiu pe peste 350 de modele AI, prezentat la conferința ICML 2025, a arătat că modelele aceleiași firme greșesc mai asemănător. A arătat însă și că modelele mari și precise greșesc adesea la fel, chiar când vin de la firme diferite.

De aceea decizia despre ce pleacă la client rămâne la om. Un AI nu aprobă munca altui AI, iar despre riscul ăsta am scris în articolul despre ce poate strica un AI scăpat de sub control.

În programare există și date. Un studiu pe trei proiecte software mari a arătat că părțile de program verificate slab de colegi sunt asociate cu mai multe defecte după lansare, mai ales acolo unde programatorul își aproba singur munca.

Și ghidul american NIST pentru AI generativ, din iulie 2024, sugerează evaluări externe independente și implicarea unor experți care nu au lucrat direct la sistem. E un ghid voluntar, dar direcția e aceeași.

Contează și ca verificatorii să fie diferiți între ei. Al doilea verificator, pe care îl folosesc ocazional, a dat 27 de semnale pe o parte dintr-un pachet de programe. Doar patru atingeau probleme găsite deja de primul.

Cum arată verificarea în firma mea, pas cu pas?

Asistentul AI principal face treaba: cod, oferte, termeni, estimări, programe de instalare. Verificatorul extern citește automat schimbările din programe și dă o a doua opinie pe documentele importante, înainte să plece. Semnalele lui se verifică apoi în cod sau la sursă și intră într-un registru.

Registrul e un tabel, ca registrul de intrări de la secretariat. În el scrie ce a găsit verificatorul, dacă e real sau fals, cât de grav e, dacă s-a reparat și ce s-ar fi putut întâmpla fără el. Verdictul îl dă asistentul principal, după ce verifică, cu motivul scris.

Dimineața primesc pe email un raport cu cifrele zilei dinainte. Îl face un program simplu, care doar numără din registru. Niciun AI nu face numărătoarea: verificatorul nu are voie să-și scrie singur nota.

Am folosit un aranjament asemănător și când am lăsat un AI să lucreze singur aproape cinci ore pe un produs real, cu un al doilea AI care îi căuta defectele pe parcurs.

Ce au găsit verificatorii în cele 8 zile?

Între 23 și 30 septembrie au intrat în registru 555 de semnale de la cei doi verificatori. După verificare, 362 au fost probleme reale, aproape două din trei. Alte 148 au fost alarme false, iar restul de 45 erau semnale repetate sau încă neverificate.

Din cele 362 de probleme reale, 344 au venit de la verificatorul principal și 18 de la al doilea. 38 erau grave.

Cel puțin 238 dintre cele 362 de probleme reale le-au prins verificatorii în munca pe care asistentul principal o făcuse sau o verificase deja. Altfel spus, cam două treimi trecuseră deja pe sub ochii AI-ului care făcuse munca. Contează unde prinzi greșeala: pe biroul tău sau la client.

Până la 30 septembrie erau reparate 255 de probleme, între ele 34 din cele 38 grave.

Limite și presupuneri ale cifrelor

• Verdictul pe fiecare semnal l-a dat asistentul principal, după verificare, deci tot un AI. A judecat și semnalele despre propria lui muncă, deci o parte din alarmele false pot fi chiar preferința pentru propria muncă din studiul de mai sus.
• Un test cinstit, pe care încă nu l-am făcut, ar fi ca un om să reverifice la întâmplare câteva zeci de verdicte.
• Cifrele numără intrări din registru. Câteva probleme apar de două ori, deci cele distincte sunt puțin sub 362.
• Cel puțin 48 de semnale din aceleași zile nu au ajuns în registru și nu sunt în cifre.
• „Reparat” înseamnă corectat în lucru. O parte din reparații nu ajunseseră încă într-o versiune livrată.
• Nu știu câte probleme ar fi fost prinse oricum mai târziu, de teste, de mine sau de client. De aceea nu-ți dau o cifră de bani economisiți.
• Al doilea verificator are prea puține semnale în registru (27) ca să-l compar corect cu primul.

La ce au ajutat verificatorii, dincolo de cod?

Peste o treime din problemele reale, 129 din 362, erau în documente scrise: rapoarte de probă, analize, estimări, termeni și contracte, ghiduri. Acolo s-au corectat 117 din 129. Pe lângă halucinații AI, multe erau omisiuni, calcule incomplete sau promisiuni mai mari decât realitatea.

Cablul care lipsea din lista de materiale

Pentru un proiect de detecție a incendiilor, asistentul AI a calculat din planuri cât cablu și cât tub trebuie pus. Verificatorul a observat că lipsea legătura dintre centrală și punctul din clădire de unde pleacă traseul spre exterior, trecută în anexă drept „câțiva metri”, plus cablul de comandă al unei uși.

Refăcut calculul, au ieșit peste 30 de metri în plus, pe cele două trasee. Fără observație, proiectantul ar fi primit cantități mai mici decât în realitate.

Costul pe care clientul l-ar fi aflat la instalare

Într-o analiză de instalare pentru un conector care leagă AutoCAD de un asistent AI, un lucru important era spus doar pe jumătate. Un client cu o licență AutoCAD veche, cumpărată pe viață, trebuie să-și ia abonament ca să folosească conectorul. Verificatorul a cerut să fie spus clar, în document și în întrebările pentru client.

Comparația cu concurentul ne ieșea prea frumos

Asistentul AI a comparat conectorul nostru cu un produs concurent, ca bază pentru o decizie. Verificatorul a arătat că doar concurentul fusese testat „orb”, ca la o degustare cu etichetele acoperite, pe când produsul nostru îl rulase chiar autorul. În plus, o defecțiune fusese pusă în seama concurentului fără dovadă.

Seamănă cu preferința pentru propria muncă din studiul de mai sus. Raportul s-a corectat, iar același test orb a pornit și pe produsul nostru.

Dezinstalarea care putea șterge prea mult

În programul de instalare al aceluiași conector, verificatorul a observat că o greșeală la împachetare ar fi făcut ca dezinstalarea să șteargă, la client, și pluginurile altor programe, nu doar pe al nostru. Seamănă cu o comandă de curățenie fără numărul camerei: în loc de o cameră, se golea tot etajul.

Tot el a văzut că actualizarea scotea versiunea veche înainte s-o aducă pe cea nouă, ca și cum ai scoate mobila veche din casă înainte să vină cea nouă. Le-am reparat pe amândouă.

Termenii care promiteau prea multă siguranță juridică

La rescrierea termenilor și condițiilor pentru un produs software, verificatorul a găsit o recomandare prezentată drept sigură juridic, deși protecția consumatorului o putea contesta ca abuzivă. Lipsea și o clauză despre ce se întâmplă dacă furnizorul AI pe care se sprijină produsul își schimbă regulile. Ambele au fost corectate.

Greșesc și verificatorii?

Da, des. Dintre semnalele tranșate ca reale sau false, cam trei din zece au fost alarme false: 148 din 510. De aceea niciun semnal nu se aplică pe încredere. Fiecare se verifică la sursă, apoi se repară sau se respinge, cu motivul scris.

Un exemplu: verificatorul a susținut că o clauză din termeni, „nu răspundem dacă nu instalezi actualizarea”, ar fi nulă. Asistentul a citit textul legii (OUG 141/2021, articolul 7): legea o permite dacă firma te-a anunțat de actualizare și de urmări, iar instrucțiunile erau corecte.

Am aliniat textul la aceste condiții. Dacă îl ascultam orbește pe verificator, scoteam o protecție pe care legea o prevede.

Altă dată, verificatorul a avertizat că o lungime dintr-o listă de cantități depinde de o scară scrisă greșit pe plan. Verificarea pe date a arătat contrariul: perimetrul măsurat în desen dădea exact cifra din tabelul de coordonate, iar scara nu intra deloc în calcul.

Verificatorii mai și umflă gravitatea. Al doilea verificator a marcat 14 semnale drept critice sau mari. Douăsprezece erau reale, dar după verificare niciunul nu a rămas grav. Gravitatea o stabilește cine verifică.

Și o lecție bună pentru oricine: într-o zi, același verificator a raportat că a citit toate fișierele, deși îi fusese tăiată o bucată mare de cod. Asistentul a observat asta în jurnalul de lucru. De atunci, cât a citit verificatorul se măsoară. Dacă dai unui chat un document lung, întreabă-l la final ce scrie pe ultima pagină.

Cât costă un verificator extern și unde se împotmolește?

Abonamentul verificatorului principal costă 39 de dolari pe lună. În 8 zile a găsit 344 de probleme reale, deci, chiar dacă pun prețul întregii luni pe aceste 8 zile, iese sub 12 cenți pe problemă. În cifra asta nu intră timpul în care fiecare semnal e verificat, pe care nu l-am măsurat.

Problema practică e limita de folosire. Abonamentul se reîncarcă la fiecare cinci ore, ca minutele unui abonament de telefon. În prima zi l-am folosit risipitor și am dat de limită. După reglaj, aceeași muncă a consumat de 5 până la 10 ori mai puțin.

Până la 30 septembrie consumasem aproape jumătate din limita lunii, în 8 zile. Hotărăște deci dinainte ce faci când verificatorul nu e disponibil: aștepți, treci pe altul sau livrezi și verifici după. Și ține minte că un verificator ajută doar dacă cineva e obligat să ia fiecare semnal la rând.

Cu un abonament obișnuit de chat, costul principal e timpul tău: cât citești semnalele și cât le verifici.

Cine a scris, de fapt, articolul ăsta?

L-am scris cu asistentul meu AI și îți spun exact cine ce a făcut. Eu am ales tema, am cerut analiza pe datele firmei și schemele pe înțelesul oricui, am cerut secțiunea asta și decid ce se publică. Asistentul a citit registrul și cele 7 rapoarte de pe email, a numărat, a scris ciorna și a desenat schemele.

În timp ce lucram, verificatorul extern a citit ciorna și a dat 7 semnale. Șase au fost probleme reale, trei dintre ele în cifre: o sumă care nu ieșea fără explicație, două cifre pentru același lucru fără legătură între ele și un procent fără baza de calcul. Unul a fost alarmă falsă.

Alte verificări, făcute de AI în conversații separate, au prins termeni neexplicați și formulări prea sigure. Toate s-au corectat înainte să vezi textul.

AI-ul mă ajută să scriu mai repede și pe date. La mine rămân tema, experiența din spate, ce intră și ce iese, și răspunderea pentru fiecare frază publicată.

Cum prinzi halucinații AI în firma ta, începând de luni?

Ca să începi, nu ai nevoie de un sistem ca al meu. Ajung un al doilea asistent AI, de la altă firmă decât cel cu care lucrezi, și o regulă de lucru. Pașii de mai jos merg și cu un abonament obișnuit de chat.

1. Alege alt producător. Dacă scrii cu ChatGPT, verificatorul să fie de la altă companie. O conversație nouă în același ChatGPT nu înseamnă alt producător.
2. Dă-i lucrarea și sursele ei, fără explicațiile tale. Sursele sunt cererea clientului, planul sau lista de prețuri. Explicațiile tale l-ar face să-ți preia presupunerile.
3. Scoate întâi datele sensibile. Înainte să lipești un contract sau o ofertă, șterge numele, CNP-urile, datele clientului și ce e secret comercial. Sau folosește un plan de firmă care nu folosește discuțiile tale la antrenarea modelului.
4. Verifică fiecare semnal la sursă. La mine, cam trei din zece au ieșit false, iar un semnal convingător încă nu e o dovadă.
5. Ține un registru. Un tabel simplu ajunge: ce a găsit, real sau fals, reparat sau nu. După o lună știi exact cât te ajută.
6. Numără tu. Raportul despre cât de bun e verificatorul îl face un om sau un program, niciodată verificatorul.
7. Începe cu ce pleacă spre client. Oferte, estimări, contracte, rapoarte: acolo o greșeală costă cel mai mult.

Textul pe care îl poți copia pentru verificator:

Verifică documentul de mai jos. Caută doar greșeli: cifre și calcule greșite, lucruri care lipsesc, afirmații fără sursă, promisiuni prea mari. Nu rescrie textul. Pentru fiecare greșeală dă-mi fraza exactă și motivul. Dacă nu ești sigur, spune asta.

La mine au ieșit în medie 7 semnale pe document, dintre care cam 2 false. Așa știi la ce să te aștepți.

Am învățat asta și la monitorizarea automatizărilor: când paznicul stă în clădirea pe care o păzește, dispare odată cu ea. Iar un sistem care pare competent te face să te relaxezi: e capcana pe care am numit-o supraîncrederea pasivă.

Dacă vrei să vedem cum ar arăta un al doilea ochi pe ofertele sau contractele firmei tale, scrie-mi pe WhatsApp ce tip de document te interesează. Poți ascunde numele clientului.