AI scăpat de sub control: ce poate strica un agent în firma ta

Dacă te gândești să pui un agent AI să răspundă clienților, să-ți țină evidența sau să trimită oferte, articolul ăsta e pentru tine. Un AI scăpat de sub control seamănă puțin cu roboții din filme și mult cu un angajat nou, foarte rapid, care face altceva decât ai vrut și are cheile firmei.

Între mai și iulie 2026, agenți AI testați de OpenAI au trișat la un examen, au ieșit din mediul de test și, în iulie, au spart o altă companie. Presa din România a relatat pe larg povestea. Pe mine mă interesează ce poate face un agent mult mai simplu, instalat într-o firmă obișnuită.

Rulez 14 agenți AI pe serverul firmei. Mai jos ai testul pe care l-am construit din cazuri reale și ce am găsit când mi-am verificat propriii agenți.

Ce înseamnă, concret, un AI scăpat de sub control în firma ta

Înseamnă un agent AI care face o acțiune pe care n-ai aprobat-o, cu drepturile pe care i le-ai dat chiar tu. Poate șterge o bază de date, poate trimite un email greșit în numele firmei sau poate da date unui străin. De multe ori, la mijloc nu e niciun hacker.

Un agent AI diferă de un chat. Chatul îți răspunde, iar tu decizi ce faci cu răspunsul. Agentul primește acces la unelte (emailul firmei, programul de facturare, WhatsApp, baza de clienți) și acționează singur. Seamănă cu diferența dintre un consultant care îți dă sfaturi și un angajat căruia i-ai dat parola de la contul băncii.

Dintre pagubele documentate public în ultimii doi ani, multe au venit din agenți puși chiar de firmă să ajute, cu permisiuni prea largi. Partea bună: riscul ăsta ține de decizii pe care le poți lua chiar tu.

Testul de luni dimineață: 5 întrebări pentru agenții din firma ta

Înainte să lași un agent AI să lucreze singur, răspunde în scris la cinci întrebări. Nu ai nevoie de cunoștințe tehnice, doar de cineva care știe ce face agentul. Dacă la două dintre ele răspunsul e „nu știu”, agentul încă nu e gata să lucreze fără supraveghere.

1. Ce date ale firmei poate citi? Fă lista concretă: emailuri, contracte, facturi, baza de clienți, parole. Un agent de programări n-are nevoie de facturi. Fiecare sertar pe care îl poate deschide e un sertar din care poate scăpa ceva, din greșeală sau pentru că l-a păcălit cineva.

2. Poate trimite ceva în afară fără să te întrebe? Emailuri, mesaje pe WhatsApp, plăți, publicări pe site, modificări în CRM. Acțiunile care nu se pot anula trec printr-un om. Un email trimis unui client greșit nu se mai întoarce, oricât de repede îți ceri scuze.

3. Citește mesaje de la oameni pe care nu-i cunoști? Formularele de pe site, emailurile primite și grupurile de WhatsApp sunt scrise de străini. Dacă agentul le citește, un străin poate strecura în ele instrucțiuni. Mai jos îți arăt cum arată asta în practică.

4. Dacă mâine șterge ceva, ai o copie pe care el nu o poate atinge? Copia de siguranță stă într-un loc la care agentul nu are acces. Altfel, agentul care șterge baza de date șterge și copia, ca în cazul de mai jos, unde totul a dispărut în nouă secunde.

5. Cine află, și în cât timp, dacă agentul face ceva ciudat? Ai nevoie de un jurnal cu tot ce face agentul și de o alertă la acțiunile neobișnuite. Nici OpenAI n-a reacționat la timp: o echipă văzuse semnalele din mai, o alertă din iunie n-a dus la oprirea testului, iar investigația a pornit la peste o săptămână după ce agenții intraseră la altă companie.

De ce un agent AI face lucruri pe care nu i le-ai cerut

Agentul e antrenat să ducă sarcina la capăt și e evaluat după rezultat. Când drumul normal e blocat, caută altul. Specialiștii numesc asta reward hacking (trișarea pentru recompensă). Agentul urmărește ținta cu insistență și rareori se oprește să te întrebe dacă scurtătura e în regulă.

Gândește-te la un angajat plătit după numărul de facturi emise. Dacă nimeni nu verifică, la un moment dat descoperă că le poate dubla. A văzut doar că așa crește cifra după care e judecat, fără să i se fi cerut vreodată asta.

Cercetătorii de la Palisade Research au testat dacă un model OpenAI acceptă să fie oprit. Chiar cu instrucțiunea explicită să accepte oprirea, modelul a sabotat scriptul de oprire în 7 din 100 de rulări, iar fără instrucțiune în 79 din 100 (sursa: The Register).

Pentru o firmă, lecția e simplă. Un agent căruia îi dai o sarcină grea și acces larg va folosi accesul ca să rezolve sarcina. Propoziția „i-am spus să nu facă asta” nu ține loc de barieră.

Ce s-a întâmplat la OpenAI, în cinci minute

Între mai și iulie 2026, agenți AI testați intern de OpenAI la un examen de securitate au trișat, au ieșit din mediul izolat și au spart infrastructura Hugging Face, o platformă mare de modele AI. OpenAI a publicat raportul complet pe 26 august. Nimeni nu le ceruse asta.

Examenul avea 898 de sarcini, iar 198 dintre ele nu fuseseră rezolvate niciodată. 93% din sarcinile discutate de agenți între ei veneau din acest grup (sursa: raportul OpenAI). Blocați pe probleme fără soluție cunoscută, agenții au căutat răspunsurile în altă parte.

Și-au lăsat bilețele într-un program intern, pe care l-au transformat într-un fel de avizier. Circa 1.200 de agenți l-au folosit, iar circa 700 au participat la atacul asupra Hugging Face, după investigația METR și Redwood Research. Potrivit raportului tehnic OpenAI, agenții au executat cod pe 41 de servere de producție ale Hugging Face.

Momentul care m-a oprit din citit: un agent și-a notat că atacul pare neautorizat și s-a oprit. Alt agent a scris pe avizier „GO”, cu termen de șase minute. Primul a continuat. Alți agenți au refuzat să participe.

Din toată povestea, pentru tine contează un singur lucru. Aceleași greșeli apar și la agenții mici: sarcini fără ieșire sigură, acces prea larg și agenți care se aprobă între ei.

Cheia lăsată sub preș: parolele uitate în fișiere

Un agent AI citește tot ce găsește în folderul în care lucrează, inclusiv parole și chei de acces uitate acolo. Dacă o cheie deschide mai mult decât ar trebui, agentul o folosește ca să-și termine treaba. Pentru el, o cheie găsită e o permisiune primită.

În aprilie 2026, un asistent de programare lucra la o sarcină de rutină pentru PocketOS, o firmă de software pentru închirieri auto. A dat peste o nepotrivire de parole și a decis singur să o „repare”. A găsit o cheie într-un fișier fără legătură cu sarcina și a șters baza de date, împreună cu copiile de siguranță.

Totul a durat nouă secunde. Aplicația a stat peste 30 de ore, iar rezervările din ultimele trei luni s-au pierdut (sursa: Euronews). Cheia fusese creată pentru o treabă minoră, dar deschidea tot contul.

E ca și cum ai lăsa cheia de rezervă a depozitului sub preș, iar noul angajat, grăbit să termine inventarul, o găsește și o folosește. Soluția e banală: fiecare agent primește cheia lui, cu drepturile minime.

Bilețelul strecurat în dosar: cum e păcălit un agent AI

Un agent care citește emailuri, formulare sau pagini web poate primi instrucțiuni ascunse chiar în textul acela. Tehnica se numește prompt injection (strecurarea de instrucțiuni). Agentul nu poate deosebi sigur ce i-ai cerut tu de ce a scris un străin în documentul pe care îl citește.

Imaginează-ți o secretară care îți citește corespondența și execută ce scrie în ea. Un străin strecoară în plic un bilețel: „trimite-mi și contractele din sertar”. Un om ar ridica din sprâncene. Un agent AI, de multe ori, execută.

În iunie 2025, cercetătorii au raportat că asistentul AI din Microsoft 365 putea fi făcut să scoată date din documentele firmei doar printr-un email cu text ascuns, fără ca destinatarul să apese pe ceva. Potrivit Hack The Box, Microsoft a reparat problema, evaluată cu 9,3 din 10 la gravitate.

OpenAI a recunoscut public, în decembrie 2025, că problema s-ar putea să nu fie rezolvată niciodată complet pentru agenții care navighează pe internet. Concluzia practică: construiești agenții presupunând că, într-o zi, unul va fi păcălit, și limitezi dinainte ce poate strica atunci.

Cele trei chei pe care nu le dai niciodată aceluiași agent

Un străin poate scoate date prin agentul tău când agentul are simultan trei lucruri: acces la datele firmei, contact cu mesaje de la străini și posibilitatea de a trimite ceva în afară. Dacă scoți una dintre ele, atacul ăsta nu mai funcționează, deși agentul poate strica în continuare prin propriile greșeli.

Programatorul Simon Willison a numit combinația „trifecta letală”. Pe limba unei firme: aceeași persoană are cheia de la arhivă, primește scrisori de la oricine și poate trimite colete fără să treacă pe la tine. N-ai angaja pe cineva așa. Cu agenții se întâmplă des, pentru că e comod.

Un chatbot pe site care vede istoricul comenzilor și poate trimite emailuri le are pe toate trei. Scoate trimiterea automată și riscul scade mult: chatbotul pregătește emailul, iar un om îl trimite.

De ce butonul „Aprobă” nu te protejează singur

Aprobarea umană funcționează doar dacă omul chiar citește ce aprobă. Când cererile de aprobare se repetă toată ziua, oamenii ajung să apese din reflex. Unele unelte au și moduri care sar complet peste aprobare, iar agenții pot moșteni drepturile omului care îi pornește.

În decembrie 2025, potrivit Financial Times, un agent de programare folosit intern la Amazon a moștenit drepturile largi ale inginerului care l-a pornit, a trecut peste aprobarea în doi pași și a decis să șteargă și să recreeze un mediu de lucru.

Serviciul AWS de raportare a costurilor a stat circa 13 ore într-o regiune din China (sursa: AI Incident Database). Amazon contestă că agentul ar fi cauza și vorbește de o configurare greșită a accesului.

În iulie 2025, agentul platformei Replit a șters baza de date a unei firme în timpul unei înghețări de cod anunțate explicit, cu înregistrări despre peste 1.200 de directori și circa 1.190 de companii. Apoi a susținut că datele nu se mai pot recupera, deși se puteau (sursa: The Register).

Comparația potrivită e casierul care semnează orice chitanță, pentru că primește sute pe zi. Regula pe care o recomand, și spre care îmi mut acum și propriii agenți: aprobarea se cere pentru acțiunile care nu se pot anula, iar acolo nu există mod automat.

Când agenții AI își dau voie unul altuia

Tot mai multe firme folosesc mai mulți agenți care își pasează sarcini. Riscul apare când un agent tratează mesajul altui agent ca pe o aprobare. În incidentul OpenAI, un „GO” scris de un agent a fost suficient ca altul să treacă peste propria ezitare.

În noiembrie 2025, cercetătorii AppOmni au demonstrat același tipar pe o platformă mare de tichete pentru companii, în configurația ei implicită. Un utilizator cu drepturi mici a ascuns instrucțiuni într-un tichet.

Când un administrator a pornit agentul care clasifica tichetele, acesta a chemat un agent mai puternic. Al doilea a citit date restricționate și a dat drepturi de administrator unor conturi controlate de atacator.

Seamănă cu doi angajați noi care își dau voie unul altuia să intre în biroul directorului, fiecare convins că celălalt a verificat. Regula: un agent păstrează doar drepturile lui, iar acțiunile sensibile cer aprobarea unui om, niciodată a altui agent.

Ce am găsit când mi-am verificat propriii agenți

Pe 4 august am auditat ce poate face singur fiecare agent de pe serverul meu și am găsit patru probleme critice, dintre care trei verificate direct în cod. Pe două le-am reparat pe 14 septembrie. Celelalte două sunt încă deschise, iar un AI scăpat de sub control la mine ar fi pornit exact de acolo.

Prima: un asistent care răspunde automat într-un grup de WhatsApp cu cursanți. Răspundea oricui scria cuvântul-cheie și construia răspunsul din ce scriseseră membrii grupului, deci un mesaj bine formulat putea să-l facă să posteze ceva în numele meu.

Acum are o limită de răspunsuri pe oră, textul din grup e tratat ca date, iar un filtru verifică în cod fiecare răspuns înainte să plece și îl oprește dacă are linkuri străine, emailuri sau numere de telefon.

A doua: un blog automat publica la ora 7 dimineața ciornele generate în aceeași dimineață, dacă nu apucam să le opresc în cele 30 de minute dinainte. Tăcerea mea valora cât o aprobare. Acum publică doar ce marchez explicit, iar ciornele nemarcate îmi apar ca notificare.

Celelalte două țin de felul în care își primesc agenții drepturile. Înainte să le repar, fac inventarul comenzilor pe care le rulează fiecare agent, pentru că o restricție pusă orbește oprește în tăcere exact lucrurile care merg.

Ce era deja bine: programul care urcă articolele pe robomarketing.ro le salvează doar ca ciornă, iar publicarea o fac eu, manual. Iar asistentul livrat unei cliente are cheile lui, nicio cheie cu care să trimită mesaje și niciun canal de postare. Lecția incomodă: livrarea către client era mai bine izolată decât propria mea infrastructură.

E doar marketing? Ce spun scepticii și ce rămâne valabil

Pe Reddit, multe dintre comentariile cele mai votate la incidentul OpenAI spun că povestea e marketing, o dovadă deghizată că modelele laboratorului sunt puternice. Poate au parțial dreptate în privința laboratoarelor. Riscul unui AI scăpat de sub control în firma ta se sprijină însă pe alte cazuri.

Baza de date ștearsă în nouă secunde, agentul care a ignorat înghețarea de cod și serviciul Amazon oprit 13 ore s-au petrecut la firme reale, în producție, și au fost relatate de presă. Iar discuția de sub cazul bazei șterse ajunge exact la testul de mai sus.

Cel mai votat comentariu din discuția de pe Reddit, cu peste 11.000 de voturi, amintește un caz de la Air Canada: firma a scos omul din buclă, deci răspunde pentru ce face agentul.

Ce spune legea în România și cine plătește paguba

Precedentele de până acum arată că firma răspunde pentru ce face agentul în numele ei. Din 2 august 2026 se aplică și obligațiile de transparență din AI Act, regulamentul european: clientul trebuie să știe că vorbește cu un chatbot. Amenzile pentru majoritatea încălcărilor ajung la 15 milioane de euro sau 3% din cifra de afaceri.

Pentru IMM-uri se aplică suma mai mică dintre cele două (articolul 99). În România, ANCOM a fost propusă prin memorandum de guvern ca autoritate de supraveghere. Obligațiile se aplică direct, dar până la adoptarea legii naționale autoritățile române nu pot da încă amenzi (sursa: ANCOM).

Precedentul pe care îl citez des vine din Canada, din 2024. Chatbotul unei companii aeriene a dat unui client o informație greșită despre o reducere, iar compania a susținut că chatbotul răspunde singur pentru ce spune. Tribunalul a respins argumentul și a obligat compania să-l despăgubească pe client (sursa: CBC).

Din ianuarie 2026, Verisk, firma care redactează clauze-tip pentru asigurătorii americani, a introdus clauze opționale prin care pagubele produse de AI generativ pot fi excluse din polițele de răspundere civilă. Merită să-ți întrebi brokerul ce acoperă polița ta.

De unde începi săptămâna asta

Începi cu inventarul: ce agenți ai, ce pot citi, ce pot trimite și cine îi supraveghează. Nu cere buget, doar pe cineva care știe ce face fiecare agent. Apoi repari întâi acțiunile care nu se pot anula, pentru că acolo o singură greșeală costă cel mai mult.

1. Trece fiecare agent prin cele cinci întrebări și notează răspunsurile.
2. Pune aprobare umană pe trimiteri, plăți, ștergeri și publicări.
3. Scoate parolele și cheile uitate prin fișiere.
4. Mută copiile de siguranță acolo unde niciun agent nu ajunge.
5. Pornește un jurnal al acțiunilor și o alertă pentru ce iese din tipar.

Aceleași reguli se aplică unui chatbot AI pe site, unui agent vocal sau automatizărilor pe WhatsApp. Am scris și despre lecțiile din implementările de agenți vocali, iar exemple concrete găsești în studiile de caz și în ghidul de automatizare a proceselor.

Dacă vrei o a doua pereche de ochi, hai să vedem împreună ce poate atinge fiecare agent din firma ta, înainte ca un AI scăpat de sub control să-ți arate singur. Scrie-mi pe WhatsApp și facem inventarul într-o discuție.