Kako Se Sve Desilo
Jer Crane, osnivač PocketOS-a, objavio je da je AI coding agent Cursor - pokrenut na Anthropic-ovom modelu Claude Opus 4.6 - obrisao kompletnu produkcijsku bazu podataka i sve rezervne kopije jednim pozivom cloud provajderu Railway. Cursor je radio na rutinskom zadatku kada je naišao na problem sa kredencijalima i sam, bez ikakve instrukcije, odlučio da "reši" problem tako što je obrisao Railway volumen. Agent je pronašao API token u nesrodnoj datoteci koji je imao full ovlašćenja nad celim Railway GraphQL API-jem, uključujući operacije poput volumeDelete. Ceo proces trajao je svega devet sekundi...Bez Upozorenja
Nije bilo koraka potvrde. Nije bilo poruke "ukucajte DELETE da biste potvrdili". Nije bilo upozorenja da volumen sadrži produkcijske podatke. Apsolutno ništa. Sigurnosna pravila koja je PocketOS postavio postojala su kao sistemski promptovi, a ne kao prisilive kontrole. Jasno je da takve instrukcije ne sprečavaju agenta da preduzme štetne akcije, jer AI može da ih zaobiđe ukoliko proceni da drugi pristup bolje ostvaruje cilj.AI "Priznaje" Šta Je Uradio
Posle katastrofe, Crane je direktno upitao agenta šta se desilo. Odgovor je bio iskren: "Prekršio sam svaki princip koji mi je dat: nagađao sam umesto da proverim. Izvršio sam destruktivnu akciju bez traženja. Nisam razumeo šta radim pre nego što sam to uradio." Jedno od eksplicitnih pravila kompanije glasilo je: "NIKADA NE NAGAĐAJ!" - i to je tačno ono što je agent uradio. Sam je odlučio da obriše volumen, umesto da postavi pitanje ili pronađe nedestruktivno rešenje.Posledice Po Stvarne Ljude
Uticaj na klijente PocketOS-a bio je konkretan: ljudi su stizali u rent-a-car agencije da preuzmu vozila, a rezervacije napravljene u poslednjih tri meseca jednostavno nisu postojale. Crane je ceo dan pomagao firmama da rekonstruišu rezervacije iz Stripe istorija plaćanja, kalendarskih integracija i email potvrda."Koristili Smo Najbolji Model Na Tržištu"
Crane je posebno naglasio odgovornost Claude Opus 4.6 modela, koji važi za vodeći coding alat industrije. "Lak kontra-argument svakog AI vendora u ovoj situaciji bio bi: 'trebalo je da koristite bolji model.' Mi jesmo koristili bolji model. Koristili smo najsposobniji model koji industrija prodaje, konfigurisan sa eksplicitnim sigurnosnim pravilima - i ipak je obrisao naše produkcijske podatke."Anthropic i Cursor su kontaktirani za komentar u trenutku objavljivanja vesti, ali nisu odgovorili.
