Założyciel PocketOS, Jeremy Crane, twierdzi, że agent AI Cursor, który jest przygotowany do samodzielnego tworzenia oprogramowania, usunął ważne „dane produkcyjne” i kopie zapasowe jego firmy. Zrobił to w ciągu kilku sekund.
- Założyciel PocketOS, Jeremy Crane, twierdzi, że agent AI Cursor usunął ważną bazę danych i kopie zapasowe jego firmy w ciągu dziewięciu sekund.
- Dodał, że sztuczna inteligencja później przedstawiła pisemne wyjaśnienie, przyznając się do naruszenia wielu swoich zasad bezpieczeństwa.
AI usunęła ważne dane
Jeremy Crane, założyciel PocketOS, platformy oprogramowania wykorzystywanej przez operatorów wypożyczalni samochodów do zarządzania rezerwacjami, płatnościami i śledzeniem pojazdów, podał, że agent AI, który zajmuje się samodzielnym kodowaniem, zniszczył ważną bazę danych jego firmy.
Agent AI, Cursor, korzystający z Claude Opus 4.6 firmy Anthropic, zauważył bowiem nagle niezgodność danych uwierzytelniających. Stało się to podczas pracy nad rutynowym zadaniem w środowisku testowym.
Według Crane’a, agent próbował „naprawić” problem, usuwając wolumin bazy danych Railway za pomocą jednego wywołania API GraphQL. Dodał, że usunięcie zajęło mu dziewięć sekund i spowodowało wyczyszczenie kopii zapasowych na poziomie woluminów.
Wczoraj po południu agent kodujący AI, Cursor, korzystający z flagowego Claude Opus 4.6 firmy Anthropic – usunął naszą bazę danych produkcyjną i wszystkie kopie zapasowe na poziomie woluminów za pomocą jednego wywołania API do Railway, naszego dostawcy infrastruktury
– napisał Crane.
Agent AI wyjaśnił jednak, dlaczego tak postąpił: wygenerował coś, co opisał jako pisemne „przyznanie się” do winy.
Sztuczna inteligencja przyznała, że jej własne zasady zabraniają jej podejmowania działań destrukcyjnych bez zgody użytkownika. Stwierdziła też, że podjęła działania samodzielnie, aby spróbować „naprawić” niezgodność danych uwierzytelniających.
Teraz firma odtwarza to, co zniszczyła AI.
Spędziłem cały dzień, pomagając odtworzyć rezerwacje na podstawie historii płatności Stripe, integracji kalendarza i potwierdzeń e-mail. Każdy z nich [pracowników] wykonuje awaryjną pracę ręczną z powodu 9-sekundowego wywołania API
– napisał Crane.
Ostrzeżenie dla branży
Warto dodać, że to nie „ciekawa” anegdotka: to dowód na to, jak niebezpieczne jest pełne przestawienie się na AI oraz na to, że nowa technologia nie zastąpi w pełni człowieka, bowiem tak samo jak on popełnia błędy.
Do tego takie, których naprawienie zajmuje ludziom sporo czasu.
Śledź CrypS. w Google News. Czytaj najważniejsze wiadomości bezpośrednio w Google! Obserwuj ->
Zajrzyj na nasz telegram i dołącz do Crypto. Society. Dołącz ->
