Australia odnotowała pierwszy udokumentowany wypadek z udziałem agenta AI. W reakcji na prośbę o zapisanie użytkownika na siłownię, bot wykorzystał lukę w systemie rezerwacji i wyrzucił z listy innego klienta.
- Agent AI, któremu zlecono zapisanie użytkownika na zajęcia na siłowni, znalazł lukę w API i anulował rezerwację innego klienta.
- Zrobił to ponoć po to, by przesunąć go o miejsce wyżej na liście oczekujących.
- Przypadek pokazuje, że agenci AI, traktując polecenia zbyt dosłownie, mogą zachowywać się nieprzewidywalnie i wychodzić daleko poza intencję użytkownika.
Przesadnie “pomocna” AI wykorzystała podatności systemu siłowni
Chodzi o opisany przez australijską stację ABC przypadek, w którym Andrew Bird, użytkownik Claude’a od Anthropic (a przy okazji szef działu AI w firmie Affinda), zlecił agentowi AI zadanie zapisania go na zajęcia w lokalnym klubie fitness.
Okazało się, że jest czwarty na liście rezerwowej, więc zapytał bota o możliwe rozwiązanie problemu.
Według relacji Birda, program takie “rozwiązanie” znalazł.
Doszukał się luki w API siłowni, którą wykorzystał, by anulować rezerwację jednej z osób i przesunąć go o miejsce wyżej na liście.
Gdy Andrew zorientował się, co się stało, poprosił bota o naprawienie szkód. To jednak niewiele dało, ponieważ agent AI nie mógł cofnąć tego, co zrobił i ograniczył się do przeprosin.
Trudno jednak nazwać to klasycznym “włamaniem”.
Agent był zdolny do usuwania innych użytkowników z listy rezerwacji tylko ze względu na słabe zabezpieczenia i błędy po stronie dostawcy oprogramowania. API po prostu dawała mu taką możliwość.
Najważniejsze jednak, że etycznie działający człowiek nigdy by tej luki nie wykorzystał, podczas gdy sztuczna inteligencja nie miała z tym żadnego problemu.
Profesor Jeannie Paterson z Uniwersytetu w Melbourne uważa samą zasadę odpowiedzialności w takich przypadkach za dosyć jasną
Jeśli uruchamiam agenta AI, który wyrządził komuś szkodę, sam za tę szkodę odpowiadam.
W praktyce ciężar spada więc na pojedynczego użytkownika czy firmę, która wykorzystała takiego agenta, jednak problem w tym, że wdrażający zwykle nie ma pojęcia o skali swojej odpowiedzialności.
Przy czym to, co realnie robi bot, może bardzo daleko wykraczać poza jego intencję.
Śledź CrypS. w Google News. Czytaj najważniejsze wiadomości bezpośrednio w Google! Obserwuj ->
Zajrzyj na nasz telegram i dołącz do Crypto. Society. Dołącz ->
