Anthropic straszy samodoskonalącą się AI. Gigant proponuje rozwiązanie

Wyceniona ostatnio na 965 mld dolarów firma Anthropic zaapelowała do całej branży AI o wspólny mechanizm… spowolnienia lub czasowego wstrzymania rozwoju sztucznej inteligencji. Powód? Model językowy firmy pisze już ponad 80% jej kodu, co ma być jednym z pierwszych zwiastunów tzw. rekurencyjnego samodoskonalenia. 

• Anthropic ostrzega, że AI zdolna do budowania własnych, lepszych następców, rodzi ryzyko utraty kontroli człowieka nad technologią.
• Argumentem za tym, że możemy zbliżać się do tego momentu, ma być fakt, iż zdecydowana większość kodu firmy jest dziś pisana przez sztuczną inteligencję.

AI może być bliska udoskonalania samej siebie

Post, w którym twórcy modelu Claude proponują zwolnienie tempa rozwoju AI został opublikowany w czwartek 4 czerwca.

Sednem apelu jest pojęcie “rekurencyjnego samodoskonalenia”. To hipotetyczny moment, w którym system AI stanie się zdolny do samodzielnego projektowania swoich następców.

Teoretycy od dawna uważają go za punkt zwrotny, który może prowadzić do tzw. eksplozji inteligencji i wymknięcia się technologii spod kontroli człowieka.

Jeśli systemy są zdolne do pełnego budowania swoich następców, sposoby, w jakie je zabezpieczamy, monitorujemy i kształtujemy ich zachowanie, stają się znacznie ważniejsze.

– pisze Anthropic.

Skąd pomysł, że coś takiego może się wydarzyć?

Argumentem Anthropic jest to, że model Claude ma pisać dziś 80% jej kodu produkcyjnego (z perspektywą dobicia do 100% w ciągu dwóch lat).

Firma uważa także, że wskaźnik ten może być nieco zaniżony, a w rzeczywistości, LLM może odpowiadać za ponad 90% wykorzystywanego przez nią kodu (włączając ten, który nie wchodzi do fazy produkcyjnej).

Jeśli chodzi o jakość tego kodu, to pod koniec ubiegłego roku linijki pisane przez Claude’a miały być nieco gorsze od tych pisanych przez inżynierów, a dziś reprezentują zbliżoną jakość.

Przy tym Anthropic spodziewa się, że w ciągu najbliższego roku kod pisany przez Claude’a będzie zdecydowanie lepszy od tego pisanego przez człowieka.

Stąd apel firmy, która chce stworzyć możliwość porozumienia między liderami Big Tech, pozwalającego na skoordynowaną pauzę w rozwoju technologii.

Ta oficjalna narracja jest jednak dość niejasna.

Pojęcie rekurencyjnego samodoskonalenia i ew. eksplozja inteligencji dotyczą sytuacji, w której jeden model projektuje inne, lepsze od siebie samego, modele.

Z tekstu Anthropic wynika jednak, że to, co robi Claude, nie jest treningiem sztucznej inteligencji, a “pisaniem kodu”, co oznacza raczej automatyzację rzemiosła.

Nie wygląda na to, by Claude modyfikował własne wagi, a kod, który produkuje model, wciąż jest sprawdzany przez ludzi.

Anthropic sam się do tego przyznaje, mówiąc:

Jeszcze tam nie jesteśmy i rekurencyjne samodoskonalenie nie jest nieuniknione. Ale może nadejść szybciej, niż spodziewa się większość instytucji.

Nie do końca wiadomo więc, o co chodzi Anthropic. A jeśli nie wiadomo, o co chodzi – może chodzić o pieniądze. A konkretniej – o zbliżające się IPO firmy.

Gigant zamknął rundę finansowania wyceniającą go na 965 mld dolarów, a 1 czerwca złożył dokumenty do amerykańskiej giełdy, szykując się do wejścia na parkiet.

Czyli – bijąc na alarm w związku z ryzykiem niekontrolowanego rozwoju AI właśnie szykuje się do zebrania kapitału, który ten rozwój dodatkowo przyśpieszy.

Jego przedstawiciele tego nie ukrywają, a ich apel opiera się na założeniu, że żadna uczestnicząca w wyścigu firma nie zwolni badań w pojedynkę, ryzykując utratę przewagi.

Stąd propozycja mechanizmu obejmującego wszystkich graczy naraz.

Wydaje się jednak mało prawdopodobne, by największy konkurent Anthropic – OpenAI, a także xAI czy Google oraz przede wszystkim badacze z Chin, wzięli tę propozycję poważnie.

Możemy więc mieć do czynienia ze strategią marketingowej katastrofizacji, która przyciągnie kapitał inwestorów na giełdę.

Nie byłoby to niczym szczególnie zaskakującym, ponieważ marketing wokół LLMów od premiery pierwszego modelu ChatGPT w dużej mierze opiera się na straszeniu opinii publicznej scenariuszami, które dotychczas w dużej mierze okazywały się jedynie hipotetyczne.