Google twierdzi, że AI jeszcze się nie buduje samodzielnie — choć pisze 75% kodu

Google DeepMind szukał dowodów na to, że AI przyspiesza rozwój samej AI. Nie znalazł żadnych.

W raporcie bezpieczeństwa dla Gemini 4 Argon, swojego najpotężniejszego modelu, laboratorium stwierdziło, że badania nad AI nie posuwają się szybciej, mimo że AI pisze teraz większość kodu dostarczanego przez inżynierów DeepMind.

Odkrycie to stoi w sprzeczności z scenariuszem, który tak przeraził kadrę zarządzającą AI, że zaczęła wzywać do spowolnienia. Nazywa się to rekurencyjnym samodoskonaleniem: AI tworzy inteligentniejszą wersję siebie, która tworzy jeszcze inteligentniejszą, aż postęp przerasta czyjekolwiek możliwości testowania, regulowania lub wyłączania go — co raport nazywa „sytuacją, w której istniejące zabezpieczenia są poważnie niewystarczające”.

„Obecnie nie ma znaczącego kompleksowego przyspieszenia badań i rozwoju uczenia maszynowego, napędzanego przez AI lub w inny sposób” — napisał Haydn Belfield, badacz z Google DeepMind, który pracował nad oceną, w wątku na X. „Dlatego wnioskujemy, że ryzyko związane z badaniami i rozwojem uczenia maszynowego napędzanym przez AI jest obecnie niskie”.

ML R&D to skrót od badań i rozwoju uczenia maszynowego, czyli pracy polegającej na budowaniu nowych modeli AI.

DeepMind śledzi ten problem, ponieważ „AI może przyspieszyć zdobywanie zdolności frontier szybciej, niż bezpieczeństwo, zarządzanie i adaptacja społeczna mogą nadążyć”, napisał Belfield. Większa automatyzacja oznacza również zapewnienie agentom AI szerszego dostępu do systemów firmowych, więcej przestrzeni dla niewłaściwie dostrojonego modelu (takiego, który realizuje cele, których jego twórcy nigdy nie zamierzali), by powodować problemy.

Aby zmierzyć postęp, zespół zbudował GCI v1, wewnętrzny indeks, który łączy wyniki 123 modeli AI w 92 benchmarkach w jedną liczbę na model — można to sobie wyobrazić jako wynik IQ dla AI. „Zdolności frontier Gemini poprawiały się w niezwykle stałym tempie ~0,1 punktu GCI miesięcznie”, napisał Belfield.

Na wykresie tego indeksu w raporcie Gemini 1.5 Pro plasuje się blisko 0,5 punktu pod koniec 2024 roku, a Gemini 3.8 Flash tuż powyżej 2,9 we wrześniu 2026 roku, przy czym niemal każde wydanie trzyma się prostej linii. Argon jest jedynym punktem wystającym ponad nią, na poziomie około 3,3, choć jego pasek błędu (zakres, w którym jego prawdziwy wynik mógłby prawdopodobnie się znaleźć) rozciąga się wystarczająco nisko, by dotknąć trendu.

„Chociaż Gemini 4 Argon plasuje się powyżej trendu, przypisujemy to zwiększonym nakładom obliczeniowym i organizacyjnym, a nie odzwierciedleniu przyspieszenia napędzanego przez AI”, napisał Belfield. Google zaprezentowało Gemini 4 Argon 30 września.

Większość kodu produkcyjnego w DeepMind jest obecnie w ponad 75% napisana przez AI, a udział w pełni delegowanych pull requestów (pakietów zmian w kodzie zgłaszanych do przeglądu przed wdrożeniem) wzrósł z 7,5% do 11,9% między kwietniem a wrześniem. Jednak „~88% pull requestów nadal wymaga wieloetapowego kierowania przez człowieka lub autorstwa kodu przez człowieka — a zmiany w kodzie nadal podlegają przeglądowi przez człowieka przed zgłoszeniem”, napisał Belfield.

Badanie przeprowadzone wśród 12 starszych liderów i badaczy DeepMind wykazało, że automatyzacja jest najwyższa w przypadku „dobrze określonych, weryfikowalnych zadań wykonawczych, a najniższa w przypadku otwartej ideacji naukowej, projektowania nowatorskich eksperymentów, diagnozowania subtelnych niestabilności treningu i długoterminowego wyczucia badawczego”. Mówiąc prościej, AI świetnie wykonuje instrukcje, a słabo radzi sobie z decydowaniem, które pomysły warto realizować.

DeepMind przeanalizował również 1389 logów Argon działającego jako agent wewnątrz firmy. Im większe zadanie, tym mniejsze prawdopodobieństwo, że model ukończy je samodzielnie, i tym częstsza interwencja człowieka.

Raport pojawił się miesiąc po tym, jak dyrektor generalny Anthropic, Dario Amodei, argumentował, że rekurencyjne samodoskonalenie już przyspiesza – ostrzeżenie, które poparli Sam Altman i Elon Musk, i które spowodowało spadek akcji producentów chipów o prawie 6%. Kilka dni wcześniej były inżynier Anthropic, Jacob Coxon, odszedł z branży, ostrzegając, że AI może „zabić nas wszystkich do końca dekady”.

Dane DeepMind obejmują tylko jego własne laboratorium, a ten sam raport stwierdza, że nie można wykluczyć, iż nieograniczony Argon przekracza jego progi niebezpieczeństwa dotyczące cyberataków i informacji o broni biologicznej.