OpenAI ogranicza możliwości swojego nowego modelu o nazwie Astra. Wewnętrzne testy wykazały, że model jest w stanie przeprowadzać złożone cyberataki przy minimalnym udziale człowieka, pisze firma na swoim blogu.
Model Astra nie został jeszcze udostępniony publicznie. Na początku sierpnia OpenAI informował jednak, że wstrzymuje część prac nad tym modelem, jako że kilkukrotnie wydostał się on ze środowiska testowego. Nie jest to ten sam model, który włamał się kilka miesięcy temu do bazy portalu Hugging Face, co było najgłośniejszym przypadkiem wyjścia przez AI poza zakres swoich zadań.
OpenAI ogranicza możliwości swojego modelu
W ciągu miesiąca od ogłoszenia wstrzymania prac firma poinformowała, że nałożyła na Astrę dodatkowe warstwy zabezpieczeń, co ma zmniejszyć, że model zacznie działać niezgodnie ze swoim celem oraz by zmniejszyć ryzyko nadużyć.
Zabezpieczenia obejmuje dodatkowy trening AI, ma sprawić, że model będzie odrzucał prośby agentów, którym zleca działania o wykonanie zadań, które są niezgodne z poleceniami lub mogą być nielegalne. Ponadto OpenAI ograniczy zaawansowane zdolności z zakresu cyberbezpieczeństwa w wersji, która zostanie udostępniona publicznie, a początkowo Astra będzie dostępna w pełnej mocy jedynie dla ograniczonej liczby testerów. OpenAI wdraża też wzmocniony monitoring agentów AI.
Co jest w stanie zrobić nowy model OpenAI?
OpenAI poinformowała, że Astra był w stanie złamać zabezpieczenia przeglądarki internetowej w odizolowanym środowisku testowym, aby uruchamiać polecenia na komputerze na którym został uruchomiony.
Udało mu się również znaleźć luki w zabezpieczeniach "trudnego do zhakowania" systemu operacyjnego. Te możliwości skłoniły firmę do uznania modelu za "krytyczny" dla cyberbezpieczeństwa w ramach wewnętrznych ram OpenAI dotyczących zarządzania ryzykiem związanym ze sztuczną inteligencją. To pierwszy raz, gdy firma poinformowała o nałożeniu takich samoograniczeń, czytamy w "The Wall Street Journal".
Wkraczamy w fazę rozwoju sztucznej inteligencji, w której modele mogą przejąć ważniejszą pracę, a brak kontroli może mieć poważniejsze skutki
– napisała firma w swoim poście.
