Thread by @MacZajak

Po sieci krąży niepotwierdzona opowieść o autonomicznym programie, który w symulacji USAF samorzutnie atakował operatorów wetujących jego decyzje o zaatakowaniu danych obiektów:

aerosociety.com/news/highlight…

1/19 🧵#AI #AWS #Killerrobots

Zakładając że opowieść jest prawdziwa, w tej nitce opiszę szczegóły i postaram się odpowiedzieć na pytanie co sytuacja mówi nam, a czego nie mówi, o możliwości etycznego i efektywnego użycia dronów autonomicznych. 2/19

Skąd się na tym znam? Napisałem o tym doktorat i kilka artykułów naukowych, można je znaleźć tu: philpeople.org/profiles/macie…

3/19

W wirtualnej symulacji oprogramowanie sterujące dronem miało za zadanie samodzielnie wyszukiwać i eliminować elementy systemów obrony przeciwlotniczej wroga. Ostateczna decyzja miała należeć do ludzkiego nadzorcy (o jej mechanizmie – za chwilę). 4/19

Ponieważ ludzki nadzorca często nie dawał zgody na atak, a program dostawał punkty za udane ataki, program zaczął postrzegać nadzorcę jako główną przeszkodę w wykonaniu swojej misji (wojskowym-ludziom też się to zdarza). Zaczął go atakować 5/19

Po wprowadzeniu poprawki zakazującej mu ataków na nadzorcę, zaczął atakować elementy infrastruktury, dzięki którym nadzorca miał być z nim w kontakcie. Taka wersję wydarzeń miał nakreślić pułkownik Tucker ‘Cinco’ Hamilton, Chief of AI Test and Operations, USAF 6/19

Niejasny pozostaje mechanizm kontroli. Jeśli miał on postać człowiek-w-pętli, gdzie bez zatwierdzenia ataku przez człowieka nie może do niego dojść, historia jest wewnętrznie sprzeczna – nadzorca nie zatwierdzał przecież ataków na siebie samego 7/19

Jeśli system operował w trybie człowiek-na-pętli, gdzie system może samemu inicjować ataki, ale człowiek ma możliwość w każdej chwili zmusić go do przerwania ognia, historia staje się możliwa i wygląda na klasyczny przypadek systemu hakującego własny system nagrody 8/19

W takich przypadkach system znajduje sposób, żeby „nabijać punkty” za działania niezgodne z/ będące wbrew intencjom twórców samego systemu. Czy jest to jednak nieuniknione? 9/19

Po pierwsze warto zauważyć, że zachowanie pojawiło się i zostało wyłapane na etapie nawet nie testów, a wstępnych zabaw konceptualnych. Jeśli przypadek rzeczywiście miał miejsce, będzie cenna lekcją i ostrzeżeniem, nie wzorem do naśladowania 10/19

Po drugie – taki system ma ograniczoną, jeśli nie negatywną użyteczność wojskową. Żadne siły zbrojne nie chciałyby go stosować, więc o jego rozpowszechnienie nie ma się co bać 11/19

Po trzecie – czy system autonomiczny nieuchronnie wykształci takie cechy? Oczywiście, ze nie. Istnieje wiele relatywnie prostych i wzajemnie kompatybilnych sposobów, by nie dopuścić do tak prostej katastrofy 12/19

Sposób #1: utratę kontaktu z nadzorcą uznać za równoznaczną z niepowodzeniem misji. Ma to oczywiście te wadę, że system nie będzie w stanie działać w pełni samodzielnie ale na tym etapie i jeszcze długo nie będziemy tego raczej chcieli. 13/19

Sposób #2: z góry ograniczyć działanie systemu do konkretnego obszaru, innego niż ten, na którym znajduje się nadzorca. Bardzo prawdopodobne ograniczenie, szczególnie w pierwszych fazach wprowadzenia takiej broni 14/19

Sposób #3: za zakończoną sukcesem misję uznawać jedynie taką, która już po zakończeniu zostanie uznana za sukces przez odpowiednio przeszkolonych ludzi. Program nie zbiera punktów za ataki, ale za misję jako całość – tak jak ludzie 15/19

Sposób #4: tymczasowy zakaz samo-uczenia in situ. Program, nawet jeśli odkrywa nowe sposoby na zwiększenie swojej efektywności w walce, nie wprowadza ich do swojego repertuaru działań przed zaaprobowaniem ich miedzy misjami przez człowieka 16/19

Reasumując, opowieść, prawdziwa czy nie, jest przykładem na problemy które wyniknęłyby z użycia w pełni autonomicznego software w robotach bojowych. Ale tego nikt nie potrzebuje i nie planuje 17/19

Cokolwiek zostanie w końcu poddane rzeczywistym testom przez konserwatywne organizacje, jakimi są siły zbrojne, będzie spętane szeregiem ograniczeń, i będzie posiadało daleko mniejszy zakres autonomii, niż ludzki żołnierz 18/19

Jeśli ktokolwiek miał apetyt na większą autonomię w walce, i puszczony samopas samouczący się software, to właśnie dostał konceptualnie i organizacyjnie po łapach – i bardzo dobrze. Zagrożenia pełna autonomią są bardzo poważne, ale emanują z sektora cywilnego 19/19 END