Druga kwestia, że maszynę ciągnie algorytm. I ten film pokazuje,jak daleko przesuwamy granicę uczenia się.
Fascynuje to i napawa lękiem.
To,co rzuca się w oczy w przekazie tego filmu to zimnowojenne myślenie "my to odłożymy na półkę powołując się na etykę, ale SĄ GRUPY które mają niecne zamiary i musimy się bronić" (w tym czasie na ekranie przewijane są archiwalne propagandówki,pokaz militarnej siły ZSRR,Korea etc). Teza sformułowana wprost.

Właśnie dlatego wypowiadające się osoby są profesorami MIT i innych uczelni, a Ty jesteś, gdzie jesteś.

Twój zarzut jest niemożliwie, niemożliwie naiwny. Gdy masz SI odciętą od wszelkich możliwości kontaktu ze światem, która jest na jednym kablu z prądem, to wtedy możesz go odłączyć. Ale taka SI nie była niebezpieczna, więc nie musisz go odłączać. SI staje się niebezpieczna, gdy może się kontaktować. Gdy działa w sieci (odłączenie prądu na całej planecie to nieco samobójczy sposób ratowania się), gdy może się komunikować głosem (więc manipulować), gdy ma zwolenników wśród ludzi, wreszcie: gdy dysponuje robotami z akumulatorami, które to roboty mogą pozabijać ludzi próbujących coś od prądu odłączać - wtedy SI jest niebezpieczna.

Im mniejszy ma wpływ na świat, tym mniej jest użyteczna. Im bardziej jest użyteczna, tym bardziej jest niebezpieczna, bo ma wtedy więcej dróg wpływania na rzeczywistość, większe zapasy energii, większą kontrolę nad własną lokalizacją, własnym zasilaniem etc.

A ta bateria to nie łamie czasem paru zasad fizycznych? :)

---

"Zimnowojenne myślenie" jest słuszne, nawet jeśli jest zimnowojenne. Wyścig zbrojeń jest ewolucyjną koniecznością (zasada czerwonej królowej). Pojedynczy człowiek kieruje swoim zachowaniem (powiedzmy), ale w dużej grupie ludzi rządzi już dynamika ewolucyjna, z jednej strony ślepa, z drugiej wymuszająca różnorodność (od różnorodności genów po różnorodność memów), różnorodność jest podstawą ewolucyjnej presji i doboru (tak różne geny, jak różne stanowiska, BĘDĄ rywalizować niezależnie od chęci ludzi. Ludzie się mogą umówić, że będą mieć tyle samo dzieci i utrzymają każdy gen równie częsty w populacji, ale różnice w dostosowaniu sprawią tak czy inaczej, że częstość występowania genów będzie zmienna. Różne rzeczy możesz zatrzymać w świecie, ale nie rachunek prawdopodobieństwa. To samo tyczy się memów).

W środowisku ludzi indoktrynowanych od dzieciństwa w ramach jakiegoś światopoglądu i tak urodzi się buntownik.

Ewolucja jest procesem, na który można wpływać (na przykład dodając nieco własnej presji), ale którego nie można wyłączyć. Z tego powodu choćby dzisiaj 7 miliardów ludzi zupełnie szczerze przysięgło nie wracać do zbrojenia w kierunku SI, za dwa pokolenia tysiące ludzi będą radykalnymi zwolennikami zbrojenia się w SI. Nie powstrzymasz. Wrzucenie tego do szuflady "zimnowojenne" jest manipulacją, bo ewolucja, czyli podstawowa przyczyna tego, co się dzieje, nie zaistniała po II wojnie. Wyścig zbrojeń istnieje od momentu, gdy były dwa różne gatunki bakterii.

Mądrego zawsze dobrze posłuchać, gdy wypowiada się w swojej dziedzinie. W końcu po to ich zaproszono jako ekspertów w temacie z wypowiedziami do tego filmu :)

Zarzut jest naiwny tak jak proste jest rozwiązanie tego pozornie skomplikowanego problemu. Ponieważ jednak nie wyobrażamy sobie totalnej reorganizacji swojego świata to w pewnym sensie dążymy do stanu przedstawionego w serii "Terminator".

Algorytm sterujący maszyną w komunikacji z innym algorytmem. Nawet w tym filmie przytoczono sztampowy przykład eksperymentu przerwanego przez przestraszonych naukowców, gdy algorytmy zaczęły komunikować się ze sobą w sposób niezrozumiały dla badaczy.

Przytoczyłem przykład baterii, ponieważ miałem okazję rozmawiać z osobą będącą chemikiem i spotkałem się z pracami takimi jak np. na PW w ramach grantu w 2012 roku: http://enorgel.ch.pw.edu.pl/index.php?id=projekt

Zdaję sobie sprawę z tego, że odłączenie prądu na całej planecie byłoby dość kłopotliwe.Bo jak to teraz - zaczynać od kamienia łupanego? Jak skomunikować ze sobą wszystkie mądre głowy by stworzyć nową jakość z pominięciem istniejącej infrastruktury sieciowej, aktualnie przejętej przez maszyny? :)

"Zimnowojenne myślenie" to pewien paradygmat bardzo dobrze opisany w psychologii społecznej. Odnoszę się do tego - nie do chęci "powstrzymywania się". Myślę raczej, że taki już urok konstrukcji ludzkiej natury - przekonanie, że ktoś się wychyli i w jakimś tajnym laboratorium przygotuje autonomiczną maszynę, która wytnie wszystko "nie-nasze" w pień.

Problemu bezpieczeństwa SI nie da się rozwiązać, nie jest trudny. Polecam książkę Bostroma "Superinteligencja", ma tam więcej miejsca na rozważania niż w filmie i dokładnie wyjaśnia, gdzie są problemy.

Twory rąk ludzkich komunikujące się w sposób dla twórcy niejasny opisywał już Lem.

Raz jeszcze powtórzę: zimnowojenne myślenie jest słuszne. Może nie być słuszne w małej skali, kilka osób może współpracować bez niespodzianek. W dużej skali musi obowiązywać wyścig zbrojeń, ewolucja jest koniecznością matematyczną (niedokładna replikacja + selekcja). Może się zatem prezydent kraju X pomylić co do prezydenta Y innego kraju, gdy mu przypisuje jakieś (własne?) motywacje. Nie myli się natomiast twierdząc, że KTOŚ faktycznie tej broni użyje.
A gdy już ktoś maszynę zbuduje, to podejrzewam, że wytnie ona wszystko, a nie tylko nie-nasze.

To jest taka trochę gra w cykora. Jeśli wycofasz się wcześniej, przegrasz na pewno. Jeśli będziesz przedłużać, przegrasz być może. Gdy tak czy inaczej przegrana oznacza własną zagładę, teoria gier nakazuje walić naprzód.

Pełna zgoda :)