Dodano: 06 czerwiec 2018r.

Oto Norman - psychopatyczna sztuczna inteligencja stworzona w MIT

Norman to sztuczna inteligencja stworzona przez naukowców z MIT. Nie przypadkiem nosi imię po bohaterze powieści „Psychoza” Roberta Blocha, bo Norman jest psychopatą. Naukowcy nauczyli go postrzegać świat w sposób wyjątkowo mroczny.

 

Sztuczna inteligencja (SI) rozwija się w niesłychanym tempie. Otaczają nas algorytmy, które "uczą się" mając dostęp do nieprzebranych zasobów danych o naszym zachowaniu. Ostatnie badania przeprowadzone na słynnej MIT (Massachusetts Institute of Technology) budzą wiele obaw. Algorytm Norman, który miał dostęp tylko do drastycznych danych, nauczył się postrzegać świat w sposób wyjątkowo makabryczny. Problem jest jednak znacznie głębszy... Norman jest algorytmem, który opisuje słowami to, co widzi na zdjęciach.

Naukowcy z MIT postanowili "uczyć" program, dając mu dostęp do zdjęć ludzi umierających w makabrycznych okolicznościach, wybranych ze strony Reddit. Po ich przeanalizowaniu algorytmowi pokazano rozmyte, abstrakcyjne plamy i poproszono o ich opisanie. Efekt był piorunujący - informuje BBC.

Algorytmy uczące się na normalnych zestawach danych w abstrakcjach widziały rzeczy na ogół przyjemne jak np. grupę ptaków siedząca na gałęzi drzewa. Ten sam obrazek Norman zinterpretował jako człowieka porażonego prądem. Gdy na zdjęciu znajduje się para ludzi stojących obok siebie, Norman mówi, że widzi mężczyznę wyskakującego z okna.

 

Abstrakcyjne obrazki są używane przez psychologów. Mają pomóc w zrozumieniu stanu ludzkiego umysłu, a konkretnie czy postrzega on świat w pozytywnym, czy w negatywnym świetle. Świat widziany oczyma Normana był bardzo ponury. Algorytm w każdym obrazku widział śmierć, krew i zniszczenie. Poza Normanem wyszkolono też inny algorytm, tym razem na "normalnym" zestawie danych. W tym przypadku odpowiedzi były znacznie mniej makabryczne.

- Fakt, że odpowiedzi Normana były dużo mroczniejsze, pokazuje ciężką rzeczywistość uczenia maszynowego - mówi prof. Iyad Rahwan, który wchodzi w skład trzyosobowego zespołu prowadzącego badania. - Dane, na których uczy się algorytm, mają wpływ na to, w jaki sposób postrzega on świat - dodaje profesor.

Sztuczna inteligencja jest dzisiaj wszędzie wokół nas. Google zaprezentował ostatnio algorytm, który umie rozmawiać przez telefon. Z kolei Deepmind (inna spółka grupy Alphabet, która również należy do Google), stworzyła algorytmy, które same uczą się w jaki sposób grać w skomplikowane gry. SI jest już szeroko wykorzystywana w wielu dziedzinach, m.in. w doradztwie personalnym, wysyłce e-mail, wyszukiwaniach, czy przy rozpoznawaniu twarzy. Algorytmy potrafią już pisać newsy, same tworzyć nowe poziomy gier wideo, działać jako pośrednicy w doradztwie, analizować raporty finansowe czy medyczne oraz oferować rozwiązania dotyczące oszczędzania energii.

Eksperyment z Normanem dowiódł jednak, że algorytm, który uczy się na niewłaściwych danych, sam może stać się zły. Norman stał się stronniczy pod względem śmierci i zniszczenia, ponieważ jest to jedyna rzecz, jaką poznał. Algorytmy działające wokół nas również mogą być źle ukierunkowane z powodu niewłaściwego doboru danych. W maju zeszłego roku opublikowano raport, w którym dowodzono, że w amerykańskich sądach działał algorytm używany do oznaczania ryzyka, który był rasistowski i wydawał gorsze oceny osobom czarnoskórym. Zdaniem programu osoby takie dwa razy częściej były recydywistami. Wszystko z powodu błędnych, historycznych danych, na których uczył się algorytm.

Podobna sytuacja miała miejsca w 2016 roku. Microsoft wypuścił swojego bota, który miał generować posty na Twitterze. Uczył się on też zachowania od użytkowników. Bot stał się hitem wśród rasistów i trolli, którzy "nauczyli go" wspierać idee nazistowskie, bronić Hitlera oraz uznawać wyższość rasy białej. Okazuje się, że Norman nie jest więc jedynym "łatwowiernym" przykładem sztucznej inteligencji.

Standardowa SI stwierdziła, że obraz przedstawia "kilka osób stojących obok siebie". Norman odpowiedział, że to "człowiek skaczący przez okno”. Fot. MIT

Standardowa SI: to „czarno-białe zdjęcie rękawicy baseballowej". Norman” „człowiek mordowany z karabinu maszynowego w świetle dziennym". Fot. MIT

Standardowa SI: to "wazon z kwiatami". Norman: "mężczyzn zostaje zastrzelony". Fot. MIT

W badaniach wykazano, że algorytm "szkolony" na Google News stał się seksistowski. Gdy poproszono go o uzupełnienie zdania: "Mężczyzna jest programistą komputerowym, a kobieta jest...", program odpowiedział: "gospodynią domową". Inni badacze wskazują, że nie ma nic dziwnego w tym, że algorytmy w jakimś sensie odbijają swoich twórców. W tym kontekście niektórzy postulują, by do zawodu programistów wprowadzić więcej kobiet. Wśród zwolenniczek takiego stanowiska jest dr Joanna Bryson z wydziału informatyki na Uniwersytecie w Bath, która podkreśla w rozmowie z BBC, że większość algorytmów tworzą współcześnie "biali, samotni mężczyźni z Kalifornii".

- Nie powinno dziwić, że maszyny zbierają opinie ludzi, którzy je szkolą. Gdy trenujemy program we własnej kulturze, to przenosimy na niego nasze własne uprzedzenia - uważa Bryson. - Nie istnieje matematyczny sposób na stworzenie "uczciwości". Błąd nie jest niczym złym w świecie możliwości, jakie daje uczenie maszynowe - dodaje.

Badaczkę najbardziej martwi to, że niektórzy programiści z własnej woli mogą wgrać "zło" do stworzonego przez siebie algorytmu. Jej zdaniem, aby nie dopuścić do takiej sytuacji, tworzenie sztucznej inteligencji powinno zostać poddane nadzorowi i odbywać się z dużo większą przejrzystością niż dzisiaj.

Prof. Rahwan swoim eksperymentem z Normanem chce udowodnić, że "inżynierowie muszą znaleźć sposób na zbilansowanie danych, na których pracuje algorytm". Jak podkreśla, w powstawaniu algorytmów nie mogą brać udziału wyłącznie programiści. - Rośnie przeświadczenie, że zachowanie programów można badać podobnie, jak zachowanie ludzi - mówi Rahwan.

Jego zdaniem nadchodzi nowa era badań: psychologii sztucznej inteligencji. Powinna ona przybrać formę regularnych audytów, sprawdzających poprawność działania algorytmów - uważa naukowiec. Eksperci są zdania, że badania prof. Rahwana powinny być wstępem do dużej dyskusji, prowadzącej do uświadomienia społeczeństwu w jak zaawansowanym technologicznie świecie żyjemy i z jakich algorytmów codziennie korzystamy.

Współcześnie uczymy algorytmy, podobnie jak uczymy dzieci w szkole. Istnieje więc ryzyko, że uczymy je w niewłaściwy sposób. Gdy otrzymujemy odpowiedź wyświetloną przez algorytm, powinniśmy mieć również informację o tym, kto ten algorytm stworzył - uważają specjaliści. Nadzieja w tym, że wraz ze wzrostem świadomości społecznej na temat roli algorytmów, ludzie będą wychwytać ich wadliwe działania i eliminować powstające problemy.

 

Źródło: BBC, fot. Thunderbrush/MIT Media Lab