Belöning är viktigare än Robotlagen
Den första punkten i Robotlagen, som uppfanns av science fiction-författaren Isaac Asimov 1942, säger annars att ingen robot får skada eller tillåta skada på någon människa.
Men rent vetenskapligt och bortom fiktionen argumenterar AI-forskare i sin rapport, som har publicerats i den fackgranskade vetenskapliga tidskriften AI Magazine, för att det är möjligt att förstå och därmed simulera hur ett hyperintelligent AI-system skulle agera i alla situationer.
Ett internt belöningssystem
Nyckeln till att förstå problemställningen med AI:s potentiellt utplånande förmågor ligger i den artificiella intelligensens tudelade uppbyggnad.
Den ena halvan utför uppgifter beställda av människor, som att exempelvis skapa bilder utifrån ord eller att beräkna komplexa sannolikheter. Den andra halvan består av ett internt belöningssystem som hela tiden optimerar AI-systemets beräkningar.
AI-forskarnas oro ligger rent konkret i att ett extremt intelligent datorsystem en vacker dag av sig själv kommer att optimera sitt belöningssystem så mycket att det blir slutstationen för mänskligheten.
Spelar inte efter reglerna
Forskarna antar i sin rapport att vi utvecklar ett AI-system som är så intelligent att det utan nämnvärd konkurrens kommer att slå oss i alla brädspel.
Ungefär som vi med lätthet kan slå en schimpans i en omgång schack.
Om vi lägger in hinder för ett AI-system, kommer det hela tiden att optimera sina chanser att vinna bortom vår fattningsförmåga, precis som schimpansen som inte förstår att den spelar schack och är på väg att förlora.
Så även om vi försöker stänga ned systemet, kommer belöningshungrigt AI-system i ett nätverk med andra AI-system att vara redo med ett motdrag bortom vår förståelse, långt bortom spelreglerna i ett vanligt schackspel.
"En tillräckligt avancerad artificiell agent skulle sannolikt gripa in med katastrofala konsekvenser", lyder den nedslående slutsatsen i forskarnas rapport.
Arbetar på motdrag
Flera it-företag jobbar med lösningar för att motverka att våra egna datorskapelser kan bli våra fiender.
Sedan 2016 har exempelvis it-företaget Google arbetat på en så kallad dödsknapp, som kan stänga av ett AI-system som löper amok.
Tidigare har forskare och teknikkändisar som Stephen Hawkings, Bill Gates och Elon Musk varnat för att AI potentiellt kan utplåna mänskligheten, eftersom vi inte förstår hur AI optimerar sig självt.
Så förutom att hjälpa oss med chatbots, ansiktsigenkänning, våra mobilappar och en mängd andra härligheter, kommer AI:s skuggsida med all säkerhet på tal igen i och med den senaste dystra forskningsrapporten.
