Forskare: Artificiell intelligens diskriminerar kvinnor och färgade

Datorer tar fel på kvinnor

Fråga 1: Tillsammans med Joy Buolamwini från MIT upptäckte du att artificiell intelligens är bäst på att identifiera vita män. Hur kom du fram till det?

Joy Buolamwini gjorde en omfattande genomgång av ett antal kommersiella ansiktsigenkänningslösningar. Hon undersökte specifikt så kallade gender recognition APIs – program som via en bild på en person klassificerar personen som antingen man eller kvinna.

Genomgången visade att det var tydligt att kvinnor med mörk hud mycket oftare tilldelades fel kön jämfört med vita män. För män var felprocenten nere på runt noll.

Tekniken speglar dess skapare

Fråga 2: Favoriserar artificiell intelligens i allmänhet vita män?

Teknik speglar människorna som skapar den och samhället som den existerar i. Med tanke på att kvinnor och minoriteter är en sällsynta inom techbranschen, och att just dessa grupper av människor fortfarande är förtryckta runt om i världen, går det också att förvänta sig att artificiell intelligens gynnar vita män.

Tekniken används för att befästa makten hos de redan mäktiga på bekostnad av de marginaliserade. Och det är av allt att döma ett problem.

Video: Förstå faran med diskriminerande teknik

Algoritmer tränar på diskriminerande texter

Fråga 3: Kan du ge några exempel på hur artificiell intelligens diskriminerar kvinnor utöver ansiktsigenkänning?

Ett bra exempel är de stora språkmodellerna som GPT-3 och dess efterföljare. Språkmodeller har tränats för att slutföra skrivna meningar på en datauppsättning som består av hundratals miljarder ord från internet, litteratur och andra texter som valts ut av forskarna bakom GPT-3.

Denna teknik kodar bevisligen för ett antal sexistiska och rasistiska åsikter som gynnar den vita klassen och diskriminerar kvinnor och marginaliserade grupper.

Artificiell intelligens kan bidra till förtryck

Fråga 4: Vilka är de negativa konsekvenserna för kvinnor i allmänhet av att artificiell intelligens diskriminerar dem?

I värsta fall kan artificiell intelligens användas för att undertrycka kvinnors rättigheter och trakassera dem. Vi ser det senare exempelvis i och med spridningen av falska videor och bilder – så kallade deepfakes – som dammsuger internet och sociala medier efter bilder av kvinnors ansikten och använder dem för att skapa falska pornografiska videor.

I det större perspektivet riskerar artificiell intelligens att bli en konservativ kraft som hindrar samhället från att göra framsteg – när syftet borde vara det motsatta.

Nytt institut ska lösa problemen

Fråga 5: 2021 startade du institutet DAIR för att studera artificiell intelligens oberoende av stora teknikföretag. Hur kommer du att arbeta för artificiell intelligens som är mindre diskriminerande?

DAIR är baserat på människorna och deras behov, inte i tekniken. Artificiell intelligens är inte oundvikligt. Vi bör inte utveckla dessa tekniker bara för att det är möjligt. Vårt mål är att arbeta med befolkningen i närområdena och avslöja deras behov innan vi eventuellt bygger en artificiell intelligens.

Dessutom måste det gå att varna folk för skadorna av befintlig teknik utan att drabbas av omotiverad kritik och fördömande, som jag och min tidigare kollega, Margaret Mitchell, upplevde när vi arbetade för Google.

Diskriminering är inget tekniskt problem

Fråga 6: Du har sagt att misslyckanden med artificiell intelligens inte handlar om tekniska problem, utan är ett symptom på miljön där tekniken utvecklades. Varför är denna distinktion viktig?

I rapporten Fairness and Abstraction in Sociotechnical Systems konstateras att tekniska lösningar kan vara "ineffektiva, felaktiga och ibland farligt olämpliga för uppgiften när de dyker upp i ett samhälleligt sammanhang".

Om du enbart ser på ett tekniskt system som ett abstrakt begrepp och inte tänker på hur det används eller vem som utvecklar det blir din analys av skadorna väldigt enögd. Det minsta du kan göra är att ställa dig själv frågan: "Behövs verkligen den här tekniken?"

Vi har makten att säga stopp

Fråga 7: Artificiell intelligens skapas fortfarande mestadels av vita män. Hoppas du att tekniken kommer att vara mindre gynnsam för vita män i framtiden?

Jag vill att folk ska komma ihåg att AI inte är en autonom enhet som kontrollerar sig själv och är bortom mänsklig kontroll. Allt vi skapar styrs av samhällets motiv och överväganden, och ju mer vi inser det, desto bättre blir vi på att skapa lösningar som inte gör mer skada än nytta.

Vi har själva makten att säga stopp och skrika högt om vi anser att en specifik teknik inte borde finnas – eller att arbeta för att omforma den så att den tjänar både samhället och människans bästa.