I en af de mest ikoniske scener fra filmen The Matrix ser hovedpersonen Neo en sort kat, som gør præcis de samme bevægelser to gange i træk. Da Neo fortæller hackerne Trinity og Morpheus om sit déja-vu, sætter de straks gang i en omfattende sikkerhedsoperation. Det er tydeligt, at der er noget helt galt. De to hackere, som er ledere af en illegal modstandsbevægelse der bekæmper the Matrix’ digitale totalitarisme, forklarer i al hast Neo, at et déja-vu typisk repræsenterer et «glitch» i the Matrix’ operativsystem. Et glitch er mere end bare et tilfældigt og forbigående fænomen, det er tegn på en mere omfattende systemisk trussel, der betyder, at de er i overhængende fare.
Den berømte filmsekvens fra The Matrix udgør omdrejningspunktet for Princeton professor i afrikanskamerikanske studier Ruha Benjamin’s diskussion af systemisk racisme i bogen Race After Technology: Abolitionist Tools for the New Jim Code.
Google’s billedalgoritme
Et eksempel på en glitch som de fleste nok husker, er Google’s højt besungne Photo App, som tilbage i 2015 brillerede med automatisk billedgenkendelse lige indtil den fejlidentificerede et ungt sort par som «gorillas». Forståeligt nok kom IT-giganten ud i en shitstorm. Google’s chefarkitekt for sociale medier på det tidspunkt, Yonatan Zunger, var straks ude og undskylde. Det var selvfølgelig en dyb ridse i lakken for en glatpoleret virksomhed som Google, der har bygget sit navn og omdømme op omkring mottoet «don’t be evil». Google forsikrede, at de havde sat deres bedste programmører til at se billedgenkendelsesalgoritmen efter i sømmene. Det viste sig imidlertid at være vanskeligt at finde årsagen til fejlen, og løsningen blev at fjerne billedtagget «gorillas» helt fra algoritmens vokabular.
Også algoritmer kan aktivt diskriminere og reproducere eksisterende sociale fordomme.
Eksemplet med Google’s billedalgoritme står printet på den kollektive nethinde som et af de mest tydelige eksempler på, at kunstig intelligens ikke nødvendigvis repræsenterer en fordomsfri tilgang til verden. Også algoritmer kan aktivt diskriminere og reproducere eksisterende sociale fordomme. Eksemplerne i Benjamin’s bog er legio: En billedsøgning på «tre sorte teenagere» resulterer i politiets forbryderfotos af unge sorte mænd, mens søgningen «tre hvide teenagere» omvendt giver billeder af storsmilende gymnasielever. Eller hvad med talegenkendelsessoftwaren der ikke kan forstå afrikanskamerikansk dialekt, fordi den er udviklet til at appellere til en mere købestærk målgruppe af hvide, velstillede middelklasseborgere? Og i den helt tunge ende af skalaen har vi de kriminalitetsforebyggende «præventive algoritmer», som klassificerer spædbørn fra sorte kvarterer som «bandemedlemmer» …
Ifølge Benjamin, er der ingen grund til at formode, at sådanne eksempler er undtagelsen. Alle disse mere eller mindre spektakulære glitches fra hverdagslivet i USA, som når GPS’en læser Malcolm X Boulevard som Malcolm 10 (!) Boulevard, peger ifølge Benjamin i retning af en mere omfattende, systemisk brist i dén digitale infrastruktur, vi kalder internettet. Og det seneste årti med fremkomsten af Alt-Right bevægelsen, Trump, og racistiske trolls, har da også gjort det tydeligt for enhver, at internettet langt fra blot er en direkte informationsmotorvej mod friheden.
En overgribende «fjendtlig arkitektur»
Problemet, ifølge Benjamin, er derfor ikke kun racisme på internettet. Som Google’s Photo App eksemplificerer, er racismen bogstaveligt talt skrevet ind i internettets koder, protokoller og algoritmer. Selvfølgelig er det forstemmende når racistiske individer finder sammen i forskellige internetfora med det formål at trolle folk af anden etnicitet eller anden seksuel overbevisning end deres egen. Men snarere end at studere racisme på individniveau er Benjamin mere interesseret i at afdække, hvordan vores fælles digitale infrastruktur tager form af en overgribende «fjendtlig arkitektur». Med henvisning til den amerikanske byplanlægger Robert Moses, som angiveligt bevidst byggede visse motorvejsbroer i New York så lave, at offentlige transportbusser fra fattigere og overvejende sorte kvarterer ikke kunne passere under dem, skriver Benjamin: «Den akademiske truisme om at race er ’konstrueret’, tager sjældent højde for sådanne helt konkrete betonstrukturer, og i endnu mindre grad for digitale strukturer.»
Meget af det vi kalder kunstig intelligens eller AI er intet andet end en digital potensering af eksisterende sociale fordomme. At racisme er skrevet ind arkitekturens, civilsamfundets, og retssystemets koder er, som Benjamin peger på, allerede tilfældet længe før AI introduceres. Er det et videnskabeligt mere robust og etisk neutralt alternativ til menneskelig beslutningstagning og datafortolkning?
Automatisert racisme
Den mere eller mindre eksplicitte racesegregation i den Amerikanske Jim Crow æra – som strakte sig fra sociale normer til lovfæstede apartheidsystemer i fx skolesystemet eller fængselsvæsenet – er nu blevet algoritmisk oversat til dét Benjamin kalder en ny «Jim Code», et déja vu af historiske dimensioner. Med Benjamin’s beskrivelse af automatiseringen af racismen bliver det dermed tydeligt, at «race» selv er en teknologi – en mere eller mindre meningsløs social markør, der som kodet data-input kan bruges til at sortere, rangere og diskriminere. Dengang som nu.
Tilbage står så opgaven med at skabe nye abolitionistiske værktøjer, der både kan bruges til at bryde the Matrix’ fjendtlige arkitektur ned og til at bygge en ny verden op med.t
