För nÄgra Är sedan pÄ ett seminarium fick jag en lÀtt chock.
Det var World Childhood Foundation som var arrangör. De jobbar mot sexuella övergrepp mot barn.
PÄ seminariet berÀttade en polis hur de jobbade för att hitta förövare online. För att kunna kartlÀgga enskilda groomare som fanns pÄ flera plattformar skrev de ner den misstÀnkte förövarens ordval och uttryck i ett Excel-dokument. SÄ poliserna fick manuellt leta i detta dokument och jÀmföra med vad som kunde finnas i en chatt eller pÄ ett forum.
Det var i det nÀrmaste ofattbart ineffektivt och tidsödande. Stackars barn, tÀnkte jag, om detta Àr motmedlet mot pedofilerna.
LÀser man i nyhetsmedia om den hÀr sortens frÄgor, Àr det lÀtt att tappa hoppet. Men det ska man inte göra.
Det var just nÀr jag i ett nyhetsbrev pÄpekat den allmÀnna övervikten av negativa nyheter som Anna Unander mejlade. Hon var med och grundade bolaget Tuteliq, som jobbar mot grooming pÄ nÀtet. Hon menade att hÀr fanns en optimistisk berÀttelse, som inga medier rapporterade.
âFörövarna pĂ„ nĂ€tet började anvĂ€nda AI först, men nu har skyddet kommit ikappâ, skrev hon.
Med Childhood-seminariet i bakhuvudet blev jag omedelbart intresserad och intervjuade Tuteliqs vd och CTO, Gabriel Sabadin.
Samma frÄga, tvÄ betydelser
âKan du bevara en hemlighet?â
En förÀlder viskar det inför en födelsedagsöverraskning. En vÀn sÀger det innan hon berÀttar nÄgot i förtroende. NÀstan alltid Àr frÄgan ofarlig.
Men den Àr ocksÄ en av de vanligaste fraserna nÀr en vuxen i hemlighet försöker vinna ett barns förtroende för att kunna utnyttja det. Det kallas grooming.
Att samma ord kan betyda sÄ olika saker Àr det svÄraste problemet nÀr man ska upptÀcka skadligt innehÄll pÄ nÀtet. Det skriver kriminologen Nicola Harding, en av Tuteliqs grundare.
Plattformarnas vanliga skydd Àr listor med förbjudna ord. Enligt Gabriel Sabadin tÀcker de fÄ sprÄk och hÀnger inte med nÀr ord och emojier fÄr nya betydelser. Den som vill ta sig förbi en sÄdan lista behöver bara byta ut en bokstav.
Det större problemet Àr att det farligaste sprÄket ofta Àr helt vanligt. Ett filter som fÄngar varje hemlighet larmar för födelsedagsöverraskningar och tonÄringars vanliga hemligheter. Ett snÀvare filter missar övergreppen. Det gÄr inte att lösa med en bÀttre ordlista, skriver Nicola Harding. Det gÄr bara genom att förstÄ sammanhanget.
Hela samtalet, inte enskilda ord
Det som avslöjar en förövare Àr mönstret. Var för sig ser meddelandena ut som vanlig vÀnlighet. Tillsammans visar de en vuxen som fÄr barnet att hÄlla kontakten hemlig och lita mindre pÄ familj och vÀnner, och som tÀnjer pÄ grÀnserna lite i taget och kommer tillbaka efter varje nej.
Hemligheten kommer ofta tidigt, innan nÄgot skadligt har hÀnt. De första tecknen syns dÀrför bara för den som lÀser hela samtalet.
Det gör Tuteliqs modell. Den vÀger in vilka tecken som dyker upp, i vilken ordning och tillsammans med vad, till exempel att kontakten Àr Àldre eller vill flytta samtalet till en mer privat plats. Den vÀger ocksÄ in hur gamla de inblandade Àr.
Modellen Àr byggd tillsammans med forskare inom barnskydd, bland dem Nicola Harding och professor Sarah Kingston. Den bygger pÄ en öppen sprÄkmodell frÄn det franska bolaget Mistral, som Tuteliq har trÀnat vidare och kör sjÀlv.
FrÄn bankbedrÀgerier till barns sÀkerhet
Gabriel Sabadin har tre barn. HÀndelser i familjen och i hans nÀrhet fick honom att se nÀrmare pÄ vad barn rÄkar ut för pÄ nÀtet. Det han hittade anmÀlde han till spelbolag, plattformar och webbplatser, bland annat i Sverige och Norge.
âIngen brydde sig, i stort settâ, sĂ€ger han. âDet kunde jag inte acceptera.â
Gabriel jÀmför med skolan. DÀr rÀknar vi med att barnen Àr trygga. Ingen förÀlder skulle skicka sina barn till en skola dÀr de blev lurade, mobbade och utsatta för vuxna som vill dem illa. PÄ nÀtet lÄter vi det hÀnda, utan att stÀlla samma krav pÄ plattformarna.
Att bygga system som hittar det andra vill dölja kunde han redan. Gabriel Àr doktor i datavetenskap och har arbetat med maskininlÀrning sedan 2006, bland annat med system som hittar bedrÀgliga transaktioner Ät banker. Senare lÀrde han datorer att kÀnna igen föremÄl i bilder.
2024 grundade Gabriel företaget Tuteliq i Sverige. Kriminologen Nicola Harding blev medgrundare. De kÀnde varandra frÄn ett projekt mot ekonomisk brottslighet.
Anna Unander har slutat pÄ Tuteliq under hösten. Sarah Kingston, professor vid University of Central Lancashire i Storbritannien, Àr rÄdgivare.
Bilder som ingen har sett
Tuteliq lÀser inte bara text. Samma system granskar ocksÄ bilder, ljud och film.
Dagens verktyg mot bilder och filmer pÄ sexuella övergrepp mot barn jÀmför varje fil med en databas över material som redan har anmÀlts. Det fungerar bra för det som Àr kÀnt.
Men med AI kan vem som helst skapa nya bilder frÄn ett foto som ligger öppet pÄ Facebook, Instagram eller i ett spel. En sÄdan bild har aldrig anmÀlts. DÄ finns den inte i nÄgon databas.
Tuteliq gör tvÄ saker. Systemet jÀmför med listan över kÀnt material frÄn Internet Watch Foundation, en brittisk organisation som letar upp och tar bort övergreppsmaterial pÄ nÀtet. En egen modell letar dessutom efter material som ingen har sett förut.
SĂ„ fungerar det
En plattform kopplar in Tuteliq och skickar in det anvÀndarna skriver och laddar upp: meddelanden, bilder, ljud och film.
SÀg att en vuxen i ett spel under flera veckor har bett ett barn att hÄlla deras kontakt hemlig och fÄtt barnet att dra sig undan sina vÀnner. Tuteliq följer inte anvÀndare över tid, men nÀr plattformen skickar in samtalet med det som har skrivits tidigare ser modellen hela förloppet. DÄ fÄr plattformen en varning. Den sÀger vad det gÀller, hur sÀker modellen Àr i procent och hur allvarligt det Àr, frÄn lÄg till kritisk. Den föreslÄr vad plattformen bör göra och förklarar varför. NÀr det behövs stÄr det ocksÄ nödnumret och stödlinjer för barn och för mÀnniskor i kris i anvÀndarens land, och vad man bör göra först. Tuteliq avgör inte om nÄgot Àr ett brott. Det beslutet lÀmnar bolaget Ät mÀnniskor.
Sedan bestÀmmer plattformen sjÀlv. Tuteliq anmÀler aldrig nÄgot pÄ egen hand.
Inga meddelanden, bilder eller inspelningar sparas. Det som skickas in analyseras och raderas, och det anvÀnds aldrig för att trÀna modellen. Det som sparas Àr bedömningen, vilken ÄtgÀrd som togs och nÀr, sÄ att plattformens moderatorer kan följa upp. Den sparas krypterad hela vÀgen, sÄ kallad end-to-end-kryptering. Att modellen inte lÀr sig av det den fÄr in Àr ocksÄ ett skydd, förklarar Gabriel Sabadin. Om modellen lÀrde sig av allt den fick in, skulle brottslingar kunna mata den med eget material och lÀra den fel.
Kunderna som inte ville sluta
Gabriel Sabadin har byggt produkter förut och vet hur lÀtt det Àr att tro att man vet vad kunderna behöver. Sedan visar det sig att de inte alls behöver det man har byggt. Den hÀr gÄngen gjorde han tvÀrtom.
Tio företag fick frÄgan om modellen kunde hjÀlpa dem. De fick testa gratis i ett halvÄr, mot att de berÀttade vad de behövde. Ett av de första beskeden var att det var för krÄngligt. Det fick inte ta fyra mÄnader att koppla in. Tuteliq gjorde det enklare, tills en utvecklare utan lÄng erfarenhet klarade det.
NĂ€r testperioden var slut ville sex av de tio fortsĂ€tta â och de ville betala. Tuteliq hade dĂ„ inte ens ett sĂ€tt att ta betalt.
âDet Ă€r som att gĂ„ pĂ„ dejt otvĂ€ttad och orakad, och personen gillar dig Ă€ndĂ„â, sĂ€ger han. âDe sĂ„g oss nĂ€r vi var som sĂ€mst. Det betyder mycket för mig.â
Skydd för dem som skyddar
NÀr de första kunderna testade systemet trÀffade Gabriel Sabadin mÄnga som arbetar med att moderera innehÄll. De gÄr igenom det vÀrsta som mÀnniskor laddar upp, varje dag. Han kallar dem hjÀltar.
Tuteliq visar aldrig sjÀlva bilden. Moderatorn fÄr veta vilken fil det gÀller, vad modellen har hittat och hur sÀker den Àr. SÀger modellen 95 procent kan moderatorn dölja innehÄllet, bevara det, anmÀla det dÀr lagen krÀver det och stÀnga av anvÀndaren, utan att behöva titta pÄ det.
âVi skyddar ocksĂ„ dem som skyddarâ, sĂ€ger Gabriel Sabadin.
En vecka blev fyra timmar
I ett test fick Tuteliqs modell gÄ igenom en hÄrddisk. En mÀnniska hade behövt ungefÀr en vecka. Modellen var klar pÄ fyra timmar och pekade ut vilken mapp och vilka filer det gÀllde.
Modellen kan köras helt utan internet. Det gör den anvÀndbar för polis och utredare. De kan köra den pÄ sin egen server, utan risk att material lÀcker ut.
Internet Watch Foundation i Storbritannien ska testa systemet hos sig i början pÄ nÀsta Är. DÀr öppnar analytikerna fortfarande bilderna och för in dem i dokument. MÄlet Àr att de med Tuteliq ska kunna gÄ igenom tusentals bilder pÄ den tid det i dag tar att gÄ igenom nÄgra fÄ.
Hur vet de att det fungerar?
Tuteliqs modeller har trÀnats pÄ över 50 miljoner exempel som kriminologer, barnpsykologer och sprÄkforskare har gÄtt igenom och mÀrkt. Tuteliq har betalat för rÀttigheterna till materialet, och allt Àr avidentifierat.
Tuteliq har ocksÄ tagit in experter frÄn Afrika och Sydamerika. Gabriel Sabadin hade sett verktyg som fungerar bra i Europa men sÀmre pÄ andra hÄll, och ville inte att barn i Europa skulle skyddas bÀttre Àn barn i resten av vÀrlden. Modellen hanterar nu 32 sprÄk, men enligt bolagets egen beskrivning Àr alla utom engelska fortfarande en testversion. Engelska Àr ocksÄ det sprÄk dÀr modellen har mest underlag.
Gabriel Sabadin har en tydlig uppfattning om vilket fel han anser Àr vÀrst:
âInom barnsĂ€kerhet Ă€r det vĂ€rsta misslyckandet att missa nĂ„got. Vi flaggar hellre ett tvetydigt meddelande, som en mĂ€nniska kan avfĂ€rda pĂ„ nĂ„gra sekunder, Ă€n att vi lĂ„ter ett verkligt fall slinka igenom.â
VĂ€rd utan att veta om det
Förövare finns inte bara dÀr barnen Àr, i chattar och spel. De dyker ocksÄ upp pÄ sajter som Àr till för nÄgot helt annat.
Ta en köp- och sÀljsajt, dÀr folk sÀljer saker de inte lÀngre behöver. Vem som helst kan skapa ett konto, skriva en annons och ladda upp bilder. Annonsen behöver aldrig publiceras. Den kan ligga kvar som ett utkast som ingen annan ser. Samma sak gÀller sajter dÀr man har en profil och kan spara bilder som bara syns för en sjÀlv.
Det har brottslingar utnyttjat, berÀttar Gabriel Sabadin. De laddar upp övergreppsmaterial bland bilder som aldrig blir offentliga. Sedan sÀljer de tillgÄng till kontot pÄ andra stÀllen pÄ nÀtet. Eftersom inget publiceras ser den som granskar sajtens annonser ingenting.
Sajten blir vÀrd för materialet utan att veta om det. Gabriel Sabadin tror inte att plattformarna gör det med flit. De Àr helt enkelt inte medvetna om det. En plattform som anvÀnder Tuteliq hittade ett sÄdant fall. Det syntes i samtalen dÀr kontot sÄldes.
DÀrför behöver alla tjÀnster dÀr anvÀndare kan skriva, prata eller ladda upp nÄgot vara pÄ sin vakt, sÀger han. Det gÀller dejtingappar, dÀr ett barn kan klicka i att det Àr 18 Är, och skolplattformar. Men det gÀller ocksÄ sajter dÀr ingen skulle komma pÄ tanken att leta.
Samma verktyg som brottslingarna
Tuteliq Àr fortfarande litet. Bolaget har sju betalande kunder. Grundarna har betalat allt sjÀlva, och intÀkterna tÀcker Àn sÄ lÀnge inte kostnaderna. Nu söker Gabriel Sabadin finansiering för att kunna betala löner och anstÀlla fler. Dessutom vill han fÄ kontakt med svenska myndigheter. I dag har Tuteliq mer kontakt med myndigheter i Storbritannien, Australien och USA Àn i Sverige.
Brottslingarna hittar alltid nya vÀgar, sÀger han. SÄ Àr det inom bankbedrÀgerier ocksÄ. Det finns skickliga mÀnniskor pÄ bÄda sidor. DÀrför behöver de som skyddar barn minst lika bra verktyg som de som utnyttjar dem.