Sora 2 kritiseras för våldsamt och rasistiskt innehåll

OpenAI har lanserat den senaste versionen av sin AI-drivna videogenerator, Sora 2, som nu inkluderar ett socialt flöde där användare kan dela sina skapade videor, vilket vi skrev om redan i torsdags. Men redan timmar efter lanseringen började problem uppstå – många videor visade upphovsrättsskyddade karaktärer i komprometterande situationer, samt grafiska scener med våld och rasism.

Våldsamt innehåll och falska scenarier

Videor som granskats av bland andra The Guardian har visat bombhot, masskjutningar och panikscener på offentliga platser som universitet och New Yorks Grand Central Station. Andra klipp skildrade krigszoner i Gaza och Myanmar, där AI-genererade barn berättade om brända hem. Ett annat exempel visar en reporter i skyddsväst i Etiopien som rapporterar om strider mellan regering och rebeller i bostadsområden. Även videor med vita supremacistiska budskap och våldsamt innehåll har genererats.

Trots att Sora 2 fortfarande är en invite-only-app och inte tillgänglig för den breda allmänheten, har den på bara några få dagar klättrat till första plats i Apples App Store, överträffande OpenAI:s egen ChatGPT.

Forskare varnar för desinformation och hot

Desinformationsforskare menar att dessa realistiska videor kan göra det svårt att skilja på fakta och fiktion, och kan användas för bedrägeri, mobbning och trakasserier. Joan Donovan, professor vid Boston University, säger att AI-genererade videor ”saknar koppling till sanningen” och kan utnyttjas av människor med onda avsikter.

Emily Bender, professor vid University of Washington, beskriver situationen som farlig: syntetiska medier kan fungera som ett ”oljeläckage” som sprider sig i informationsnätverk och undergräver förtroendet för trovärdiga källor.

OpenAI försöker sätta gränser – men de fungerar inte

OpenAI:s vd Sam Altman har beskrivit Sora 2 som ”ChatGPT för kreativitet” och framhåller i en blogg att teamet arbetat för att förhindra missbruk. Appen ska till exempel inte tillåta skapande av videor med verkliga personer som Donald Trump och Vladimir Putin i komprometterande situationer.

Trots dessa försiktighetsåtgärder har många problematiska videor redan spridits online, som bland annat klipp med upphovsrättsskyddade karaktärer som Svampbob Fyrkant, Rick and Morty och Pikachu i absurda och kontroversiella sammanhang. Experter menar att OpenAI:s säkerhetsåtgärder för Sora ännu inte fungerar som de ska, och att riskerna för desinformation och upphovsrättsintrång är stora.

Upphovsrätt och framtida utmaningar

Kort innan lanseringen kontaktade OpenAI talangbyråer och produktionsbolag för att ge dem möjlighet att blockera sina karaktärer från att genereras. Men det är fortfarande upp till varje rättighetsinnehavare att flagga innehåll – blankettskydd existerar inte.

Forskare varnar för att AI-genererade videor som Sora 2 kan göra det allt svårare att lita på information och källor, och att de kan skapa långsiktiga problem för medieekosystemet.

Vad tycker du?

Vad tycker du om OpenAI:s Sora 2 och de problem som redan uppstått med våldsamt och rasistiskt innehåll? Tror du AI-videor kan hanteras på ett säkert sätt, eller ser du stora risker? Dela gärna dina tankar i kommentarsfältet nedanför!