Meta ha un problema con i contenuti espliciti su Facebook e Instagram

Meta ha citato in giudizio CrushAI, una piattaforma AI nota per la creazione di deepfake sessualmente espliciti. L’azienda di Menlo Park ha citato la controparte di Hong Kong di aver ripetutamente aggirato le sue politiche pubblicitarie, inondando le piattaforme con più di 80 mila annunci illeciti.

La decisione di Meta si inserisce all’interno di uno sforzo più ampio per contrastare le cosiddette app per la nudification, degli strumenti che permettono agli utenti di generare immagini di nudo o a sfondo sessuale partendo da una semplice foto del volto di qualcuno e spesso senza il loro consenso.

Crush AI e la sfida a Meta

Secondo la denuncia di Meta, già lo scorso febbraio il produttore di CrushAI violato le politiche dell’azienda di Menlo Park, creando una rete di almeno 170 account aziendali su Facebook e Instagram per acquistare spazi pubblicitari. La denuncia sottolinea, inoltre, che ogni utente che crea un account o utilizza Facebook debba accettare i Termini di Servizio di Meta, che includono espliciti divieti sulla pubblicazione di contenuti espliciti o non consensuali.

Le pubblicità in questione spesso contenevano immagini generate dall’intelligenza artificiale a sfondo sessuale o di nudo, accompagnate da didascalie esplicite per promuovere esplicitamente le capacità di “nudificazione” dell’app.

Questo nonostante Meta vieti esplicitamente annunci che contengono nudità e attività sessualmente esplicite con il divieto categorico di condividere immagini intime non consensuali e qualsiasi tipo di contenuto che promuova lo sfruttamento sessuale, il bullismo e le molestie.

Questa pubblicità così esplicita ha suscitato una reazione della politica con diversi senatori USA che hanno chiesto spiegazioni direttamente a Mark Zuckerberg, per chiedere spiegazioni su come Meta abbia permesso che ciò accadesse e sulle contromisure adottate per contrastare questa tendenza.

Oltre a questo di recente sono stati trovati anche centinaia di annunci che promuovevano app per la nudification sulle piattaforme di Meta, alcuni dei quali mostravano immagini sessualizzate di celebrità e deepfake di persone reali in atti sessuali. Il colosso della tecnologia ha affermato di aver rimosso gli annunci, eliminato le pagine e bloccato gli URL associati.

Meta ha un problema con i contenuti espliciti

Le piattaforme tecnologiche come Meta sono sottoposte a una pressione sempre maggiore per adottare misure contro i deepfake espliciti e non consensuali. Tuttavia, la diffusione dell’intelligenza artificiale ha reso molto più semplice la creazione di contenuti espliciti, cosa che rallenta notevolmente l’intervento delle piattaforme.

Per questo motivo Meta ha annunciato lo sviluppo di una nuova tecnologia per identificare questo tipo di annunci, anche quando non contengono nudità esplicita. Con i team di specialisti che hanno addestrato i sistemi di moderazione automatica dei contenuti a rilevare termini, frasi ed emoji spesso presenti in tali annunci.

Questa offensiva contro i deepfake arriva in un momento in cui Meta ha ridimensionato alcuni dei suoi sistemi automatici di rimozione dei contenuti, per concentrati sul controllo di violazioni “illegali e di elevata gravità“, come quelle legate a terrorismo, sfruttamento sessuale minorile, droga, frodi e truffe. Tutte le altre irregolarità, invece, devono essere segnalate dagli utenti prima che l’azienda valuti e intervenga, cosa che ha involontariamente creato delle “falle” che i produttori di app come CrushAI hanno saputo di sfruttare.