La collaborazione uomo-macchina nella moderazione online

Nel nostro ambiente offline, i governi assumono un ruolo regolatore. Ciò significa che attraverso una serie di normative e col supporto di enti preposti alla vigilanza vengono scongiurate determinate condotte di comportamento. Le piattaforme sono tenute a rispettare le leggi di ciascun paese all’interno del quale erogano i propri servizi, ma detengono anche potere decisionale rispetto alla condotta che gli utenti devono tenere entro i propri confini digitali tramite la moderazione online.

Parliamo di piattaforme regolatrici, tali limitatamente al proprio spazio: esse decidono ciò che può o non può circolare, con quali modalità e forme di espressione. Generalmente sono due gli agenti che operano nell’attività di moderazione su social network e piattaforme in genere: algoritmo di moderazione e moderatore. L’uno tenta di colmare i deficit di efficienza dell’altro, in una supervisione integrata ma non per questo perfetta.

Gli algoritmi di moderazione online

Gli algoritmi di moderazione online sono sistemi automatizzati che si limitano ad eseguire le direttive dei programmatori. Si basano il più delle volte su sistemi di machine learning che mirano a comparare elementi già conosciuti dall’algoritmo stesso con elementi presenti nei contenuti pubblicati dagli utenti, in cerca di una corrispondenza che potesse suggerire l’inadeguatezza del contenuto. I modelli predittivi computerizzati si spingono addirittura oltre, nel tentativo di identificare elementi inediti e imparare a riconoscerli.

Gli algoritmi di moderazione non sono tanto una comodità quanto una vera e propria necessità perché i contenuti da controllare sono numerosissimi. Eludere questo tipo di filtro, però, spesso non è attività complessa. Vi sarete imbattuti in post con “parole camuffate”, in cui una “o” viene sostituita da uno 0, una “a” da un 4 e così via. Le parole che l’algoritmo considera inappropriate non vengono rilevate e quindi passano inosservate ai controlli automatici. In generale le modalità di elusione si evolvono continuamente sfuggendo spesso alla supervisione algoritmica.

Un altro grande problema degli algoritmi di moderazione riguarda l’assenza di contesto. Il grande dibattito etico che viene portato avanti da anni sull’affidabilità o meno delle macchine in fatto di scelte trova spunti rilevanti sulla non riconoscibilità del contesto da parte degli algoritmi. Non sempre un’immagine di nudo artistico viene ad esempio distinta da un’immagine di nudo pornografico, finendo per essere rimossa comunque. Alcuni contenuti possono sfuggire alla moderazione algoritmica perché non riconosciuti come problematici: è il caso della pubblicazione di immagini che rispettano le linee guida ma sono pubblicate senza il consenso della persona ritratta, o di profili fake creati con fotografie rubate.

Discriminazione algoritmica: il pregiudizio dall’uomo alla macchina

Quando Candice Swanepoel, modella di Victoria’s Secret, ha pubblicato sul proprio profilo Instagram una foto che la ritraeva con la camicia sbottonata e solo la mano a coprirle il seno, la community ha risposto con numerosi like. Quando la comica australiana Celeste Barber ha riprodotto ironicamente la medesima foto, corredata da una didascalia divertente, l’algoritmo di moderazione online ha censurato l’immagine.

Da questo fatto sono partite una serie di accuse alla piattaforma che si servirebbe di un algoritmo grassofobico. L’unica effettiva differenza tra le due immagini pubblicate, infatti, si riscontra nella fisicità delle due donne.

Milioni di utenti Instagram si sono resi conto di una cosa che noi delle comunità marginalizzate conosciamo da tempo: l’algoritmo di Instagram preferisce le persone magre, bianche, cisgender e di fatto censura il resto

Lacey-Jade Christie, scrittrice e attivista britannica

I vertici di Instagram si sono prontamente scusati per l’accaduto, annunciando importanti novità in fatto di moderazione online. Quello di Celeste Barber non è l’unico caso in cui gli algoritmi hanno “preso scelte discriminatorie”. Anche Nyome Nicholas-Williams si è vista censurare una sua foto di nudo artistico. Nell’immagine la modella veniva rappresentata seduta, con gambe accavallate e seno coperto dalle proprie braccia. Non violava nessuna delle linee guida di Instagram.

Milioni di foto di donne bianche e molto magre si possono trovare ogni giorno su Instagram ma una donna nera e abbondante che celebra il suo corpo viene bandita? Per me è stato uno shock, mi sento come se fossi stata silenziata

Nyome Nicholas-Williams

Anche in questo caso i vertici della piattaforma si sono scusati, precisando che censurare minoranze e specifiche comunità non rientra tra le proprie abitudini. Si sarebbe trattato soltanto di uno spiacevole errore. In realtà gli errori dell’algoritmo sono una proiezione dei pregiudizi di chi l’algoritmo lo scrive. Gli stessi dati da cui i processi di moderazione automatizzata attingono possono essere viziati da debolezze di ordine sociale preesistenti nella realtà offline.

Gli algoritmi di apprendimento automatico si basano su enormi quantità di data training che possono includere grandi database di foto, audio e video. È risaputo e documentato che i set di dati sono suscettibili a pregiudizi intenzionali e non intenzionali. Il modo in cui concetti specifici sono rappresentati in immagini, video e audio può essere soggetto a pregiudizi in termini di razza, sesso, cultura, abilità e altro. Inoltre, anche i contenuti multimediali campionati in modo casuale da dati del mondo reale possono contribuire ad amplificare pregiudizi del mondo reale

Livelli F.M.R.

La qualità dei dati in questa prospettiva è dunque determinante. Questi devono essere liberi da qualsiasi forma di pregiudizio in grado di falsare la valutazione dell’algoritmo. L’errore può portare alla rimozione di un post conforme alle linee guida della piattaforma, oppure a conseguenze ben peggiori, come è accaduto a Robert Julian-Borchak Williams, un uomo di colore che è stato arrestato a Detroit per un errore dell’algoritmo. Gli algoritmi di riconoscimento facciale usati dalle forze dell’ordine americane come supporto alle indagini attingono da database che includono prevalentemente volti di uomini bianchi. Ciò rende difficoltosa l’identificazione di individui con caratteristiche fisiche differenti (come, per l’appunto, la pelle scura di Robert).

Non sorprende l’urgenza del ricorso all’intervento umano, che riesce a sopperire abbastanza efficacemente ai deficit algoritmici: ma a quale prezzo?

Moderazione online: quando il tuo lavoro è visionare il peggio di internet

Sono oltre 100.000, al servizio dei social network per i quali scandagliano contenuti inappropriati per sottrarli alla visione degli utenti, non fanno rumore e restano nell’ombra in virtù dei delicati accordi di riservatezza stipulati a monte: sono i moderatori di contenuti.

Sarah T. Roberts, studiosa dei social media e docente presso l’Università della California, ha condotto una ricerca etnografica con oggetto la figura del moderatore. I risultati sono raccolti nel suo libro “Behind the Screen – Content Moderation in the Shadows of Social Media”. La studiosa ha raccontato il controverso mondo degli “arbitri digitali”, sottoposti per otto ore al giorno alla visione del peggio che il mondo di internet possa offrire: un lavoro dal grande carico emotivo che difficilmente può essere bilanciato da un pingue compenso, il più delle volte per altro assente.

Noi non possiamo identificare il moderatore di contenuti: non sappiamo chi sia, né quale sia effettivamente la sua mansione rispetto alla piattaforma per cui opera (Community manager? Contractors?) e non sappiamo nemmeno se sia davvero lui a rimuovere i nostri post ritenuti non conformi (potrebbe essere invece l’algoritmo?). Quello che però sappiamo di queste misteriose figure, lo dobbiamo in parte proprio ad una ex moderatrice.

Il caso di Selena Scola

Selena Scola, ex moderatrice di Facebook, ha dato inizio alla vera svolta, aprendo le porte ad una maggiore consapevolezza del problema legato alla trascurata salute mentale dei moderatori di piattaforme. La donna ha denunciato l’azienda di Zuckerberg a causa della sindrome post-traumatica che avrebbe sviluppato durante le sue sessioni di moderazione. Selena Scola ha ricoperto questo ruolo per nove mesi, in cui ogni giorno è stata sottoposta alla visione di immagini crude, dal forte contenuto violento, offensivo ed esplicito. Nove mesi che sono bastati a compromettere pesantemente la sua salute mentale.

Selena Scola riferisce, per mezzo dei suoi legali, di avere problemi a svolgere attività ordinarie, come utilizzare un mouse. Anche entrare in una stanza fredda o sentire forti rumori è per la donna motivo di grave malessere psicologico. Facebook, a seguito di questa denuncia, ha destinato un’importante somma al risarcimento dei dipendenti che abbiano sviluppato problemi psicologici a causa della propria attività di moderazione presso l’azienda. Le testimonianze di numerosi moderatori ed ex moderatori confermano una condizione psicologica particolarmente a rischio, poiché lesa da una costante esposizione a immagini forti e disturbanti.

Limitare i danni psicologici dei moderatori

Per cercare di limitare i danni psicologici dei moderatori, Facebook ha attuato una serie di misure ad hoc: i contenuti da supervisionare vengono riprodotti in bianco e nero e privati del loro audio. Questo per ridurre l’impatto dell’esposizione. L’azienda offre inoltre la possibilità ai propri moderatori di usufruire di un servizio di supporto psicologico e di prendere parte a sedute di psicoterapia individuali o di gruppo.

L’intelligenza artificiale è un altro elemento chiave a tutela della componente umana. Quando la macchina filtra buona parte dei contenuti non consentiti, riduce sia il numero dei moderatori necessari, sia i contenuti a cui questi dovranno sottoporsi. In questo modo si realizza la collaborazione uomo macchina.

Collaborazione uomo-macchina: imperfetta ma necessaria

Ai social network viene richiesta una sempre più accurata moderazione online, in virtù dell’enorme quantitativo di materiale prodotto e della loro pervasività. L’intersecarsi del nostro vivere online con quello offline, gli effetti del digitale, che Selena Scola e gli altri moderatori ci hanno dimostrato essere concreti e tangibili, suggeriscono quanto sia importante supervisionare efficacemente i contenuti pubblicati dagli utenti. Un’urgenza che si scontra con le problematiche sino ad ora affrontate: da un lato, l’imperfetta operatività della macchina, non in grado di contestualizzare, facile da eludere; dall’altra, la necessità di tutelare anche la salute degli addetti ai lavori. La collaborazione tra uomo e macchina anche questa volta assume un valore compensativo e imperfetto.

Articolo a cura di Ivana Lupo