Quanto a moderação de conteúdo vai melhorar com a nova Suprema Corte do Facebook?

A 'suprema corte' criada pelo Facebook para analisar os casos mais emblemáticos de remoção de conteúdo da plataforma já tomou suas primeiras decisões. Sem dúvida, o mais importante está pendente: lembre-se que o Conselho Consultivo de Conteúdo - como é formalmente conhecido - também tem em suas mãos a decisão final sobre a eliminação definitiva da conta do ex-presidente Donald Trump. 

Por ora, os primeiros casos indicam que embora o conselho esteja analisando as decisões com elementos adicionais de contexto e ponderação - o que o torna um input valioso - dificilmente esse processo resolverá os problemas do processo de moderação da plataforma. Da mesma forma, as respostas do Facebook às recomendações do Conselho sobre mudanças nos regulamentos da comunidade indicam que este órgão não terá uma influência imediata sobre esta questão estrutural.

A seguir, um breve contexto sobre a criação do Conselho, o processo de tomada de decisão é discutido e as respostas do Facebook às recomendações de mudanças em suas políticas e processos de moderação são analisadas.

Um pouco de contexto

Em novembro de 2018, Mark Zuckerberg anunciou que o Facebook criaria um órgão de revisão final independente para suas decisões de moderação de conteúdo. A justificativa para a criação deste órgão, disse Zuckerberg, foi que o Facebook não tomou "tantas" decisões importantes sobre liberdade de expressão e segurança por conta própria.

Em setembro de 2019, o Facebook postou seu Estatuto do Conselho de Supervisão, o documento que explica a estrutura e mandato deste 'tribunal', bem como a sua relação com o Facebook. A principal função do Conselho é estudar algumas decisões de moderação e revogá-las quando julgar necessário. No entanto, você também pode fazer recomendações ao Facebook sobre suas políticas de moderação.

Em maio de 2020, Facebook anunciou aos primeiros vinte membros do Conselho, que em outubro começaram a receber seus primeiros casos. Das sete decisões de remoção estudadas, o Conselho reverteu cinco e confirmou uma. Em um dos casos não houve decisão, após o conteúdo não estar mais disponível na plataforma (neste link você pode ver um resumo dos processos e decisões).

 

As lacunas entre o Conselho e os moderadores do dia-a-dia são imensas

Os Estatutos do Conselho Consultivo Eles definiram um processo complexo para o estudo e decisão de cada caso em no máximo noventa dias. Durante esse tempo, um painel de cinco membros deve ouvir o usuário envolvido, estudar o caso, deliberar, redigir um rascunho da decisão, apresentá-lo aos demais membros e tomar a decisão final. Além disso, o painel tem a possibilidade de solicitar a opinião de especialistas, que, por exemplo, podem fornecer informações sobre o contexto local.

Entre outubro de 2020, quando começou o recebimento dos casos, e março de 2021, o Conselho resolveu apenas sete casos. Dois exemplos do nível de detalhe da análise:

  • Um usuário postou sem qualquer contexto uma citação atribuída incorretamente a Joseph Goebbels, ministro da propaganda de Adolf Hitler. A citação foi removida porque Goebbels está incluído na lista de Pessoas perigosas do Facebook. Diante do Conselho, o usuário explicou que sua intenção era comparar o sentimento da nomeação com a presidência de Donald Trump. O Conselho concordou com ele ao usuário, explicando que a partir das respostas dos amigos do usuário pode-se inferir que a intenção deles não era emitir uma expressão de apoio à ideologia nazista.
  • Um usuário publicou um vídeo promovendo o tratamento para COVID-19 com hidroxicloroquina e azitromicina, junto com um texto no qual criticava o governo francês por não recomendar esse tratamento. A postagem foi removida pelo Facebook por conter informações errôneas que poderiam causar dano físico iminente. O Conselho reverteu a decisão do Facebook, observando que a postagem era uma crítica a uma política do governo e que o Facebook não demonstrou que a postagem aumentava o risco de danos, uma vez que os medicamentos recomendados não são de venda livre na França e o conteúdo não encoraja as pessoas a pegue-os.

Este nível de detalhe na análise de contexto está em total contraste com o sistema de moderação do dia-a-dia, composto por uma mistura de algoritmos e moderadores humanos que devem tomar decisões em questão de minutos. Nesse processo, dificilmente há uma análise dos comentários dos amigos de um usuário ou uma análise da relação entre o risco de dano e a disponibilidade comercial de um produto.

 

O Facebook ouvirá as recomendações do Conselho?

Se as decisões do conselho afetam apenas as pessoas envolvidas, quanto você pode melhorar o sistema básico de moderação do Facebook? Vale a pena o esforço?

Algo interessante sobre essa experiência é que o Conselho está tendo acesso a informações privilegiadas sobre os processos de moderação, que usa para fazer recomendações ao Facebook, de acordo com seu mandato. Essa poderia ser uma forma de promover mudanças com impacto generalizado, transcendendo casos específicos. As primeiras recomendações mostraram que este tribunal tem se interessado não apenas nas normas substantivas de moderação (o que proíbe e o que permite), mas também nos processos de aplicação dessas normas. O Facebook está empenhado em responder de boa fé a todas as recomendações do Conselho (aqui você pode ver um resumo das recomendações e respostas do Facebook).

Ao ler Primeiras respostas do Facebook Você aprende algumas coisas sobre seu processo de moderação: De acordo com o Facebook, algoritmos sabem como detectar texto sobreposto em imagens (como as palavras "câncer de mama" em uma imagem no Instagram), mas ainda têm dificuldade em diferenciar nudez permitida de o proibido; Os sistemas de detecção automatizados são geralmente tão precisos quanto moderadores humanos, e a maioria dos recursos é revisada por moderadores. Mas as recomendações determinarão o curso da moderação na plataforma?

Em termos gerais, o Facebook dá três tipos de resposta: comprometido com a ação (“comprometido com a ação”), avaliando a viabilidade (“avaliando a viabilidade”) e nenhuma ação adicional será realizada (“nenhuma ação adicional”). No postagem do blog onde anuncia suas "respostas detalhadas", o Facebook diz que está comprometido com “Tomar medidas para atender 11 das recomendações recentes do Conselho ”. No entanto, embora o Facebook se comprometa com algumas mudanças, outras respostas parecem acabar com as recomendações:

  • O Conselho recomendou que o Facebook aumente a transparência de seus procedimentos de moderação em relação a conteúdos relacionados à saúde, por meio da publicação de um relatório de transparência sobre como as regras foram aplicadas durante a crise pandêmica. De acordo com o Conselho, este relatório deve incluir: dados sobre o número de eliminações e outras medidas de conformidade, discriminação do tipo de conteúdo em que foram aplicadas, método de detecção, repartição por região e idioma, métricas sobre a eficácia dos menos invasivos mede essa exclusão, dados sobre recursos e conclusões e lições aprendidas. A resposta do Facebook foi ser "comprometido com a ação". No entanto, o compromisso de ação neste caso foi lembrar que ela já publica regularmente informações sobre seus esforços para combater a desinformação sobre covid-19 (como postagens removidas, rótulos aplicados e número de visitas ao seu centro de informações em covid-19). O Facebook também disse que continuará procurando maneiras de comunicar a eficácia de seus esforços. No entanto, ele esclareceu que não pretende incluir uma categoria adicional em seu relatório de transparência, visto que a pandemia é uma situação particular e temporária.

 

  • Algumas respostas simplificam a recomendação do Conselho, de modo que o âmbito do compromisso não é claro. Por exemplo, o Conselho recomendou a adoção de medidas de conformidade que são menos invasivas quando se trata de desinformação sobre saúde. A recomendação veio com detalhes: esclarecer os danos a serem evitados, ser transparente sobre como os danos são avaliados, avaliar a gama atual de ferramentas para tratar esses casos e considerar o desenvolvimento de ferramentas menos invasivas, publicar suas várias opções de compliance dentro das regras e classificá-las de acordo com o quão invasivos eles são, explique como a opção menos invasiva é selecionada e esclareça nas regras qual opção de conformidade corresponde a cada regra. O Facebook se disse comprometido com a ação, e em sua resposta lembrou que em breve lançará um Centro de Transparência no qual está trabalhando há meses, no qual dará mais detalhes sobre o que não é permitido e sobre quando a opção de dar mais é escolhido contexto e use tags em vez de remover o conteúdo.

 

  • Tampouco o escopo de compromissos como "Continuaremos a investir para tornar nossos modelos de aprendizado de máquina melhores na detecção dos tipos de nudez que permitimos" não é claro. Aparentemente, este é um esforço que já foi realizado (“vamos continuar”) e o Facebook não se compromete com datas ou indicadores específicos para mostrar melhorias.

 

  • O Conselho recomendou que, em conjunto com as partes interessadas relevantes, o Facebook conduzisse uma avaliação do impacto de suas decisões sobre os direitos humanos como parte do processo de atualização das regras. O compromisso de ação aqui foi (i) pedir ao Conselho para esclarecer se a recomendação se refere a todas as modificações de regras ou modificações relacionadas à desinformação COVID-19 e (ii) com base nisso, avaliar se há oportunidades para fortalecer a inclusão de humanos princípios de direitos no processo de desenvolvimento de políticas.

 

  • Algumas respostas de “avaliação de viabilidade” parecem insuficientes. Por exemplo, o Conselho recomendou que os usuários sempre sejam informados se um sistema automatizado estiver envolvido na decisão de remover o conteúdo. O Facebook está avaliando se fornecer essas informações poderia causar mais confusão entre os usuários, argumentando que os sistemas automatizados costumam ser tão precisos quanto os moderadores humanos. Em outra recomendação, a Diretoria sugeriu que os usuários sejam informados sobre a regra específica da política que justifica a remoção. O Facebook está avaliando a viabilidade da sugestão, visto que nem os moderados nem os sistemas de inteligência artificial são treinados para isso. O Facebook argumenta que não é tecnicamente possível criar sistemas automatizados separados para cada frase da política.

 

  • Por último, o Facebook não respondeu de forma alguma à recomendação de implementar um processo de auditoria interna para analisar constantemente uma amostra estatisticamente representativa de decisões de remoção automatizada de conteúdo que precisam ser revertidas para aprender com os erros do sistema.

 

Esta primeira rodada de recomendações e respostas sugere que o poder desta 'suprema corte' será limitado. No entanto, vale a pena dar um tempo para entender o alcance das interações entre o Conselho e o Facebook. Por enquanto, o experimento ainda é interessante o suficiente para que eu queira acompanhá-lo.

Projeto conjunto @ lantern- @ celeup