Frente a la creciente moderación privada de contenidos, desde hace algunos años las principales empresas intermediarias de contenido en internet han adoptado sistemas de revisión privada tendiente a proveer un recurso de revisión interno frente a posibles errores o inconsistencias en la aplicación de sus términos y condiciones de servicio. Algunos autores se aproximan al sistema de apelaciones como un presupuesto del derecho de acceso a la justicia (M. Common, 2019). En esta línea también está la propuesta de Public Knowledge de exigir que las grandes plataformas garanticen acceso y debido proceso (2018) a sus usuarios. Para otros, es un elemento que hace a la legitimidad del sistema privado de autorregulación y moderación de contenidos y para otros (Klonick, 2019) es parte esencial del “economical responsiveness” que estas empresas tienen para con sus usuarios. Es decir, respondiendo a sus intereses económicos, estas empresas establecen mecanismos para escuchar y responder a lo que su comunidad les pide. Lo cierto es que desde hace ya varios años las principales empresas de internet ofrecen complejos sistemas de moderación de contenidos y sistemas para la revisión de sus propias decisiones en torno a dicha moderación. 

A raíz de la consulta de un colega y la publicación de los últimos informes de transparencia de Facebook en septiembre de 2020, comenzamos un proceso de revisión y estudio de la información disponible públicamente en materia de apelaciones a los contenidos removidos o “intervenidos” (para hacer uso de los términos utilizados en los informes en cuestión) por dichas plataformas. Una primera observación es que este tema está poco estudiado y analizado tanto en nuestra región como a nivel comparado. Esto parece paradójico atento que las tres principales plataformas de contenido a nivel global (Facebook, Twitter y YouTube) anunciaron en marzo la suspensión- o importante reducción- de sus esfuerzos en esta área por causa del distanciamiento social y las cuarentenas impuestas a nivel global que obligaron a las plataformas a mandar a sus moderadores a sus casas. Los informes disponibles y diversos comunicados de las empresas a lo largo de estos últimos 6 meses dan cuenta de que esto ha tenido un impacto directo y trascendente en las áreas de moderación y apelación de las plataformas, particularmente en el último trimestre estudiado (de abril a junio de 2020). 

Incentivada por una creciente curiosidad, desde el CELE convocamos dos reuniones. Una primera con Linterna Verde, con quien estamos trabajando un monitoreo de cambios en los Términos y Condiciones de Servicio (ToS) de las plataformas desde principios de 2020, a fin de evaluar si existieron cambios formales en la materia; y atento que en definitiva el proceso de apelación no es más que una extensión del proceso de moderación de contenidos, reflexionar sobre nuestros limitados conocimientos en esta área. Ya desde el inicio corroboramos que no han habido modificaciones relevantes en los community guidelines o en los ToS de Facebook, Twitter y Youtube. Es decir que si hubo cambios en las prácticas de las empresas, ellas no han sido reflejadas en las reglas formalmente.  Esto puede deberse a múltiples y variados motivos que estaremos analizando en detalle prontamente a raíz del primer informe del monitoreo que estamos realizando con Linterna. Cabe adelantar que son pocas las prácticas que generan cambios en los ToS y que incluso las que podrían generarlos muchas veces se reportan a través de otro tipo de mecanismos que complementan los documentos de autorregulación inicial (posteos de blog, discursos, informes de accionistas, etc).

La segunda reunión convocada fue con miembros de AlSur -una alianza de organizaciones de sociedad civil y academia regional de la que hacemos parte- justamente para socializar algunas de las incógnitas que surgieron de la conversación y el estudio muy preliminar que hasta ahora hicimos del tema, encontrar puntos de encuentro y nuevos interrogantes que alimentarán esta iniciativa. ¿Qué son y cómo difieren los sistemas de apelación privados a la moderación de contenidos? ¿Cómo están funcionando y  cómo se vieron afectados en épocas de cuarentenas? ¿Cómo se jerarquizan recursos a medida que las restricciones de movimiento y reunión se van levantando en distintas regiones del mundo? ¿Qué han comunicado las plataformas respecto de estos procesos? ¿Cómo han de operar de cara al futuro, teniendo en cuenta los vaivenes a los que nos tiene expuestos la pandemia y la incertidumbre que caracteriza a esta “nueva normalidad”? (que de normalidad no tiene nada). Estas son algunas de las preguntas que guiaron este estudio preliminar y la reunión que convocamos. 

Un poco de contexto:

A lo largo y ancho del mundo proliferan leyes y proyectos de ley y/o masivas campañas tendientes a regular las grandes plataformas de contenidos en internet. Desde reformas estructurales a la normativa de responsabilidad de intermediarios (EEUU con sus 3 proyectos vigentes, Europa con su DSA, son solo dos ejemplos de los más relevantes por su posible impacto o efecto cascada). Todos ellos proponen límites a la inmunidad que actualmente parecía ser el principio general deseable en materia de responsabilidad de intermediarios por el contenido de terceros.

La moderación privada de contenidos que las empresas hacen parece ser uno de los grandes detonantes de estas reformas. Desde posturas que sostienen que las empresas son tendenciosas y parciales en su moderación de contenidos, hasta quienes argumentan que dichos mecanismos promueven el odio, las noticias falsas, y una serie de grandes males que hoy aquejan a internet. La campaña changetheterms resume bien esta postura.  Existen en esta línea grandes debates tanto estatales como entre sociedad civil sobre cómo deberían definirse los términos y condiciones de servicio o community guidelines de las empresas para que el contenido que circula en ellas proteja y garantice derechos humanos básicos, dignidad, democracia, etc. Distintas visiones priorizan distintos objetivos. 

En los últimos 4 años por lo menos hemos visto un cambio dramático en los términos y condiciones de servicio de estas empresas. Estos documentos, que antaño eran cortos y vagos, han adquirido una complejidad, extensión, detalle, nunca visto (Klonick 2019). En palabras de las propias empresas, los ToS cambian regularmente para adecuarse a las supuestas necesidades de los usuarios o las comunidades a las que aplican y en respuesta a cambios de contexto, desarrollos temporales, etc. Este giro en materia de autorregulación estuvo acompañado de crecientes solicitudes de transparencia por parte tanto de sociedad civil- ver por ejemplo los Principios de Santa Clara– como de Estados -ver por ejemplo los requisitos de transparencia e implementación de la NetzDG Alemana.

¿Qué sabemos sobre la revisión de decisiones de moderación? 

Es muy poca la información disponible sobre apelaciones en los términos y condiciones de servicio de las empresas. Quizás la información más completa que tengamos sobre este tema está en la página de onlinecensorship.org, que indica por plataforma, cuál es el proceso de apelación en detalle.  De acuerdo con este portal, casi todas las plataformas grandes ofrecen un sistema de apelación para usuarios cuyo contenido haya sido bloqueado por incumplimiento de normas internas o ToS.  No todas ellas ofrecen una instancia de revisión frente a otras medidas como la suspensión o cancelación de la cuenta. Twitter, por ejemplo, ofrece dicha instancia y hace llegar la notificación a través del correo electrónico. Facebook también ofrece una instancia de reclamo a través de un formulario cuando la cuenta se haya cancelado “por error” pero no está claro cómo ensambla con el esquema de appeals y remociones que reportan. Su sistema de apelación incluye contenido removido, grupos o fotos eliminados. Youtube funciona con un sistema de strikes, y se puede apelar los strikes pero no a la cancelación de la cuenta. Atendiendo al incremento en la automatización y el resentimiento del sistema de apelaciones durante COVID, Youtube anunció que suspendía el sistema de Strike, anticipando que la automatización derivaría posiblemente en más errores. En septiembre, Youtube reconoció que la implementación de AI había derivado en el doble de remociones de las habituales y reincorporo parte importante de sus recursos humanos asignados a la tarea de moderación. 

Por otra parte, cada plataforma tiene un sistema distinto para la detección de contenidos contrarios a sus ToS, con variados niveles de automatización- o por lo menos variados niveles declarados de automatización. Facebook, por ejemplo, reporta altísimos niveles de automatización (superiores al 88%) en prácticamente todas las categorías de contenidos excepto bullying y acoso (15,6%). Twitter no reporta automatización en los mismos términos pero en un blog post de 2019 reportó un incremento en la detección proactiva de contenidos y cuentas violatorias de sus ToS que pasó supuestamente de un 20% a un 38%. Youtube por su parte informa una mayor automatización pero no está cuantificada. Recientemente reportó que en materia de extremismo, gracias a la automatización, cerca del 90% de las piezas problemáticas han sido detectadas proactivamente antes de que el contenido haya sido visto por más de 10 usuarios (How YouTube uses technology to detect violative content: Violent Extremism). 

Facebook es la empresa que mayor información provee sobre el funcionamiento del sistema de moderación y apelación frente a dicha moderación, y destaca contenido intervenido proactivamente versus contenido reportado por usuarios, y contenido restaurado proactivamente versus contenido restaurado tras apelación. También provee el número de apelaciones por categoría de sus ToS. Sin perjuicio de ello, no está claro cómo interactúan las dos variables. Por otra parte, el informe establece que los números indican cantidad de contenidos intervenidos pero dicho cálculo está basado en el número de piezas intervenidas sin perjuicio de que sea la misma pieza reposteada la que se ha intervenido. Es decir, si un usuario reporta una pieza que ha sido duplicada, triplicada y reposteada por múltiples usuarios, se tomará el número total de remociones y no el número total de contenido original. Tampoco está claro si el número de las apelaciones representa cantidad de contenidos apelados o cantidad de apelaciones sobre el mismo contenido. Finalmente, el informe indica que no incluye datos de apelaciones sobre intervenciones en cuentas, páginas y grupos. Es decir que solo incluye apelaciones de contenidos individuales. 

En cuanto a la priorización tanto para la moderación como en la apelación, distintas empresas priorizan de acuerdo a distintas variables y los sistemas que informan esta priorización también varían. Youtube estableció un sistema de “trusted flaggers” que consiste en otorgar un mayor estatus a ONGs, mecanismos estatales y usuarios cuya eficiencia en el reporte esté demostrada. Se ofrece a estas personas capacitaciones incluso para el desarrollo de esta tarea y sus reportes se priorizan en la moderación. Facebook, por su parte, cada vez depende menos de los reportes de sus usuarios y más de la tecnología desarrollada para automatizar la detección de contenido violatorio de sus normas (con todos los problemas que ello conlleva). Priorizan para la moderacion “contenidos vinculados con seguridad incluyendo material vinculado con terrorismo y suicidio” (“We prioritize safety-related reports, including material related to terrorism and suicide”). No está claro cuál es el criterio imperante para la priorización de apelaciones o si este criterio cambió durante la pandemia.

En el caso de Twitter hay poco lenguaje pero en el blogpost de Abril de 2019 ya citado menciona que seguirán esforzándose para mejorar los índices de detección de contenidos particularmente cuando los contenidos contengan “información privada, amenazas u otro contenido abusivo”.  El sistema de moderación de contenidos y apelaciones de Twitter por lo menos parece más rudimentario en ciertos sentidos que el de Youtube o el de Facebook, lo cual ha generado ventajas y desventajas. Entre las ventajas, como destaca el portal de onlinecensorship.org, se le da intervención a los representantes regionales en la medida de lo posible. La desventaja es que al igual que los programas trusted flaggers, muchas veces la priorización de estas apelaciones depende de terceros que faciliten contexto a la empresa para justificar dicha priorización. 

El lenguaje, las métricas y hasta los periodos varían de una empresa a otra, lo cual atenta contra el análisis comparado de plataformas. Actualmente por ejemplo, Youtube y Facebook emitieron informes de transparencia hasta agosto de 2020 incluidos. Twitter aún no ha publicado informes durante este 2020 según muestra su página de transparencia. 

Algunos problemas teórico/filosófico sobre el tema de apelaciones

La idea de que las plataformas deben garantizar principios mínimos de debido proceso a sus usuarios frente a su propia moderación de contenidos no es nueva. La profesora Dawn Nunziato ya sostenía en su introducción a Hacia una Internet libre de Censura  (CELE 2013) que a fin de armonizar la prohibición de censura previa con la actuación de las plataformas en materia de remoción de contenidos debían garantizarse estándares mínimos de debido proceso y transparencia. 

Brenda Dvoskin destacaba recientemente que el postulado de promover la incorporación del marco de derechos humanos como marco guía para la autorregulación de plataformas, a pesar de su atractivo, plantea problemas en torno a su implementación. Entre otras cosas destacaba un aspecto que me pareció particularmente interesante y que a los fines de estas reflexiones denominare el dilema de los objetivos. Ella sostenía que todos los tratados de derechos humanos exigen al Estado que las limitaciones a la libertad de expresión respondan a los objetivos legítimos que los mismos tratados identifican. Trasladar literalmente este requisito a una empresa implica restricciones importantes a su capacidad de dirigir su negocio, y por qué no, a su propio ejercicio de la libertad de expresión.  Deberían ser los mismos límites aplicables para el sector privado que para el público? ¿Deberíamos pensar en nuevos objetivos legítimos para este grupo? 

En materia de debido proceso nos enfrentamos a inquietudes similares. Los tratados de derechos humanos hablan de las garantías de imparcialidad e independencia en la determinación de derechos; y garantías mínimas, especialmente aplicables a procesos penales y administrativos sancionatorios. La jurisprudencia es amplia y vasta en esta materia, pero persisten complejas preguntas en torno a la posible transferencia de estas al sector privado. ¿Son trasladables las exigencias del sistema judicial a los sistemas privados? Requieren de alguna adecuación? 

Gillespie recientemente explicaba que las plataformas han recurrido a la automatización en la moderación de contenidos como respuesta a la problemática de escala. Y agregaba que esta ha sido la solución que han ofrecido tanto a sociedad civil como a Estados para lidiar con los problemas de cantidad y tiempo- a través de la automatización las plataformas buscan intervenir los contenidos problemáticos lo antes posible (incluso antes de que lo vea o reporte ningún usuario) y aplicar el mismo criterio a la mayor cantidad de contenido posible (escala). De compartir esta lógica obviamente requerimos una adecuación en el concepto de debido proceso, de tribunal, de plazo razonable, independencia e imparcialidad. De no ser esta la lógica compartida también surgen interrogantes: ¿cómo garantizar independencia e imparcialidad a escala? O igualdad ante la ley? Frente a moderadores desconocidos o call centers, ¿cómo ejercer derechos de defensa?  Frente a la pandemia que obliga a mandar a los moderadores a casa, ¿cómo garantizamos este derecho en cuarentena? 

Actualmente se están reformulando los Principios de Santa Clara justamente con el ánimo de aportar a este debate. Y a nivel regional, en Agosto se publicaron  las recomendaciones de un grupo de organizaciones lideradas por Observacom. Ambos esfuerzos se beneficiarían de mayor información empírica capaz de alimentar la articulación de principios concretos y de un debate profundo capaz de lograr consensos en torno a los estándares que deberían regir estas prácticas. Al momento no está clara la relevancia de estos sistemas o su impacto en el ecosistema interno de las empresas -mucho menos en el ecosistema de comunicación en su conjunto-.  

 

Algunas preguntas y postulados a priori que podrían informar la investigación de estos temas a futuro:

Atendiendo a la falta sistémica de información que afecta este tema en particular, una de las primeras conclusiones a las que llegamos con colegas es que difícilmente pueden hacer recomendaciones. Incluso parece difícil establecer si debería establecerse un sistema de priorización en la moderación o un sistema de priorización en las apelaciones, por lo menos en tiempos normales. La pregunta por supuesto adquiere nuevos matices en pleno brote o expansión del COVID 19, que obligó a las plataformas a mandar a la mayor parte de sus moderadores a casa. Sin perjuicio de que ahora reabran, la nueva normalidad se caracteriza en este momento por altos niveles de incertidumbre: amenazas de rebrotes y nuevos cierres, falta de medidas de largo plazo, cierres de fronteras, oficinas aún cerradas, reuniones prohibidas, etc. En este marco de COVID 19, recursos parciales, y desconcierto quizás si amerita la priorización? ¿Qué pasa con el contenido que no se prioriza en este contexto? ¿Cómo se mide el impacto de las priorizaciones que se hagan durante este periodo? Sin perjuicio del contexto, ¿en qué criterios debería anclarse esta priorización? 

Por criterio geográfico:

De los informes de transparencia no surgen datos desagregados en torno al impacto de la moderación de contenidos o de la apelación de dicha moderación ni a nivel local ni a nivel regional. No está del todo claro cómo se distribuye geográfica/culturalmente el ejercicio de derechos como el de apelación. ¿Dónde existen culturas más fuertes de institucionalización y ejercicio de derechos y donde estas prácticas no son tan frecuentes? Tampoco está claro qué impacto puede tener una comunidad en el total de los casos por categoría. De ahí que quizás una recomendación podría ser atender a criterios distintos en materia de priorización de acuerdo a la región y la situación coyuntural que la afecte. 

Por temática:

En conjunto con la distinción por país o región, quizás convenga también atender a la temática que se trate. Si el país por ejemplo está en periodo electoral o atravesando un conflicto armado, ¿quizás convenga priorizar el contenido vinculado con este tipo de temáticas (al estilo de un hashtag)? 

Por tipos de personas:

En el marco del derecho a la libertad de expresión existe tradicionalmente una distinción entre personas públicas y personas privadas, entendiendo la distinción como criterio necesario para evaluar los límites de la expresión contra otros derechos. Así por ejemplo, las personas públicas deben tener márgenes de tolerancia más amplios frente a la crítica que las personas privadas. También han de tener reparaciones más acotadas, atendiendo a la facilidad que estas tienen para intervenir e interceder en el debate público por otros medios. Ahora bien, esta distinción también podría servir en esta temática. Pero ¿cómo? En el debate surgieron posiciones radicalmente encontradas: por un lado estuvieron quienes abogaron por darle a las personas públicas prioridad en la apelación por la magnitud de su audiencia y el potencial daño del silenciamiento. Por otro lado, también estuvo quien propuso que atendiendo a que las personas públicas suelen tener otros medios para difundir su discurso, debieran priorizarse las apelaciones de privados que no tienen los mismos recursos. 

Por interés público:

Quizás la distinción en torno al interés público sea más útil para informar decisiones de priorización. Si la conversación o el contenido es de interés público, debería poder priorizarse. Este tipo de determinaciones probablemente surja, sin embargo, del cruce de dos o más criterios de los que ya mencionamos: Contexto local/regional; carácter de la persona (público privada), relevancia de la temática. 

Una de las conclusiones unánimes entre colegas es que probablemente la priorización no deba responder a un criterio único sino a multiplicidad de factores. Cómo implementarlo será otro tema… Sin perjuicio de la decisión que las empresas adopten en esta materia, el ejercicio sirvió para constatar lo poco que sabemos sobre este tema, la falta de información que existe en los informes y en las propias políticas, y la necesidad de estudiar el tema más profundamente.

Agustina Del Campo

PhotoCredit: @morningbrew