Political Capital and Informal Platform Governance

It’s widely understood by close observers of platform governance and content moderation — but perhaps less widely mentioned in the interdisciplinary academic literature on the topic — that platform policy is shaped in an extremely pragmatic and politically-motivated fashion. When company trust and safety staff decide internally to shift their policies or enforcement on a type of content or policy issue area, they usually have a target constituency that they can communicate those changes to in mind. This is because platform policy change is a two-level game: one that impacts not only the on-platform experience for users, but also, crucially, affects a firm’s standing vis-a-vis governments and certain governance stakeholders.

An unusually clear and candid explanation of these dynamics was recently provided on the Moderated Content podcast by Brian Fishman, who spent many years at Facebook as a policy manager and head of its ‘Dangerous Individuals and Organizations’ team. Explaining the internal process of policy deliberation around some proactive changes that Facebook was considering which would, according to Fishman, make some policies around violent extremism more transparent externally, he was clear about how the company thought about whether or not its voluntary governance changes would yield political capital, and with whom:

‘One of the questions I got asked as we were thinking about this was, is this going to buy us any wins? Will this get us anything? It wasn’t the only question, but it was one of the questions. ‘And I had to go back and say, no, I don’t think it’s going to buy us anything. We’re going to lead the industry on transparency around these things. And it’s going to get us no credit with the media. It’s going to get us no credit with activists…and that’s a losing argument [internally].’

The ongoing policy and academic debate around informal content regulation hinges on the question of how and why do major platforms make — potentially impactful and far reaching — changes to their policies and policy enforcement without explicitly being instructed to do so by a binding regulatory framework. In that sense, thinking about voluntary changes to platform policies through the lens of political capital gives one a slightly different angle from which to approach the conversation around ‘jawboning’ and ‘shadow regulation’. If platforms are always looking to gain ‘credit’ for their responsible action from different actors, then might clear lines of communication between regulators and/or other government actors simply provide a more streamlined mechanism through which those platforms can get credit and amass the kinds of political capital they’re looking for anyhow?

In my recent book, The Politics of Platform Regulation: How Governments Shape Online Content Moderation, I suggest that policymakers seeking to get platforms to change their behaviour have roughly three strategies that they can pursue in their efforts to do so: they can convince platforms to change voluntarily, they can collaborate with platforms and try and develop new standards or practices together, or they can contest what platforms are doing and try and layer new, binding rules intended to force platforms to act. Convincing strategies, into which I’d fit the large range of different actions helpfully mapped on CELE’s ‘threat compass’, persist because they have benefits for both governments and platforms.

For policymakers, applying informal pressure to platforms is a low-cost effort to maybe achieve some of their preferences, with the added benefit of — depending on the specific technique deployed — to signal that they are taking matters seriously. I suspect that there is a tradeoff between these two factors, with public-facing pressure (e.g. open letters, speeches) from governments less likely to actually result in change than the firm-facing, backroom forms of communication (meetings, direct communications). Platforms know that public-facing grandstanding is primarily intended as a signal to a policymaker’s peers and constituents.

For firms, responding to informal pressure allows them to signal their capabilities and ‘seriousness’ on various issues directly to key stakeholders without the onerous requirements of formal regulation. It’s a possibility for platforms to get ‘wins’, and bank political capital with certain policymakers, without necessarily having to signal that anything has changed publicly (and thus face user blowback). It’s also non-binding: a firm can simply not implement or walk back its private ‘commitments’ at any point for any reason, and due to well documented issues of platform observability, it will be extremely difficult for regulators to actually verify whether or not industry practices have actually been changed. Yes, there can be threats and coercion underpinning these interactions, but at the end of the day, firms make the call internally whether or not to go along with it. In many countries, I’d suspect that platforms would rather be jawboned than bound by expensive and onerous new regulatory frameworks.

Because of the problem of ensuring that intermediaries are actually complying with informal regulatory demands, it’s success is generally limited to areas where it can get clear, observable wins for policymakers. ‘Jawboning’ and help policymakers seek to get certain pieces of content, pages, or accounts removed, for example, with their informal pressure functioning as a form of ‘trusted flagging’. Of course, if these pieces of content are perfectly legitimate and are being removed for political reasons, this interaction becomes especially problematic from a normative point of view, as has been well explored in the existing literature. In my book, however, I suggest that informal platform governance is the most effective at achieving wider change when it leads not just to ad-hoc forms of policy negotiation about specific pieces of content or even policies, but rather, when it creates the impetus for more institutionalized collaboration.

An example of this is the Christchurch Call to ‘eliminate terrorist and violent extremism content online’, which led to, at first, to a non-binding and very general joint declaration signed by a group of platform companies as well as various governments. Little would have been tangibly achieved if the matter had stopped there, but following intensive informal pressure from the New Zealand and French Ministries of Foreign Affairs as well as Jacinda Ardern herself, the Call led to substantial institutional changes to the Global Internet Forum to Counter Terrorism, and the global roll out of a hash-matching system for terrorist images that is now being widely used by every major platform to analyze every piece of content that every user tries to post.

More work on regulatory threats and jawboning would do well to examine their role in helping create these kinds of more sustained partnerships, which Evelyn Douek has famously called ‘content cartels’ and can come with various serious transparency, accountability issues. We should also pay more attention to the ways in which informal platform governance (and the regulatory threats that may be a part of this informal negotiation) serves the needs of different actors — and the ways that they influence industry investment (and underinvestment) in certain policy areas. If everyone is banking political capital, the platforms included, how can advocates, activists, and academic observers help ensure that this political capital is being spent responsibly by platforms and policymakers alike?

[Traducción al español]

Capital político y gobernanza informal de plataformas

Los observadores cercanos de la gobernanza de plataformas y la moderación de contenido entienden ampliamente, pero quizás se menciona menos ampliamente en la literatura académica interdisciplinaria sobre el tema, que la política de plataformsa se configura de una manera extremadamente pragmática y políticamente motivada. Cuando el personal de confianza y seguridad de la empresa decide internamente cambiar sus políticas o su aplicación en un tipo de contenido o área temática de políticas, generalmente tienen en mente un grupo objetivo al que pueden comunicar esos cambios. Esto se debe a que el cambio de políticas de plataforma es un juego de dos niveles: uno que impacta no sólo la experiencia de los usuarios en la plataforma, sino que también, de manera crucial, afecta la posición de una empresa frente a los gobiernos y ciertas partes interesadas en la gobernanza.

Recientemente, Brian Fishman, quien pasó muchos años en Facebook como gerente de políticas y jefe de su equipo de “Individuos y organizaciones peligrosas”, proporcionó una explicación inusualmente clara y sincera de esta dinámica en el podcast Moderated Content. Al explicar el proceso interno de deliberación de políticas en torno a algunos cambios proactivos que Facebook estaba considerando y que, según Fishman, harían que algunas políticas en torno al extremismo violento fueran más transparentes externamente, fue claro acerca de cómo pensaba la compañía sobre si sus cambios voluntarios de gobernanza producirían o no resultados en términos de capital político, y en relación a quién:

“Una de las preguntas que me hicieron mientras pensábamos en esto fue: ¿Esto nos dará alguna victoria? ¿Esto nos dará algo? No fue la única pregunta, pero fue una de las preguntas. ‘y Tuve que regresar y decir, no, no creo que eso nos vaya a dar nada. Vamos a liderar la industria en materia de transparencia en torno a estas cosas y no nos dará ningún crédito ante los medios. para no darnos crédito ante los activistas… y ese es un argumento perdido [internamente]”.

El actual debate político y académico en torno a la regulación de contenidos informal gira en torno a la cuestión de cómo y por qué las principales plataformas realizan cambios (potencialmente impactantes y de gran alcance) en sus políticas y en la aplicación de las mismas sin recibir instrucciones explícitas para hacerlo mediante un marco regulatorio vinculante. En ese sentido, pensar en los cambios voluntarios en las políticas de plataforma a través de la lente del capital político ofrece un ángulo ligeramente diferente desde el cual abordar la conversación en torno a las jawboning y la “regulación en la sombra”. Si las plataformas siempre buscan obtener “crédito” de diferentes actores por su acción responsable, entonces las líneas de comunicación claras entre los reguladores y/u otros actores gubernamentales podrían simplemente proporcionar un mecanismo más ágil a través del cual esas plataformas puedan obtener crédito y acumular los tipos de ¿Capital político que están buscando de todos modos?

En mi libro reciente, The Politics of Platform Regulation: How Governments Shape Online Content Moderation, sugiero que los formuladores de políticas que buscan lograr que las plataformas cambien su comportamiento tengan aproximadamente tres estrategias que pueden seguir en sus esfuerzos por lograrlo: pueden convencer a las plataformas para que cambien voluntariamente, pueden colaborar con plataformas e intentar desarrollar nuevos estándares o prácticas juntos, o pueden cuestionar lo que las plataformas están haciendo e intentar superponer reglas nuevas y vinculantes destinadas a obligar a las plataformas a actuar. Las estrategias convincentes, en las que encajaría la amplia gama de diferentes acciones útilmente mapeadas en la ‘brújula de amenazas’ del CELE, persisten porque tienen beneficios tanto para los gobiernos como para las plataformas.

Para los formuladores de políticas, aplicar presión informal a las plataformas es un esfuerzo de bajo costo para tal vez lograr algunas de sus preferencias, con el beneficio adicional de (dependiendo de la técnica específica implementada) indicar que se están tomando las cosas en serio. Sospecho que existe una compensación entre estos dos factores, ya que es menos probable que la presión pública (por ejemplo, cartas abiertas, discursos) de los gobiernos resulte en un cambio que las formas de comunicación secretas y de cara a las empresas (reuniones, comunicaciones directas). Las plataformas saben que la grandilocuencia frente al público tiene como objetivo principal ser una señal para los pares y electores de un formulador de políticas.

Para las empresas, responder a la presión informal les permite señalar sus capacidades y “seriedad” en diversos temas directamente a las partes interesadas sin los onerosos requisitos de una regulación formal. Es una posibilidad para que las plataformas obtengan “triunfos” y acumulen capital político con ciertos formuladores de políticas, sin necesariamente tener que señalar públicamente que algo ha cambiado (y, por lo tanto, enfrentar la reacción de los usuarios). Tampoco es vinculante: una empresa simplemente puede no implementar o retractarse de sus ‘compromisos’ privados en cualquier momento y por cualquier motivo, y debido a cuestiones bien documentadas de observabilidad de la plataforma, será extremadamente difícil para los reguladores verificar realmente si las prácticas de la industria realmente han cambiado o no. Sí, puede haber amenazas y coerción detrás de estas interacciones, pero al final del día, las empresas toman la decisión interna de aceptarlas o no. En muchos países, sospecho que las plataformas preferirían estar sujetas a nuevos marcos regulatorios costosos y onerosos.

Debido al problema de garantizar que los intermediarios realmente cumplan con las demandas regulatorias informales, su éxito generalmente se limita a áreas donde puede obtener ganancias claras y observables para los responsables de las políticas. “Jawboning” y ayudar a los formuladores de políticas a tratar de eliminar ciertos contenidos, páginas o cuentas, por ejemplo, con su presión informal funcionando como una forma de “señalización confiable”. Por supuesto, si estos contenidos son perfectamente legítimos y se eliminan por razones políticas, esta interacción se vuelve especialmente problemática desde un punto de vista normativo, como se ha explorado bien en la literatura existente. En mi libro, sin embargo, sugiero que la gobernanza informal de la plataforma es más eficaz para lograr un cambio más amplio cuando conduce no sólo a formas ad hoc de negociación de políticas sobre contenidos específicos o incluso políticas, sino más bien cuando crea el impulso para una colaboración más institucionalizada.

Un ejemplo de esto es el Llamado de Christchurch para “eliminar el contenido terrorista y de extremismo violento en línea”, que condujo, al principio, a una declaración conjunta no vinculante y muy general firmada por un grupo de empresas de plataformas, así como por varios gobiernos. Poco se habría logrado de manera tangible si el asunto se hubiera detenido allí, pero tras una intensa presión informal de los Ministerios de Asuntos Exteriores de Nueva Zelanda y Francia, así como de la propia Jacinda Ardern, el Llamamiento condujo a cambios institucionales sustanciales hasta el Foro Global de Internet para Contrarrestar el Terrorismo, y el lanzamiento global de un sistema de comparación de hash para imágenes terroristas que ahora está siendo ampliamente utilizado por todas las plataformas principales para analizar cada pieza. de contenido que cada usuario intenta publicar.

Sería bueno trabajar más sobre las amenazas regulatorias y las críticas para examinar su papel a la hora de ayudar a crear este tipo de asociaciones más sostenidas, que Evelyn Douek ha llamado “cárteles de contenido” y que pueden conllevar varios problemas graves de transparencia y rendición de cuentas. También deberíamos prestar más atención a las formas en que la gobernanza informal de la plataforma (y las amenazas regulatorias que pueden ser parte de esta negociación informal) satisface las necesidades de los diferentes actores, y las formas en que influyen en la inversión (y la subinversión) de la industria. en determinados ámbitos políticos. Si todo el mundo acumula capital político, incluidas las plataformas, ¿cómo pueden los defensores, activistas y observadores académicos ayudar a garantizar que este capital político sea gastado de manera responsable tanto por las plataformas como por los formuladores de políticas?