Making Algorithms Accountable to Citizens
Algoritmos que rinden cuentas a la ciudadanía
This piece is part of OGP’s “Open Algorithms Blog Series.” Read other posts in the series here.
Today, AI Now Institute, Ada Lovelace Institute and the Open Government PartnershipThe Open Government Partnership (OGP) is a multi-stakeholder initiative focused on improving government transparency, ensuring opportunities for citizen participation in public matters, and strengthen... More (OGP) launched the first of its kind study that analyzes the initial wave of policy frameworks that promote transparencyAccording to OGP’s Articles of Governance, transparency occurs when “government-held information (including on activities and decisions) is open, comprehensive, timely, freely available to the pub... More and accountability of governments’ use of algorithms across several jurisdictions.
Since most of these policies are still in very nascent stages of implementation, the study covers early implementation trends rather than longer-term impact and provides guidance and lessons for policymakers responsible for implementation. You can find some of the key findings here and access the full report here.
At RightsCon 2021, government officials and civil society organizations, including members of the Open Algorithms Network, discussed their experience implementing algorithm transparency initiatives and engaging the public in algorithmic policy. Here are some of the insights and challenges they shared, which contributed greatly to the findings of the report:
- Algorithms are complex and levels of public awareness vary. Because of heightened media attention across different countries and several scandals like in the Netherlands and the UK, people are becoming more aware and concerned about how public sector use of data and algorithms can significantly impact them. But to go beyond that and achieve meaningful transparency and participation, it is important to make the information comprehensible to the public (such as France did by using a video to explain an algorithm), engage with affected communities on the design and implementation of algorithms, and provide concrete mechanisms for public scrutiny. Some of the early lessons of the public consultations implemented around the Algorithms Charter in New Zealand suggest there is a need to proactively engage with the public in early stages through workshops, the media, and partnerships with marginalized communities, as well as provide multi-phase feedback opportunities.
- There is a lack of shared or consistent language. Concepts like algorithms, automated decision-makingAs governments are increasingly turning to algorithms to support decision-making for public services, transparency and accountability of algorithm use is necessary to minimize their harm and increase ... and artificial intelligence are used with different meanings and understandings across jurisdictions and communities. As in all emergent policy areas, building a common understanding takes time, but to meaningfully engage citizens and to coordinate policy with the different government agencies that use algorithms, it is important to work towards overcoming ambiguity.
- The availability and quality of the data shouldn’t be underestimated. The data inputted into an algorithm impacts the output of the decision on areas like health, educationAccountability within the public education system is key to improving outcomes and attainment, and accountability is nearly impossible without transparent policies and opportunities for participation ..., public contracting, and others. Low quality data, that is produced with little or no oversight from the public, as well as missing data from specific groups (usually the most marginilized) can introduce bias and discrimination into algorithms and result in poor and discriminatory policy decisions. Efforts to improve the quality and availability of data need to be strengthened.
- The legal and policy frameworks that support the implementation of algorithmic accountability matter. Cross-cutting frameworks around areas like access to information, data protection regulationGovernment reformers are developing regulations that enshrine values of transparency, participation, and accountability in government practices. Technical specifications: Act of creating or reforming ..., digital infrastructure and accountability in administrative law, which vary across regional contexts and countries, can have an impact in the implementation of algorithmic accountability policies. This is especially important in contexts or countries where conversations around artificial intelligence and algorithmic policy are still in very nascent stages. As the use of algorithms in the public sector continues to increase, algorithmic accountability can also be looked at as a portal to discuss systemic issues related to foundational frameworks.
As we approach OGP’s 10th anniversary and with more than 100 countries and local members co-creating their action plans this year, OGP’s co-chairs have made a concrete call to action to all members to promote inclusive digital innovation in their action planAction plans are at the core of a government’s participation in OGP. They are the product of a co-creation process in which government and civil society jointly develop commitments to open governmen... commitments. We hope that the lessons from this study and peer learning discussions can support the efforts of governments and civil society to advance algorithmic accountability, including as part of their OGP action plans.
Hoy, AI Now Institute, Ada Lovelace Institute y la Alianza para el Gobierno Abierto (OGP por sus siglas en inglés) lanzaron el primer estudio de su tipo que analiza la ola de marcos legislativos que promueven la transparencia y rendición de cuentas de los algoritmos utilizados por los gobiernos de diversas jurisdicciones.
La mayoría de estas políticas se encuentran en las primeras fases de su implementación, por lo que el estudio se enfocó en la implementación temprana y no en los impactos de largo plazo, identificando pautas y lecciones que pueden ser de utilidad para la implementación de estos marcos. En este enlace puedes consultar algunos resultados clave y en este el informe completo.
En el evento RightsCon 2021, funcionarios de gobierno y organizaciones de la sociedad civil, incluyendo miembros de Open Algorithms Network, comentaron su experiencia en la implementación de iniciativas de transparencia en algoritmos y en la comunicación con la ciudadanía alrededor de las políticas de algoritmos. A continuación presentamos algunas reflexiones y retos que compartieron y que fueron clave para los hallazgos del informe:
- Los algoritmos son complejos y hay diferentes niveles de sensibilización entre el público. Gracias a la atención que le han dado los medios en algunos países y como resultado de algunos escándalos como el caso de los Países Bajos y el Reino Unido, la gente es más consciente sobre el uso de los datos por el sector público y cómo los pueden afectar los algoritmos. Pero para ir más allá y lograr una verdadera transparencia y participación, es importante hacer que la información sea accesible al público (como el caso de Francia, que creó un video para explicar los algoritmos), colaborar con las comunidades afectadas en el diseño y la implementación de algoritmos y diseñar mecanismos concretos para el escrutinio público. Algunas lecciones de las consultas públicas implementadas por el Algorithms Charter de Nueva Zelanda sugieren que es necesario involucrar al público de forma proactiva desde el inicio a través de talleres, los medios y alianzas con las comunidades marginadas, además de ofrecer diversas oportunidades de retroalimentación.
- No hay un lenguaje compartido ni consistente. Algunos conceptos como algoritmos, toma automatizada de decisiones e inteligencia artificial se utilizan con diferentes significados en las diferentes jurisdicciones y comunidades. Como en todas las áreas de política emergentes, crear un lenguaje común lleva tiempo, pero para involucrar a la ciudadanía y coordinar las políticas entre las diferentes instituciones de gobierno que utilizan algoritmos, es importante eliminar la ambigüedad.
- No se debe subestimar la disponibilidad y calidad de los datos. Los datos utilizados en los algoritmos impactan los resultados de las decisiones que se toman en áreas como salud, educación, contratación abierta y otros. Cuando se utilizan datos de baja calidad y que se generan sin supervisión del público o cuando no se incluyen datos sobre ciertos grupos (comúnmente los más marginados), los algoritmos se crean con sesgos y discriminación, lo que resulta en decisiones de políticas mal diseñadas y discriminatorias. Por ello, es necesario mejorar la calidad y disponibilidad de los datos.
- Los marcos legales que apoyan la implementación de los algoritmos son de gran importancia. Los marcos transversales en áreas como el acceso a la información, protección de datos, infraestructura digital y rendición de cuentas, las cuales varían en los diferentes contextos regionales y países, pueden tener impacto en la implementación de las políticas de rendición de cuentas de los algoritmos. Esto importa sobre todo en los contextos y países en donde las conversaciones sobre inteligencia artificial y algoritmos son muy incipientes. El uso de los algoritmos sigue creciendo en el sector público, por lo que la rendición de cuentas de los algoritmos puede ser una puerta de entrada para discutir otros problemas sistémicos.
En el marco del próximo décimo aniversario de OGP y considerando que más de 100 países y entidades locales están cocreando planes de acción, los copresidentes de OGP lanzaron un llamado a la acción a promover la innovación digital incluyente en sus compromisos y planes de acción. Esperamos que las lecciones aprendidas a través de este estudio y que las discusiones puedan apoyar los esfuerzos del gobierno y la sociedad civil de impulsar la rendición de cuentas de los algoritmos, entre otras acciones a través de sus planes de acción de OGP.
No comments yet
Related Content
Open Algorithms Network
Learn about OGP's informal network of implementing governments, which mobilizes a cross-country coalition of those working on algorithmic accountability.
Open Algorithms: Experiences from France, the Netherlands and New Zealand
Algorithms - analytical systems that process data and supplement or replace decision-making previously undertaken by people - have become an essential way for governments to improve delivery of public services…
Co-Chair Global Call-to-Action for All OGP Members
In support of Open Renewal, the Co-Chairs of OGP, the Republic of Korea and Maria Baron of Directorio Legislativo, have launched a global call-to-action for all OGP members in 2021…
Leave a Reply