Open Algorithms: Experiences from France, the Netherlands and New Zealand
Algoritmos abiertos: Las experiencias de Francia, Países Bajos y Nueva Zelanda
Credit: Fatos Bytyqi via Unsplash
This piece is part of OGP’s “Open Algorithms Blog Series.” Read other posts in the series here.
Algorithms – analytical systems that process data and supplement or replace decision-making previously undertaken by people – have become an essential way for governments to improve delivery of public services and implementation of policy. More and more, governments are using algorithms to make decisions that have a concrete impact on people’s lives, from allocating heart transplants to filling vacancies at daycare centres.
It’s crucial that citizens can access information about how these decisions are made and what data is used to build these algorithms, and have the know-how and opportunity to challenge automated processes. Cases, such as a pilot immigration program used in New Zealand and the Dutch System Risk Indication (SyRI) benefits fraud detection system, show how important it is to embed transparencyAccording to OGP’s Articles of Governance, transparency occurs when “government-held information (including on activities and decisions) is open, comprehensive, timely, freely available to the pub... More, accountability, digital rights and user-engagement into government automated decision-makingAs governments are increasingly turning to algorithms to support decision-making for public services, transparency and accountability of algorithm use is necessary to minimize their harm and increase ... processes.
Last month, the Open Government Partnership (OGP) hosted an online exchange of officials from three implementing agencies in the Partnership: Etalab from the Government of France, the Association of Municipalities of the Netherlands, and the Government Chief Data Steward from the New Zealand Government, to exchange experiences, and dig into some of the challenges in opening up algorithms to public scrutiny. Here are some highlights from the discussion:
Communicating complexity
We know from the open dataBy opening up data and making it sharable and reusable, governments can enable informed debate, better decision making, and the development of innovative new services. Technical specifications: Polici... movement that transparency is insufficient – a data dump on a portal is not meaningful without sufficient awareness, educationAccountability within the public education system is key to improving outcomes and attainment, and accountability is nearly impossible without transparent policies and opportunities for participation ... and participation. The same principle applies to algorithms.
We need to enable citizens to exercise their rights and hold their governments accountable in relation to use of algorithms. But there is not yet a broad understanding of what algorithms are, or how they might be used in public decision-making. Additionally, the average person is unlikely to have the technical knowledge or time to look into source code or interpret a dataset. With this in mind, it may be more helpful to focus public engagement and discussions on specific case studies and issues around data sharing and consent.
As part of the Netherlands’ OGP commitment on open algorithms, reformers brought together 150 people from all walks of life, including civil society, artists and scientists, to raise awareness and talk about the government’s use of algorithms. Additionally, an interview with the policy-makers has been published to help with public understanding. Such government efforts can be supported by increased activism on the part of civil society to help demonstrate the value of opening up algorithms.
It’s also important to seize the opportunity of heightened public interest, which can emerge in the wake of scandals, or as we currently see in the midst of the pandemic. COVID-19 presents a clear opportunity to educate citizens on their digital rights, given the current focus on privacy and data use in relation to track and tracing apps.
Building government capability
It’s not just citizens who need more information and knowledge about algorithms. Inside government, there is also a need to train and equip civil servants with the right expertise, as well as increase awareness of the benefits and importance of additional complex procedures, such as impact assessments. That’s why all three countries have developed guidance to help governments and civil servants navigate the responsible use of algorithms (France, Netherlands and New Zealand). Etalab in France has also been working to support government agencies in the implementation of the legal framework that supports accountability and transparency of public sector algorithms.
Surfacing and addressing bias
All data, and therefore all algorithms, contain bias. The key is to understand where bias could lie, and how to handle the data and its processing fairly, and in line with community expectations. Data ethics training for civil servants is crucial and could be accompanied by expert advisory groups, such as the one set up in New Zealand, in order to help manage risks and define responsibilities.
Developing international standards
As government use of algorithms increases, there is growing discussion about international standards, and how to reconcile different approaches and find commonalities. Standards can be more effective if accompanied by a professional accountability body and grievance mechanisms, underscored by an appropriate legal framework. If there is wider interest, OGP could work with partners to start looking into the existing standards (e.g. OECD Principles on AI), and other resources, inventories (e.g. Algorithm Watch’s AI Ethics Guidelines Global Inventory), guidelines and concrete use cases, to help identify what has or hasn’t been working.
Next steps
Etalab, the Association of Municipalities of the Netherlands, and New Zealand’s Government Chief Data Steward are considering ways to continue their productive discussions. OGP also wants to engage a broader group of governments, civil society and international partners from other regions to drive this discussion forward, and explore other questions such as transparency and accountability of government procurement of algorithms and AI systems, how to approach impact assessments, and how this topic relates to COVID-19. Watch this space!
FRANCE
| What They’re Doing |
| Etalab has been focusing on how to help agencies fulfill their legal obligations in terms of explainability and transparency. In this context, Etalab has produced two guidance documents for agencies: one on opening public source codes and one on the legal framework of accountability and transparency of public sector algorithms. Their work is also grounded in accompanying agencies on specific case studies. In June 2019, Etalab wrote a paper outlining their approach. |
| Legislative framework? |
| Yes – the 2016 ‘Law for a Digital Republic’, introduced new provisions concerning public algorithms. These provisions aim to introduce greater transparency and accountability of the administration in the use of these systems, in particular when they are used to make decisions. |
| OGP CommitmentOGP commitments are promises for reform co-created by governments and civil society and submitted as part of an action plan. Commitments typically include a description of the problem, concrete action... |
| ‘Improving transparency of public algorithms and source codes’, Commitment #6, AP 2018-2020 |
NETHERLANDS
| What They’re Doing |
| The Ministry of Justice and Safety and The Ministry of the Interior, among others, published guidelines on the use of algorithms by the government, with public values as an important focus.In 2019 research was conducted on the oversight of the government’s use of algorithms. The Dutch National Chamber of Audit has been researching the use of algorithms in the public sector since February 2020. The Dutch government is considering a tri-level approach, looking at utilisation, implementation and adoption of open algorithms. |
| Legislative framework? |
| No |
| OGP Commitment |
| ‘Open Algorithms’, Commitment #6, AP 2018-2020 |
NEW ZEALAND
| What They’re Doing |
| In 2018 the Government Chief Data Steward and the Privacy Commissioner published the Principles for the Safe and Effective use of Data and Analytics to guide government agency practices.In October 2018 the government published a stocktake of operational algorithms used by government agencies.In June 2019 the Government Chief Data Steward convened an independent Data Ethics Advisory Group and in October 2019, announced public consultation on a proposed algorithm charter for government agencies. |
| Legislative framework? |
| No |
| OGP Commitment |
| ‘Review of government use of algorithms’, Commitment #8, AP 2018-2020 |
Download the examples as a PDF here.
Featured Photo Credit: Unsplash
Este artículo forma parte de la serie de artículos sobre algoritmos abiertos de OGP. Para leer el resto de los artículos de la serie, haz clic aquí.
Los algoritmos, sistemas analíticos que procesan datos y reemplazan la toma de decisiones por personas, se han convertido en un elemento fundamental de la provisión de servicios públicos y la implementación de las políticas de gobierno. Cada vez más, los gobiernos están utilizando algoritmos para tomar decisiones que afectan la vida de las personas, por ejemplo quién recibe un trasplante de órganos o qué personas contratar para trabajar en una guardería
Es fundamental que los ciudadanos tengan acceso a información sobre cómo se toman estas decisiones y qué datos se están utilizando para crear los algoritmos y que tengan los conocimientos necesarios para cuestionar las decisiones que se tomaron de forma automatizada. Algunos casos como el programa piloto de inmigración de Nueva Zelanda y el sistema de indicación de riesgos de los Países Bajos han sido fortalecidos con sistemas de detección de fraudes, demostrando la importancia de incorporar transparencia, rendición de cuentas, derechos digitales y participación de los usuarios en los procesos de toma de decisiones automatizada.
El mes pasado, Open Government Partnership (OGP) organizó un intercambio virtual con funcionarios de tres agencias implementadoras de la alianza: Etalab del Gobierno de Francia, la asociación de municipios de los Países Bajos y el encargado de datos del Gobierno de Nueva Zelanda con el fin de intercambiar experiencias y analizar algunos de los retos que han enfrentado en sus procesos de apertura de los algoritmos al escrutinio público. A continuación presentamos las conclusiones más importantes que surgieron en la discusión:
Transmitir la complejidad
Sabemos por la experiencia del movimiento de datos abiertos que la transparencia no es suficiente: publicar datos en un portal tiene sentido si no existe sensibilización, educación y participación. El mismo principio aplica al caso de los algoritmos.
Es necesario capacitar a los ciudadanos de manera que puedan ejercer sus derechos y exigir a sus gobiernos que rindan cuentas sobre el uso de los algoritmos. Pero la ciudadanía en general aún no sabe que se utilizan los algoritmos o cómo se pueden utilizar en la toma de decisiones. Además, el ciudadano promedio no tiene conocimiento técnico ni el tiempo necesario para analizar los códigos o interpretar los datos. En ese sentido, probablemente sea más útil enfocar la participación pública en casos de estudio específicos y temas sobre cómo se comparten los datos y el consentimiento.
Como parte de un compromiso que los Países Bajos establecieron en el marco de OGP sobre algoritmos abiertos, un grupo de reformadores reunió a 150 personas de diferentes grupos, incluyendo a la sociedad civil, artistas y académicos, para sensibilizarlos y discutir el uso de algoritmos por el gobierno. Además, se publicó una entrevista con los actores que diseñan políticas públicas para mejorar el conocimiento del público. Por otro lado, los activistas de la sociedad civil pueden complementar los esfuerzos de los gobiernos, demostrando el valor de la apertura de los algoritmos.
Además, es importante aprovechar el interés del público que surge en ciertos casos como cuando se registra un escándalo o, como lo estamos viviendo, en el contexto de la pandemia. La atención que ha surgido sobre la privacidad y el uso de datos, el COVID-19 representa una oportunidad para educar a la ciudadanía en sus derechos digitales.
Desarrollar las capacidades del gobierno
La ciudadanía no es el único grupo que requiere de información y conocimiento sobre algoritmos. Al interior del gobierno también hay la necesidad de capacitar y equipar a los funcionarios con experiencia, además de sensibilizarlos sobre los beneficios y la importancia de los procedimientos complejos, por ejemplo las evaluaciones de impacto. Es por ello que Francia, Países Bajos y Nueva Zelanda han desarrollado guías para ayudar a los gobiernos y funcionarios a estudiar el uso responsable de los algoritmos. Etalab de Francia ha estado trabajando en apoyar a las instituciones de gobierno en la implementación de un marco legal que apoya la rendición de cuentas y transparencia de los algoritmos del sector público.
Identificar y eliminar sesgos
Todos los datos y, por lo tanto, todos los algoritmos tienen sesgos. La clave es identificar en dónde están esos sesgos y cómo manejar los datos y su procesamiento de forma justa y alineada con las expectativas de la comunidad. Es indispensable capacitar a los funcionarios en la ética de los datos y estos esfuerzos podrían estar acompañados de grupos asesores, como el que estableció Nueva Zelanda, para ayudar a manejar los riesgos y definir las responsabilidades.
Desarrollar estándares internacionales
El uso de algoritmos por parte de los gobiernos está aumentando; en ese sentido está surgiendo una discusión sobre estándares internacionales y sobre cómo alinear diferentes metodologías para identificar puntos en común. Los estándares pueden ser más efectivos si están acompañados de un organismo de rendición de cuentas y de mecanismos de denuncias y con el respaldo de un marco legal adecuado. Si existe el interés, OGP podría trabajar con algunos socios y empezar a analizar los estándares existentes (por ejemplo, los principios sobre inteligencia artificial de la OCDE) y otros recursos, inventarios (por ejemplo, el inventario global de principios éticos sobre inteligencia artificial de Algorithm Watch), lineamientos y casos de estudio concretos con el fin de identificar qué ha funcionado y qué no.
Siguientes pasos
Etalab, la asociación de municipios de los Países Bajos y el encargado de datos del Gobierno de Nueva Zelanda están identificando formas de seguir impulsando la discusión. Además, OGP quiere invitar a un grupo amplio de gobiernos, organizaciones de la sociedad civil y socios internacionales de otras regiones para impulsar la discusión y explorar otros temas, por ejemplo la transparencia y rendición de cuentas de los algoritmos y sistemas de inteligencia artificial de las adquisiciones de gobierno, cómo aplicar las evaluaciones de impacto y cómo se relaciona el tema con el COVID-19.
FRANCIA
| Qué está haciendo |
| Etalab se ha enfocado en cómo ayudar a las instituciones a cumplir con sus obligaciones legales en términos de justificación y transparencia. En ese contexto, elaboraron dos documentos de orientación para las instituciones, uno sobre la apertura de códigos y uno sobre el marco legal de transparencia y rendición de cuentas de los algoritmos del sector público. Además, están acompañando a las instituciones en el seguimiento a casos de estudio específicos.
En junio de 2019, Etalab publicó un artículo sobre su enfoque. |
| ¿Marco legal? |
| En 2016, se publicó la Ley para una República Digital en la que se identificaron nuevas disposiciones sobre algoritmos públicos. Dichas disposiciones buscan aumentar la transparencia y rendición de cuentas de la administración alrededor del uso de estos sistemas, en particular en lo que se refiere a los procesos de toma de decisiones. |
| Compromiso de OGP |
| Compromiso 6, plan de acción 2018-2020 : “Mejorando la transparencia de los algoritmos públicos y los códigos fuente” |
PAÍSES BAJOS
| Qué está haciendo |
| El ministerio de justiciar y seguridad y el ministerio del interior, entre otros, publicaron una serie de lineamientos sobre el uso de algoritmos por el gobierno, enfocándose en los valores públicos.
En 2019, llevaron a cabo una investigación sobre la supervisión del gobierno sobre el uso de los algoritmos. La cámara de auditorías ha investigado el uso de los algoritmos en el sector público desde febrero de 2020. El Gobierno de los Países Bajos está considerando un enfoque triple, considerando el uso, implementación y adopción de algoritmos abiertos. |
| ¿Marco legal? |
| No |
| Compromiso de OGP |
| Compromiso 6, plan de acción 2018-2020: “Algoritmos abiertos” |
NUEVA ZELANDA
| Qué está haciendo |
| En 2018, el encargado de datos y el comisionado de privacidad publicaron los principios para el uso seguro y efectivo de datos y análisis con el fin de orientar las prácticas de las instituciones.
En octubre de 2018, el gobierno publicó un inventario sobre los algoritmos utilizados por las instituciones de gobierno. En junio de 2019, el encargado de datos convocó un grupo asesor sobre ética de datos y en octubre de 2019 anunciaron una consulta pública sobre una propuesta de estatuto de algoritmos para las instituciones de gobierno. |
| ¿Marco legal? |
| No |
| Compromiso de OGP |
| Compromiso 8, plan de acción AP 2018-2020: “revisión del uso de algoritmos por parte del gobierno” |
Alex Cooper Reply
Can policy be decided by an algorithm?
What moral compass is built into the algorithms?
Opening up the algorithms to (expert) public scrutiny does not amount to accountability.
Delegating decisions to an automated system means less accountability not more. Officials can say “it wasn’t me, the computer decided”
And it also means LESS CITIZEN PARTICIPATION in decision making, not more. Why consult people when all you have to do is collect data and feed it into the machine?
However, all we may be talking about here is pattern detection in benefit fraud detection? The examples are sketchy – a pilot immigration program means what? A system to count the number of points a person has to decide whether to allow citizenship? Isn’t that called a calculator? Or will the system be allowed to take away point from certain individuals it doesn’t like and award bonus points to others – based on what?
The details of these systems don’t matter if the principles behind them are flawed.
charter2019.uk
Diego Cota Reply
Alex, quizás convenga un modelo híbrido. Donde un algoritmo imparcialmente seleccione a las personas que tengan injerencia en la decisión a tomarse. Puede comenzar con decisiones hiper-locales y hacer un goteo gradual hacia macro decisiones. Por ejemplo, si un gobierno estatal decide incluir en su plan la construcción de una avenida para desfogar el tráfico de un sector particular de la ciudad, el algoritmo pudiera seleccionar los ingenieros viales, civiles, ciudadanos afectados por la expropiación de terrenos, propietarios de casas cercanas a la avenida, propietarios de establecimientos que pudieran ser mermados en sus ventas durante la construcción, etc. Y hacer modearación de las alternativas presentadas entre los participantes. De esa manera se focaliza la capacidad de decisión entre los afectados directos. Cuando ocurre un consenso, el proyecto se “gradúa” y compite por la asignación de recursos vs. otros proyectos en igualdad de circunstancias. ¿Hace sentido?