Algorithms and Human Rights: Understanding Their Impacts
Algoritmos y derechos humanos: Entendiendo sus impactos
Credit: Arlington Research via Unsplash
The increasing use of algorithms for decision-making processes can pose risks and have harmful impacts on privacy and the exercise of human rightsAn essential part of open government includes protecting the sacred freedoms and rights of all citizens, including the most vulnerable groups, and holding those who violate human rights accountable. T.... Human rights algorithmic impact assessments have emerged as an accountability tool to identify potential harms, mitigate unintended impacts, and inform policy decisions on the use of algorithms across key policy areas including health, and educationAccountability within the public education system is key to improving outcomes and attainment, and accountability is nearly impossible without transparent policies and opportunities for participation ....
Government agencies from Canada, Finland, Netherlands, Scotland and the United Kingdom implementing OGP commitments on open algorithms met during Open Gov Week to discuss how human rights principles and frameworks can be built into accountability tools for the public sector use of algorithms. Here are the top three highlights from the discussion:
Algorithmic Impact Assessments and Human Rights
A number of countries have developed algorithmic impact assessments in recent years to address concerns about the possible unintended consequences of introducing algorithms into decision-making. Some are framed explicitly in terms of human rights providing a substantive framework to assess the effects of algorithms on individuals, set against existing legal and constitutional protections. For example, the Netherlands’ Fundamental Rights and Algorithms Impact Assessment (FRAIA) is a tool for public institutions considering developing or purchasing an algorithmic system. It requires them to walk through the Why (purpose), the What (data and data processing) and the How (implementation and use) of the algorithm. Importantly, it ensures that decision-makers undertake an assessment of the likely impact of the use of algorithms on specific human rights. It uses a dialogue-oriented and qualitative approach, requiring consultation with stakeholders and consideration of different trade-offs to reach a final decision on whether and how to proceed.
Another example is Canada’s Algorithmic Impact Assessment (AIA) Tool. The AIA supports the Treasury Board Directive on Automated Decision-Making by determining the impact level of an automation project, which ranges from I (little to no impact) to IV (very high impact). It identifies and assesses potential impacts on individuals and communities in a range of areas, including rights and freedoms, health and wellbeing, economic interests, and ecosystem sustainability. While the current version of the AIA does not refer to specific human rights instruments, the intent is to account for potential impacts on rights enshrined in domestic and international human rights law.
Other countries are developing a sectoral approach, such as the United Kingdom’s impact assessment framework for the National Health Service’s National Medical Imaging Platform.
Engaging the Public in Algorithmic Impact Assessments
There is a need to strengthen both public knowledge of algorithms and public participation in deliberation and decision-making related to their use. Amidst several public controversies (for example in the Netherlands and the U.K.), skepticism is widespread. Meaningful engagement is a prerequisite for building public trust in the positive potential of algorithmic decision-making while mitigating potential harms.
The European Center for Not-for-profit Law (ECNL) presented a review of stakeholder engagement in Human Rights Impact Assessments and identified opportunities for cross-country learning. The undoubted technical nature of algorithms has often been perceived as a major barrier to public engagement. But the review demonstrated that citizens do not need to know the technical details of an algorithm to understand and deliberate its ultimate impacts on everyday life, or how it can disrupt (for good or ill) traditional decision-making processes.
For instance, the U.K. led a deliberative public engagement exercise which resulted in the development of the Algorithmic Transparency Standard for use across the public sector. Other countries have integrated these questions into forums looking at wider issues related to digital technology, including Scotland’s Digital Ethics People’s Panel and Finland’s ‘Digitalization for EveryDay Life’ Advisory Board.
Training Government Officials on Use of Algorithmic Impact Assessments
Civil service training is already happening in many countries in relation to participatory processes and citizen engagement, some are starting to focus more on algorithms, but this is still an emerging area. For example the Netherlands has developed guidelines and training for civil servants. In Finland, the focus is on creating understanding of algorithms across government agencies given that roles are spread among different organizations. In Canada the federal government has developed training modules for public servants that explore the risks, challenges, and ethics of AI technologies. Policymakers overseeing the directive and AIA tool also regularly support federal institutions with completing and publishing Algorithmic Impact Assessments on the Open Government Portal.
As the use of algorithms and artificial intelligence increases across governments in decision-making processes, human rights impact assessments and the accompanying public engagement are vital to ensure this technology does not reinforce or exacerbate existing inequalities in our societies. We hope that the above examples and lessons can support the efforts of governments and civil society to advance algorithmic accountability, including as part of their OGP action plans.
El uso cada vez mayor de los algoritmos para los procesos de toma de decisiones puede representar riesgos y afectar la privacidad y los derechos humanos. Recientemente, se han desarrollado evaluaciones de impacto de los algoritmos en los derechos humanos con el fin de identificar los riesgos potenciales, mitigar posibles impactos negativos y apoyar la toma de decisiones alrededor del uso de algoritmos en diferentes áreas de política como la salud y la educación.
Las instituciones de los gobiernos de Canadá, Finlandia, Países Bajos, Escocia y el Reino Unido que se encuentran implementando compromisos de OGP sobre algoritmos abiertos se reunieron durante la semana de gobierno abierto para discutir cómo incorporar principios de derechos humanos en las herramientas de rendición de cuentas sobre el uso de algoritmos por parte del sector público. A continuación presentamos los mensajes más importantes que surgieron de la discusión.
Evaluaciones de impacto sobre algoritmos y derechos humanos
En años recientes, algunos países han desarrollado evaluaciones de impacto de los algoritmos para atender las posibles consecuencias no deseadas de incorporar algoritmos en la toma de decisiones. Algunas de ellas se enmarcan explícitamente en los derechos humanos, como un marco sustantivo para evaluar los efectos de los algoritmos en las personas frente a los derechos legales y constitucionales existentes. Por ejemplo, la Evaluación de Impacto de los Derechos Humanos y los Algoritmos (FRAIA) de los Países Bajos es una herramienta útil a las instituciones públicas que están considerando desarrollar o adquirir sistemas de algoritmos. Su objetivo es ayudarles a definir el por qué (propósito), el qué (datos y procesamiento de datos) y el cómo (implementación y uso) del algoritmo. Además, asegura que los tomadores de decisiones lleven a cabo evaluaciones del posible impacto del uso de los algoritmos en los derechos humanos. La herramienta utiliza una metodología de diálogo y cualitativa, por lo que exige la consulta con actores y la consideración de diferentes ventajas y desventajas para tomar una decisión sobre si se debe proceder o no y cómo.
Otro ejemplo es la Herramienta de Evaluación de Impacto de los Algoritmos de Canadá (AIA). La AIA apoya la Dirección del Consejo de Tesorería sobre la Toma Automatizada de Decisiones, determinando el nivel de impacto de un proyecto de automatización, desde el nivel I (sin impacto o muy bajo impacto) a IV (muy alto impacto). La herramienta ayuda a identificar y evaluar los impactos potenciales en las personas y las comunidades en diversas áreas, incluyendo los derechos y libertades, salud y bienestar, intereses económicos y sustentabilidad económica. La versión actual de la AIA no hace referencia a instrumentos específicos sobre derechos humanos, pero la intención es tomar en cuenta los impactos potenciales en las leyes sobre derechos humanos nacionales e internacionales.
Otros países están implementando un enfoque sectorial, como el caso del marco de evaluación de impacto del Reino Unido para la Plataforma Nacional de Imagenología Médica del Servicio Nacional de Salud.
Involucrando al público en las evaluaciones de impacto de algoritmos
Es necesario fortalecer el conocimiento del público sobre algoritmos y participación pública en la toma de decisiones. Tras varias controversias públicas (por ejemplo en los Países Bajos y en el Reino Unido), hay un escepticismo generalizado. Para construir la confianza en el uso de los algoritmos para la toma de decisiones y mitigar daños potenciales, es necesario promover una verdadera colaboración.
El European Center for Not-for-profit Law (ECNL – Centro Europeo para el Derecho sin Fines de Lucro) presentó un estudio sobre la participación de actores en las evaluaciones de impacto de derechos humanos e identificó oportunidades para el aprendizaje entre países. La naturaleza técnica de los algoritmos se ha percibido como una barrera a la participación ciudadana, pero este estudio demostró que la ciudadanía no tiene que conocer los detalles técnicos de los algoritmos para comprender sus impactos en sus vidas o cómo puede alterar (para bien o para mal) los procesos tradicionales de toma de decisiones.
Por ejemplo, el Reino Unido llevó a cabo un ejercicio participativo de participación pública que resultó en el desarrolló de un estándar de transparencia de algoritmos a ser utilizado por el sector público. Otros países han integrado estas preguntas en foros relacionados con la tecnología digital, por ejemplo el Panel de Ética Digital de Escocia y el Consejo Asesor “Digitalización para la vida cotidiana” de Finlandia.
Capacitación a funcionarios en el uso de evaluaciones de impacto de algoritmos
En muchos países ya se están capacitando a funcionarios sobre procesos participativos y vinculación ciudadana y algunos están enfocándose en los algoritmos, pero ésta es aún un área emergente. Por ejemplo, los Países Bajos desarrollaron lineamientos y capacitaciones a funcionarios. Finlandia se ha enfocado en promover un entendimiento de los algoritmos entre las instituciones de gobierno, ya que las funciones son de diferentes organizaciones. En Canadá, el gobierno federal desarrolló módulos de capacitación para ayudar a los funcionarios a analizar los riesgos, retos e implicaciones éticas de la inteligencia artificial. Los tomadores de decisiones que están supervisando la Dirección y la herramienta de AIA apoyan a las instituciones en el desarrollo y publicación de evaluaciones de impacto de los algoritmos a través del portal de gobierno abierto.
El uso de los algoritmos y la inteligencia artificial seguirá creciendo en los procesos de toma de decisiones de las instituciones de gobierno, por lo que serán fundamentales las evaluaciones de impacto en los derechos humanos y la participación ciudadana para asegurar que estas tecnologías no exacerben las desigualdades ya presentes en la sociedad. Esperamos que estos ejemplos y lecciones puedan ayudar a los gobiernos y la sociedad civil a mejorar la rendición de cuentas sobre algoritmos, entre otras acciones como parte de sus planes de acción de OGP.
Comments (2)
Bienvenido Pascual Encuentra (Secretario de ALGOVERIT) Reply
Soy secretario de la Asociación ALGOVERIT, que tiene por objetivo informar a los ciudadanos sobre los buenos y malos usos de la IA y los algoritmos, así como de la defensa de la participación de la sociedad en el establecimiento de un marco regulatorio que respete la libertad colectiva, personal y minimice las posibilidades de discriminación negativa. Tal vez podríamos mantener contactos fructíferos en un próximo tiempo.
Stentamente,
Bienvenido Pascual Encuentra
Secretario de ALGOVERIT
Leave a Reply
Related Content
Open Algorithms Network
Learn about OGP's informal network of implementing governments, which mobilizes a cross-country coalition of those working on algorithmic accountability.
Algorithmic Accountability for the Public Sector
The Ada Lovelace Institute, AI Now Institute, and OGP have partnered to launch the first global study to analyze the initial wave of algorithmic accountability policy for the public sector.
Challenges and Solutions
Making Algorithms Accountable to Citizens
At RightsCon 2021, government officials and civil society organizations, including members of the Open Algorithms Network, discussed their experience implementing algorithm transparency ...
ABDELKADER ESSOUSSI Reply
L’évolution des algorithmes ou l’intelligence artificielle au service de la participation citoyenne et surtout dans les sujets des droits de l’homme , l’existence des plateformes , l’expression orale et écrite et les obligations et les éthiques ( plagiat et intelligences collectives ) de la digitalisation.