Launching an Evaluation of OGP
Lanzamiento de una Evaluación de OGP
The Department for International Development (DFID), Open Society Foundation and the Hewlett Foundation are jointly supporting an independent, multi-country, multi-policy evaluation of OGP. The evaluation is set to kick off in Colombia, Nigeria, Ukraine, the Philippines, South Cotabato, Kenya and Elgeyo-Marakwet County. The initial policy areas being studied in these countries are beneficial ownership, open contracting, and citizen engagement. The country and policy level focus is intentional as the evaluation seeks to understand complex change processes and prioritize depth over breadth. While the in-depth investigations will generate insights and reveal patterns which are more broadly relevant – the evaluation is not looking to reach judgements on the effectiveness and relevanceAccording to the OGP Articles of Governance, OGP commitments should include a clear open government lens. Specifically, they should advance at least one of the OGP values: transparency, citizen partic... of OGP as a whole.
Through a competitive bidding process, Oxford Policy Management (OPM) has been selected to conduct the evaluation. It will address core questions around the relevance, effectiveness, efficiency and impact of the OGP platform and strategies on reform processes in different contexts, including an analysis of the factors that drive, distort or block reforms. Where possible, the evaluation will consider the higher-level outcomes of specific policy reforms, such as change in government responsiveness or accountability relationships.
This evaluation is coming at a time in OGP when our staff and long time supporters of OGP are taking stock of eight years of experience supporting open government reformers and asking where and how our support helped move the needle towards reform in those countries. For example, at a recent intensive peer exchange workshop between six OGP countries currently co-creating action plans, we were pleasantly surprised to see the level of engagement of one particular country team. This country is new to OGP with a recent history of political and security challenges. Yet the government Points of Contact (PoCs) and civil society actors not only contributed unique insights on opening government, but worked together with great camaraderie as if they had been a part of OGP for years.
My teammate in charge of supporting that country however was quick to point out that the situation looked very different until recently. It took almost a year of regularly convening these reformers, using delicate negotiation and mediation to address crippling issues of trust and help both sides see that they were working towards a shared goal.
OGP staff, its partners, and Steering Committee frequently engage behind the scenes in helping to build critical relationships and alliances that support difficult open government reforms at the country level. But it is challenging to capture that contribution and to narrate in tactile ways the difference being made by the OGP platform. This challenge isn’t unfamiliar to actors working to advance the governance space. We are all aware that progress is unpredictable and nonlinear, and yet it is crucial to understand how our contributions to incremental gains (or lack thereof) add up to something larger – whether its building a global norm on open government or opening the space for more participatory governance at the country level. Actors working in the governance space are getting better at storytelling and increasingly have sophisticated tools to do so. But for those of us who want to validate our contributions with evidence, the challenge is different, daunting, time consuming and often resource-intensive.
The multi-donor funded evaluation is an attempt to address this challenge. It is different from previous studies (see for example here, here and here) of OGP which have focused on OGP’s theory of change and rules of the game at a macro-level. This evaluation takes a slightly longer term lens and dives deep into country level dynamics to understand how the OGP platform is being leveraged. The mix of countries and policy areas balances thematic priorities of OGP, variation in the intensity of support provided by OGP staff and its partners, the maturity of the commitmentOGP commitments are promises for reform co-created by governments and civil society and submitted as part of an action plan. Commitments typically include a description of the problem, concrete action... area, and regional diversity.
At the outset, this evaluation is not intended to be a traditional evaluation which delivers point in time assessments and focuses primarily on accountability of the one being evaluated. OGP staff, its partners and most importantly OGP reformers are the primary audience of the findings of the evaluation. OPM will be applying a developmental evaluation approach to the assessment and this differs from traditional evaluations in that it will generate ongoing and participatory learning for OGP to understand the extent to which our theory of change is playing out as expected. The focus is on supporting reflection, dialogue, learning and decision-making during the two-year lifetime of the evaluation, rather than just delivering a point-in-time judgement with recommendations.
The learning focus and flexibility of the evaluation approach is in letter and in spirit. The budget has a built in flexible pool of funding that will enable the evaluation to respond to emerging opportunities and changes, explore new lines of enquiry, and manage unforeseen events. As the evaluation kicks off, we’d like to see open government reformers in the selected countries actively engage in the process and inform these decisions to ensure that its useful for everyone. Ultimately we hope that it will help OGP staff, its leadership and partners, and country level reformers to deliver sharper strategies for raising the ambitionAccording to OGP’s Articles of Governance, OGP commitments should “stretch government practice beyond its current baseline with respect to key areas of open government.” Ambition captures the po... and strengthening the implementation of policy commitments, as well as ensuring more inclusive civil society and citizen engagement in the process.
For those of you interested in learning more about the evaluation design and methods, click here. We are excited to start the evaluation and engage with country level reformers in a journey of reflection and learning over the course of the next two years.
El Departamento de Desarrollo Internacional (DFID por sus siglas en inglés), Open Society Foundation y Hewlett Foundation se unieron para apoyar una evaluación independiente de OGP que abarcará diversos países y diversas áreas de política. La evaluación iniciará en Colombia, Nigeria, Ucrania, Filipinas, Cotabato del Sur, Kenia y Elgeyo-Marakwet y las áreas de política en las que se enfocará en dichos países son beneficiarios reales, contratación abierta y participación ciudadana. El enfoque en países y en políticas es intencional, pues la evaluación pretende comprender procesos complejos de cambio y busca hacer un análisis profundo, más que amplio. La investigación reflexionará y evaluará patrones relevantes, pero no busca juzgar la efectividad y relevancia de OGP en general.
A través de una licitación, se seleccionó a Oxford Policy Management (OPM) para llevar a cabo la evaluación. Este estudio responderá algunas preguntas centrales sobre la relevancia, efectividad, eficiencia e impacto que la plataforma y estrategias de OGP han tenido sobre los procesos de reformas en diferentes contextos, incluyendo un análisis de los factores que promueven, alteran o bloquean reformas. En los casos en los que sea posible, la evaluación considerará los resultados de alto nivel de las reformas, por ejemplo cambios en la capacidad de respuesta o en la rendición de cuentas de los gobiernos.
La evaluación surge en un momento en el que el equipo de OGP y sus simpatizantes estamos haciendo un balance de los último ocho años que hemos dedicado a apoyar a reformadores de gobierno abierto y nos preguntamos en dónde y en qué forma nuestro apoyo ha ayudado a impulsar reformas en dichos países. Por ejemplo, durante un taller de intercambio entre seis países de OGP que actualmente están cocreando planes de acción, nos sorprendimos gratamente al ver el nivel de participación de un país en particular. Este país es un nuevo miembro de OGP que ha sufrido retos políticos y de seguridad. Sin embargo, los Puntos de Contacto (PoC por sus siglas en inglés) de gobierno y los actores de la sociedad civil no solamente contribuyeron con ideas de gobierno abierto, sino que trabajaron juntos con gran compañerismo, como si hubieran sido miembros de OGP desde hace años.
Sin embargo, mi compañero de equipo que está a cargo de apoyar a ese país señaló que la situación era muy diferente hace poco. Les tomó cerca de un año reunir de forma regular a estos reformadores, negociando y mediando con cuidado para abordar algunos temas de confianza y ayudar a ambas partes a comprender que están trabajando hacia un objetivo común.
El personal de OGP, sus socios y el Comité Directivo con frecuencia trabajan tras bambalinas para ayudar a establecer alianzas clave para apoyar reformas de gobierno abierto complicadas a nivel de país. Sin embargo, representa un reto capturar dicha contribución y narrar en formas tangibles la diferencia que ha hecho la plataforma de OGP. El reto no es ajeno a los actores que están trabajando en impulsar la gobernanza. Todos sabemos que los avances son impredecibles y no lineares, pero que es fundamental comprender si nuestras contribuciones a los avances graduales (o la falta de ellos) están contribuyendo a algo más – ya sea a crear una norma global de gobierno abierto o a abrir el espacio para una gobernanza más participativa a nivel de país. Los actores que están trabajando en el espacio de la gobernanza están desarrollando sus capacidades de comunicación y cada vez tienen más herramientas a su mano. Pero para los que queremos validar nuestras contribuciones con evidencias, el reto es diferente e intimidante y requiere de mucho tiempo y recursos.
La evaluación es un intento por abordar este reto. Es diferente a otros estudios que se han hecho (por ejemplo éste, éste y éste) de OGP, porque éstos se han enfocado en la teoría de cambio de OGP y en las reglas a nivel macro. Esta evaluación tiene un enfoque de más largo plazo y profundiza en las dinámicas a nivel de país para comprender cómo se está aprovechando la plataforma de OGP. La diversidad de países y de áreas de política equilibran las prioridades temáticas de OGP, la variación en la intensidad del apoyo del equipo de OGP y sus socios, la madurez del área de compromiso y la diversidad regional.
Al inicio, este trabajo no pretende ser una evaluación tradicional que diferentes momentos enfocada principalmente en la rendición de cuentas del evaluado. El personal de OGP, sus socios y, lo que es más importante, los reformadores de OGP son la audiencia principal de los resultados de la evaluación. OPM aplicará una evaluación de desarrollo, lo que la hace diferente de otras evaluaciones porque generará aprendizajes constantes y participativos que permitirán a OGP comprender la medida en la que nuestra teoría de cambio está operando como esperamos. El objetivo es apoyar la reflexión, el diálogo, aprendizaje y toma de decisiones durante los dos años que durará la evaluación y no presentar juicios y recomendaciones.
El enfoque en aprendizaje y flexibilidad de la evaluación será tanto en el espíritu como en la letra. El presupuesto contempla fondos flexibles que permitirán a la evaluación responder a oportunidades emergentes y cambios, explorar nuevas líneas de investigación y manejar eventos inesperados. Nos gustaría ver que los reformadores de gobierno en los países seleccionados participan de forma activa en el proceso y contribuyen a las decisiones para asegurar que sean de utilidad para todos. En última instancia, esperamos que esta evaluación ayudará al equipo de OGP, a sus líderes y socios y a los reformadores de los países a diseñar mejores estrategias para elevar el nivel de ambición y fortalecer la implementación de los compromisos, además de asegurar una sociedad civil más incluyente y promover la participación ciudadana en el proceso.
Si te interesa saber más sobre el diseño y los métodos de la evaluación, haz clic aquí. Nos emociona iniciar con la evaluación y colaborar con los reformadores de los países en un viaje de reflexión y aprendizaje durante los siguientes dos años.
Comments (2)
Aidan Eyakuze Reply
What’s the update on this evaluation? Perhaps six months is too short a time from the start, but some early insights or questions would be wonderful to know about.
Nwadinobi Okezie Reply
This is a welcomed development and we are looking forward to joining in this life changing training and partnership