Learning in the Face of Complexity
Aprendizaje en tiempos complejos
What it Looks Like in a Partnership of 100+ Government and Civil Society Working to Open Government
This blog was originally posted on OGP’s Medium page here.
“So, how does the Open Government Partnership learn?” We at the Open Government Partnership (OGP) have been asked this question many times. Sometimes it stems from skepticism that learning can meaningfully happen in a partnership of 100+ national and local governments and thousands of civil society organizations. Sometimes it stems from curiosity because even if learning takes place, the line from learning to decision-making to outcomes is never a straight one, especially in the governance field.
It seems like the right time to attempt to answer this question – particularly as OGP steps into 2021 with a decade of experience in opening government, and an independent evaluation of how we are supporting seven OGP members is underway.
As I began to reflect on what we – the OGP staff – are learning, I couldn’t disconnect it from how we are learning. Organizations don’t learn in a monolithic way. Formal and informal learning systems, practices and culture all combine to inform decision-making. The symbiotic manner in which learning happens is probably best illustrated by our experience in the past 18 months – where a million dollar evaluation has had to leverage (and improve!) OGP’s existing learning practices to maximize learning outcomes.
When the evaluation began in Nigeria, Ukraine, Philippines (+South Cotabato), Colombia and Kenya (+Elgeyo Marakwet), OGP staff and donors funding the evaluation (Foreign, Commonwealth & Development Office, Open Society Foundation and Hewlett Foundation) were excited about its unconventional “developmental evaluation” approach. The focus was not on revelations delivered at the end of the evaluation on how OGP made an impact. Rather it was on OGP using the evaluation to learn and adapt its strategies in real-time, without sacrificing the rigor or accountability of a traditional evaluation. What would that look like in practice? Few of us knew. But everyone including the donors kept an open mind towards this approach – which seemed adaptable enough to withstand the stress test of a pandemic. Here’s how evaluation learning is blending with OGP’s own learning practices – and how it impacts what we learn:
The symbiotic manner in which learning happens is probably best illustrated by our experience in the past 18 months – where a million dollar evaluation has had to leverage (and improve!) OGP’s existing learning practices to maximize learning outcomes.
Real-time learning vs. definitive findings: OGP staff have had to become comfortable with “emerging insights” from an evaluation, which facilitate real-time problem solving and decision-making – rather than definitive findings that emerge when the decision-making opportunity is over. OGP’s staff in each of the seven evaluation cases engage in an ongoing inquiry every month with evaluators to discuss areas where our support seems to be making a difference, where we are hitting roadblocks, and strategies to overcome them. It didn’t take long before OGP staff began to cite new approaches and strategic shifts they were trying in Nigeria, Colombia or the Philippines in response to the emerging insights.
Critical friends enter decision-making spaces: Evaluators using the developmental evaluation approach often label themselves ‘critical friends’. It sounds nice, but the term itself assumes a level of trust with the evaluatee to play the role effectively. Inviting critical friends into OGP’s decision-making spaces, such as monthly leadership team meetings, needed an openness on the part of OGP staff to receive strategic input from individuals who are not direct stakeholders. Donors too have played this role though less explicitly, often bringing their colleagues who are country and subject matter experts into OGP’s learning spaces to inform strategic shifts.
Layered learning is inevitable: Even though country insights are useful for staff in fine tuning strategies in real time, it wasn’t clear how OGP’s leadership could develop a strategic direction for a partnership of a 100+ countries and locals based on emerging insights from less than 10 percent of the Partnership’s sample size. OGP staff are working with the evaluators to layer data from different sources – blending breadth with depth to paint a better picture of what we know about OGP’s theory of change. We combined data collected by OGP and the Independent Reporting Mechanism (IRM)The Independent Reporting Mechanism (IRM) is OGP’s accountability arm and the main means of tracking progress in participating countries. The IRM provides independent, evidence-based, and objective ... on the process, action planAction plans are at the core of a government’s participation in OGP. They are the product of a co-creation process in which government and civil society jointly develop commitments to open governmen... ambitionAccording to OGP’s Articles of Governance, OGP commitments should “stretch government practice beyond its current baseline with respect to key areas of open government.” Ambition captures the po... and results across the Partnership with the rich, textured analysis of what OGP looks like in each of the seven cases of the evaluation.
What are we learning?
Is how we learn and make decisions sequential and predictable? Absolutely not. Are we in a better place to answer what we are learning and make sense of where OGP is contributing? Probably. Here are a few ways our knowledge is either being validated or challenged with new evidence, and how they are informing shifts in our work:
Invest even more in country reformers – individually and collectively: Through campaigns and summits, OGP raises the visibility of the open government agenda and shapes the incentives of political leaders to create the authorizing space for reforms. While we know from the evaluation that these strategies are effective, the experience of OGP staff continually reiterates that it is the individual government and civil society reformers who translate a vision into concrete action and sustain it at the country level. To address this, we dialled up our support to reformers to design better commitments and strengthen, for example, the multi-stakeholder forums (MSF) in OGP countries – which is the platform government and civil society use to jointly determine the country’s open government priorities. Our support has focused on building trust between different actors and ensuring that the functions and structures that govern the MSF facilitate strong collaboration. Thanks to years of IRM data, we now know that investing in commitment design and in stronger MSFs can lead to better ambition and completion of action plans. To scale these efforts, we are starting to offer ‘group-based’ support to these reformers going forward.
Facilitating coalition building continues to have pay-offs: A Partnership-wide improvement in ambition without necessary support given to reformers can lead to problems with demonstrating results. OGP reformers drive the efforts to convene multi-stakeholder groups around specific policy areas, help build a vision and sense of ownership to act on them, and navigate the technical and political aspects of the reforms. We loosely use the term “coalition building” to describe this – but it is one of the most labor intensive and complex efforts for OGP staff to facilitate at scale for a partnership of OGP’s size. Where coalition building efforts gain momentum, the results are notable as the evaluation has highlighted. Our learning from supporting reformers on beneficial ownership in Nigeria, open contracting in the Philippines, fiscal transparency in Colombia and many other countries eventually led us to formalize our support to a set of focus countries, themes and commitments and aim for a higher set of outcomes. We’ve made good progress in helping design more ambitious commitments, but how we support the implementation of those commitments – along with our ecosystem of partners – is an area we are still navigating.
It is the individual government and civil society reformers who translate a vision into concrete action and sustain it at the country level.
The ‘rules of the game’ are being refreshed: One of the strengths of the OGP model has always been that it’s not a talk shop, and countries have to commit to specific policy reforms through their action plans, which are then independently assessed by the IRM. The evaluation is showing that while the structure and formality of the two-year OGP cycle promotes iterative growth and policy ambition, it doesn’t incentivize countries to articulate the broader visions behind policy reforms. There is also a tendency to temper ambition in the action plans, to avoid the risk of underachievement by IRM standards. With a move towards a flexible, multi-year action plan model and sweeping upgrades of the IRM’s assessment method, we are hoping to address the incentives that matter for ambition and delivery in action plans. A longer time frame, or open government strategies with nested OGP action plans in them may deliver more promise – as we are seeing in Spain’s four-year action plan which focuses on policy and sectoral reforms, not the commitmentOGP commitments are promises for reform co-created by governments and civil society and submitted as part of an action plan. Commitments typically include a description of the problem, concrete action... at the project or activity level. Time will tell whether more countries adopt this model and the results begin to discernibly improve.
Calibrating our impact – what’s in our control?
Zooming out, perhaps one of the more clarifying moments in our theory of change came with asking a few questions:
- How can open government reformers use their OGP membership more strategically?
- What kind of support from OGP staff, Steering CommitteeThe Steering Committee is OGP’s executive decision-making body. Its role is to develop, promote and safeguard OGP’s values, principles and interests; establish OGP’s core ideas, policies, and ru... and strategic partners makes the most difference to reformers?
- How and where do we adapt to provide that support at scale to all members of the Partnership versus to a smaller set of targeted reformers?
OGP staff ruminate that our contribution in some countries may be more ‘opportunistic’ or ‘stabilizing’… in other countries, it may be more ‘proactive’ where we leverage a strong ecosystem of reformers and play an accelerator role in taking ambitious reforms to the finish line.
Reminiscent of Liz Ruedy’s models of impact, OGP staff ruminate that our contribution in some countries may be more ‘opportunistic’ or ‘stabilizing’ – preventing democratic backsliding, or generating a culture shift by making the policymaking space more open and participatory. In other countries, it may be more ‘proactive’ where we leverage a strong ecosystem of reformers and play an accelerator role in taking ambitious reforms to the finish line.
I’ve just scratched the surface on how OGP staff are learning and making decisions – in what may be an imperfect but pragmatic way of combining experience and evidence to rapidly adapt the way we support the Partnership. There are many catalysts and change agents in OGP – reformers, our Steering Committee, our strategic and thematic partners. Their voice is equally critical in shaping the priorities and the evolution of the Partnership. This year we hope to surface more of them to define the next decade of OGP.
“¿Cómo aprende la Alianza para el Gobierno Abierto?” El equipo de la Alianza para el Gobierno Abierto (OGP por sus siglas en inglés) se ha planteado esta pregunta muchas veces. A veces la duda surge del escepticismo de pensar que puede haber aprendizaje verdadero en una alianza de más de 100 gobiernos nacionales y locales y miles de organizaciones de la sociedad civil. A veces surge de la curiosidad porque, incluso si hay aprendizaje, el camino desde el aprendizaje hacia la toma de decisiones nunca es simple, sobre todo en el campo de la gobernanza.
Aparentemente estamos en el momento adecuado para intentar responder esta pregunta, sobre todo tomando en cuenta que OGP está por cumplir una década de experiencia en abrir el gobierno. Además, actualmente está en curso una evaluación sobre nuestro apoyo a siete miembros de OGP.
Empecé a reflexionar sobre lo que nosotros, el equipo de OGP, estamos aprendiendo, y no lo pude separar de cómo estamos aprendiendo. Las organizaciones no aprenden de forma monolítica. Sistemas formales e informales de aprendizaje, prácticas y culturas se unen para influir en la toma de decisiones. Podemos ilustrar la forma simbiótica en la que ocurre el aprendizaje con nuestra experiencia estos últimos 18 meses en los que gracias a una evaluación con un valor de un millón de dólares hemos utilizado (y mejorado) las prácticas de aprendizaje existentes en OGP para maximizar nuestro aprendizaje.
Cuando la evaluación inició en Nigeria, Ucrania, Filipinas (y Cotabato del Sur), Colombia y Kenia (y Elgeyo Marakwet), el equipo de OGP y los donantes que financiaron la evaluación (la Oficina de Asuntos Exteriores, Commonwealth y Desarrollo, Fundación Sociedad Abierta y la Fundación Hewlett) se mostraron entusiasmados por esta metodología poco convencional de “evaluación de desarrollo”. La prioridad no serían los hallazgos que se identificarían al final de la evaluación sobre el impacto de OGP, sino que OGP pudiera utilizar la evaluación para aprender y adaptar sus estrategias en tiempo real, sin sacrificar el rigor o la rendición de cuentas de una evaluación tradicional. ¿Qué implica esto en la práctica? Pocos lo sabíamos. Pero todos, incluyendo a los donantes, mantuvimos una mente abierta hacia esta metodología, que parecía ser suficientemente flexible para resistir la prueba de la pandemia. Aquí presentamos cómo la evaluación se está combinando con las prácticas de aprendizaje de OGP y cómo está impactando el qué aprendemos:
Aprendizaje en tiempo real vs. hallazgos definitivos: El equipo de OGP tuvo que ajustarse a las “reflexiones emergentes” de la evaluación, las cuales facilitaron la resolución de problemas y la toma de decisiones en tiempo real, a diferencia de los hallazgos definitivos que surgen cuando la oportunidad de tomar una decisión ya pasó. En los siete casos de evaluación, el equipo de OGP participó en una investigación cada mes en la que discutían con los evaluadores en qué puntos el apoyo de OGP está haciendo una diferencia, en cuáles estamos encontrando obstáculos y cuáles son posibles estrategias para sortearlos. Poco después, OGP empezó a mencionar las nuevas estrategias y los cambios que están aplicando en Nigeria, Colombia o Filipinas en respuesta a estas reflexiones anteriores.
Amigos críticos en los espacios de toma de decisiones: Los evaluadores que utilizan la metodología de evaluación de desarrollo se llaman a sí mismos “amigos críticos”. Suena bien, pero el término toma por sentado un buen nivel de confianza con el evaluado. Invitar a los amigos críticos a los espacios de toma de decisiones de OGP, por ejemplo las reuniones mensuales de liderazgo, requirió de una apertura por parte del equipo de OGP para recibir las opiniones de personas que no son actores directamente. Los donantes también participaron en el proceso, aunque de forma menos explícita, incluyendo a sus colegas expertos en los países y en los temas en los proceso de aprendizaje para incidir en los cambios estratégicos.
El aprendizaje estratificado es inevitable: Aunque las reflexiones para cada país son útiles para afinar las estrategias del equipo en tiempo real, no era claro cómo el liderazgo de OGP podría establecer lineamientos estratégicos para una alianza de más de 100 países y gobiernos locales con base en las reflexiones emergentes en una muestra que representaba a menos del 10% de la Alianza. El equipo de OGP está trabajando con los evaluadores para estratificar datos de diferentes fuentes, combinando la amplitud con la profundidad para plantear lo que sabemos sobre la teoría de cambio de OGP. Combinamos los datos colectados por OGP y el Mecanismo de Revisión Independiente (IRM por sus siglas en inglés) sobre el proceso, ambición del plan de acción y resultados de toda la Alianza con un análisis rico y texturizado de OGP en los siete casos de la evaluación.
¿Qué estamos aprendiendo?
¿El cómo estamos aprendiendo y tomando decisiones es un proceso secuencial y predecible? Definitivamente no. ¿Estamos mejor preparados para responder qué estamos aprendiendo y entender en qué puntos OGP está contribuyendo? Probablemente. A continuación presentamos algunas formas en las que nuestro conocimiento está siendo validado o cuestionado con evidencias y cómo las estamos utilizando para modificar nuestro trabajo:
Invertir aún más en los reformadores de los países, de forma individual y colectiva: A través de campañas y cumbres, OGP eleva la visibilidad de la agenda de gobierno abierto y diseña incentivos para que los líderes políticos creen espacios para las reformas. Gracias a la evaluación sabemos que estas estrategias son efectivas, pero la experiencia del equipo de OGP continuamente reitera que son los gobiernos y reformadores de la sociedad civil quienes traducen la visión en acciones concretas y las mantienen en los países. En ese sentido, incrementamos nuestro apoyo a reformadores para diseñar mejores compromisos y fortalecer, por ejemplo, los foros multisectoriales (MSF) por sus siglas en inglés en los países de OGP, que son las plataformas que el gobierno y la sociedad civil utilizan para determinar, de forma conjunta, las prioridades de gobierno abierto del país. Nuestro apoyo se ha enfocado en fortalecer la confianza entre los actores y asegurar que las funciones y estructuras que gobiernan el MSF faciliten una colaboración sólida. Gracias a los datos del IRM, sabemos que invertir en el diseño de compromisos y en MSF más robustos puede llevar a mejores niveles de ambición y cumplimiento. Para escalar estos esfuerzos, estamos empezando a ofrecer apoyo grupal a estos reformadores.
Facilitar la creación de coaliciones sigue generando dividendos: Una mejora en el nivel de ambición de la alianza sin el apoyo necesario a los reformadores puede generar problemas en cuanto al cumplimiento de resultados. Los reformadores de OGP convocan a diferentes grupos multisectoriales sobre áreas de política en particular, ayudan a construir una visión y la apropiación para actuar y navegan los aspectos técnicos y políticos de las reformas. Para describir esta acción utilizamos el término “creación de coaliciones”, pero es uno de los esfuerzos más complejos que el equipo de OGP lleva a cabo para facilitar este trabajo a escala para una alianza del tamaño de OGP. Cuando los esfuerzos de creación de coaliciones cobran fuerza, los resultados son notorios, como lo ha demostrado la evaluación. Lo que hemos aprendido de apoyar a reformadores sobre beneficiarios reales en Nigeria, contratación abierta en Filipinas y transparencia fiscal en Colombia y muchos otros países nos ha llevado a formalizar nuestro apoyo a un grupo de países, temas y compromisos y aspirar a mejores resultados. Hemos logrado buenos avances en ayudar a diseñar compromisos más ambiciosos pero aún estamos analizando en qué medida hemos apoyado la implementación de esos compromisos, junto con nuestros socios.
Estamos actualizando las “reglas del juego”: Una de las fortalezas del modelo de OGP siempre ha sido que no es solo un espacio de discusión y que los países tienen que comprometerse a implementar reformas de política través de sus planes de acción, los cuales son evaluados por el IRM. La evaluación está mostrando que, aunque la estructura y formalidad del ciclo bianual del plan de acción promueve un crecimiento iterativo y ambición, no incentiva a los países a articular una visión más amplia detrás de las reformas de política. Además, hay una tendencia a moderar la ambición en los planes de acción para evitar correr el riesgo de incumplir con los estándares del IRM. Con el cambio hacia un modelo flexible y multianual para los planes de acción y las modificaciones importantes de la metodología de evaluación del IRM, esperamos promover los incentivos que mejoren el nivel de ambición y cumplimiento en los planes de acción. El periodo más largo o estrategias de gobierno abierto con planes de acción anidados podrían ser estrategias más prometedores, como lo estamos viendo en el plan de acción a cuatro años de España, el cual está enfocado en reformas de política y sectoriales, no en compromisos a nivel de proyecto o actividad. Con el tiempo sabremos si más países adoptan este modelo y si los resultados empiezan a mejorar.
Calibrando nuestro impacto: ¿Qué está en nuestras manos?
En perspectiva, uno de los momentos más reveladores de nuestra teoría de cambio estuvo acompañado de las siguientes preguntas:
- ¿Cómo pueden los reformadores de gobierno abierto utilizar su participación en OGP de forma más estratégica?
- ¿Qué tipo de apoyo del equipo de OGP, el Comité Directivo y socios estratégicos hacen una mayor diferencia para los reformadores?
- ¿Cómo y en qué puntos nos adaptamos y ofrecemos apoyo a escala a todos los miembros de la Alianza vs. a un grupo de reformadores?
Recordando los modelos de impacto de Liz Ruedy, el equipo de OGP ha estudiado nuestra contribución en algunos países fue “adaptada a la circunstancia” o “estabilizadora”, previniendo una caída en la democracia o generando un cambio de cultura logrando que el espacio de diseño de políticas sea más abierto y participativo. En otros países, nuestro apoyo es tal vez más “proactivo” en donde hemos aprovechado un ecosistema sólido de reformadores y acelerando la implementación de reformas ambiciosas.
En este artículo, apenas empecé a plantear la forma en la que el equipo de OGP está aprendiendo y tomando decisiones, la forma imperfecta pero pragmática en la que hemos combinado la experiencia y la evidencia para adaptar nuestra forma de apoyo de la Alianza. Hay muchos agentes catalizadores y de cambio en OGP: reformadores, el Comité Directivo y nuestros socios estratégicos y temáticos. Su voz es igual de clave para definir las prioridades y la evolución de la Alianza y este año esperamos escucharlas más para definir la siguiente década para OGP.
Leave a Reply