Résumé de: Ten Reasons Not to Measure Impact—and What to Do Instead

Dans cet article paru récemment sur la SSIR, Mary K Gugerty et Dean Karlan, professeurs en gestion du secteur à but non lucratif aux États-Unis, recommandent d’en faire plus pour mesurer l’impact des organisations à vocation sociale, mais pas au détriment d’autres activités importantes comme le suivi (monitoring). En effet, la mesure d’impact implique d’établir un contrefactuel (portrait de ce qui serait arrivé en l’absence de l’intervention), ce qui implique des études parfois laborieuses comme l’essai randomisé contrôlé.

Ils identifient 10 situations où il vaut mieux ne pas mesurer l’impact :

  1. Lorsque la mesure d’impact ne répond pas aux questions que se pose l’organisation.
  2. Si l’intervention qui ne dispose pas d’une théorie du changement éprouvée, elle n’est pas prête.
  3. Quand l’intervention n’a pas bien été mise en œuvre.
  4. Lorsque l’intervention est terminée et qu’on ne planifie pas de la renouveler.
  5. Si l’organisation n’a pas les ressources nécessaires.
  6. Si les effets visés sont trop indirects (éloignés des bénéficiaires directs de l’intervention).
  7. Si le contexte de l’intervention est trop chaotique (par exemple après un désastre).
  8. Si l’échelle d’intervention est trop grande (un pays) et qu’il est impossible d’établir un contrefactuel.
  9. Lorsqu’on connait déjà la réponse aux questions posées.
  10. S’il est impossible de transposer les résultats de l’étude à d’autres situations.

À la place de mesurer l’impact, ils recommandent de collecter des données qui seront immédiatement utiles au suivi et à la gestion de l’organisation. Ces données doivent être crédibles (credible), utilisables (actionable) générées à un coût raisonnable (responsible) et les résultats doivent être transposables (transportable) à d’autres situations. 

Cela permet de créer un « système de suivi adapté » (right fit system) qui permet aux organisations de générer de l’information sur les finances et les activités de l’organisation mais aussi sur les cibles, l’implication et la satisfaction des utilisateurs.

En somme, malgré son titre provocateur, il s’agit d’un article aux propos nuancés dont nous vous recommandons la lecture.

Quelques citations :

"The trend toward impact measurement is mostly positive, but the push to demonstrate impact has also wasted resources, compromised monitoring efforts in favor of impact evaluation, and contributed to a rise in poor and even misleading methods of demonstrating impact.

"Much of such waste in pursuit of impact comes from the overuse of the word impact. Impact is more than a buzzword. Impact implies causality; it tells us how a program or organization has changed the world around it. Implicitly this means that one must estimate what would have occurred in the absence of the program—what evaluators call “the counterfactual.” The term sounds technocratic, but it matters a great deal in assessing how best to spend limited resources to help individuals and communities."

"financial and activity (implementation) tracking—are already collected by many organizations to help them demonstrate accountability by tracking program implementation and its costs. The other three—targeting, engagement, and feedback— are less commonly collected but are critical for program improvement."

"many organizations will be better served by improving their systems for monitoring and managing performance, rather than focusing on measuring impact. Right-fit evidence systems provide credible and actionable data that are far more valuable than the results of a poorly run impact evaluation."

Commentaires

Pour consulter les commentaires ou pour commenter cette publication, vous devez vous connecter sur Passerelles ou vous inscrire.