Qualité de l’action humanitaire :
développer des outils d’évaluation des ONG

« Nous sommes dans un pays en post-conflit, qui sort d’une guerre, c’est un environnement particulier »

Comment s’assurer de la qualité de l’action humanitaire et du développement dans un pays qui se relève d’une grave crise dont les répercussions sont aujourd’hui encore vives ? Alors que 63% de la population a toujours besoin d’assistance humanitaire et de protection, selon les Nations Unies, la dynamique opérée par les nombreuses ONG internationales mais aussi le tissu d’organisations locales est très important et nécessite pour le SPONG des outils d’évaluation répondant à des standards internationaux.

Disposant d’une petite équipe de seulement dix personnes pour répondre à toutes ses missions, le SPONG manquait d’un appui pour assurer la pertinence des évaluations menées auprès des ONG. Brice Damas et Gisèle Wazogbia travaillent au SPONG depuis 5 ans. Le premier est responsable des études et analyses stratégiques où il est en charge des missions terrain tandis que la seconde est chargée d’études, responsable du suivi et de l’évaluation des ONG.

« Une supervision, explique Brice (photo ci-contre), permet de suivre l’état d’avancement des projets des partenaires ONG et vérifier que les actions répondent aux priorités des populations locales. On organise notre travail pour mener des supervisions tant dans la capitale qu’en province ».

Gisèle précise le déroulement des supervisions : « Cela représente sept jours de travail : ce sont des déplacements sur les lieux des projets que mettent en œuvre les ONG. Nous sommes dans un pays en post-conflit, qui sort d’une guerre, il y a toujours des crépitements, des bandits, c’est un environnement particulier. Lorsque nous nous déplaçons, nous devons faire le tour des autorités pour leur assurer une visite de courtoisie, ce qui prend du temps. »

« Avec les responsables des ONG on regarde les documents dont ils disposent : leur plan d’action par exemple, le rapport d’activités de l’année précédente » détaille Brice. « On recueille les informations de base pour vérifier ce qu’on nous a envoyé, complète Gisèle. Certaines ONG nous envoient des rapports, des PTA (plan de travail annuel) mais d’autres ne le font pas et c’est à nous de vérifier. Sur le terrain on tente de voir la cohérence du projet entre ce qui est affiché et ce qui est réellement fait sur le terrain : on part visiter les réalisations et on a des entretiens avec les bénéficiaires directs des projets. »

Ces missions, réalisées une à deux fois par mois selon la situation sécuritaire, tant à Bangui qu’en province permettent d’avoir un regard sur les activités des ONG locales comme internationales, prendre en compte leurs difficultés et donner des pistes de solutions pour faciliter le travail des ONG. « Avant, explique Brice, on avait des problèmes parfois de communication avec des ONG qui pensaient que le SPONG n’est qu’une structure de contrôle, mais nous avons travaillé pour mieux faire comprendre nos missions et notre rôle d’accompagnateur, auprès des ONG ».

L’objectif général visé est de s’assurer du bon déroulement des activités réalisées par les ONG dans les localités concernées. « Brice et moi nous nous partageons le travail, indique Gisèle (photo, ci-contre). Chacun réalise sa supervision avec son équipe car il faut trois personnes pour une supervision : deux du SPONG et un « sectoriel », une personne au sein d’un ministère -de la santé, de l’élevage etc- qui est spécialisé dans le secteur d’activité du projet mené par l’ONG supervisée. Ça nous permet de pouvoir faire plusieurs supervisions en même temps et ensuite on se fait des restitutions. Avoir avec nous une personne spécialisée dans l’activité de l’ONG c’est important : une ONG qui mène des projets d’assainissement et fait un forage, on a besoin de savoir si le forage a été réalisé au bon endroit, si l’eau est potable etc. Nous ne pouvons pas vérifier cela seuls donc on a besoin de nos collègues spécialisés des autres ministères. Pour des raisons budgétaires on peut de moins en moins demander l’appui de nos collègues et on doit faire le travail nous-mêmes. Une fois sur le terrain on prend une journée par ONG pour procéder à des vérifications auprès des bénéficiaires. Par exemple, si une ONG nous dit qu’elle a distribué des kits scolaires, on va dans des écoles vérifier que les kits ont bien été distribués. On pose des questions à tous les interlocuteurs possibles : les acteurs humanitaires comme les bénéficiaires. Enfin, on va voir les services de l’état : on interroge la mairie, la préfecture. C’est un travail de suivi et de supervision, mais n’avons pas encore les moyens de réaliser à proprement parler des évaluations. On a les outils mais il nous manque les moyens ».

Trois missions de suivi-évaluation ont été menées en 2021 à Bangui et dans les régions de l’Ombella-M’Poko et de la Lobaye (Pissa et Bouchia) et la Kémo (Sibut et Ndjoukou).
Gisèle complète : « le SPONG dispose d’un appui -notamment financier- de Bioforce pour le suivi des ONG nationales. En revanche, nous devons mener les supervisions des ONG internationales sur nos propres ressources, issues en partie de l’agrément payés par chaque ONG auprès du SPONG pour tenir une activité en RCA. On essaie de voir environ 10 ONG internationales par trimestre : on aimerait pouvoir en faire plus mais nos ressources sont limitées ».

Pour accompagner le développement et améliorer la pertinence des actions de suivi et d’évaluation du SPONG, Bioforce a mené pendant un an une mission d’appui, dans le cadre du projet de renforcement des capacités locales à œuvrer pour la résilience des populations et la réponse aux crises, financé par l’Union européenne et en partenariat avec Oxfam, l’ACFPE et le LERSA.
Avec près de vingt ans d’expérience dans le secteur, Marion Junca est experte des questions de qualité/redevabilité des ONG. Elle a accompagné le SPONG à créer des outils pour mener à bien ces visites de suivi avec des éléments standardisés et récurrents. Si la crise qui a accompagné la pandémie de COVID-19 a compliqué cette tâche menée entièrement à distance, par téléphone, entre juin et décembre 2020 puis lors d’une nouvelle phase qui s’est achevée en juin 2021, Marion a trouvé au SPONG des interlocuteurs attentifs et brillants.

« J’ai accompagné les fonctionnaires du SPONG à concevoir des outils de supervision utilisés lors des visites de projet à une ONG », explique Marion (photo ci-contre). Lors d’une supervision, le SPONG déroule un questionnaire, pose le plus de questions possibles au plus grand nombre d’acteurs différents, croise les informations. Les chargés des supervisions doivent alors se faire l’opinion la plus juste sur la qualité des projets en se basant sur des critères les plus objectifs possibles. Il faut donc expliciter quels sont les enjeux autours de ces critères et développer des outils qui permettent de répondre à des questions comme « L’objectif est-il atteint ? Les critères sont-ils validés ? » Pour ce faire, Marion a travaillé avec les membres du SPONG a la co-construction d’outils tournant autour de critères communs : l’efficience, l’efficacité, la cohérence, l’impact, la pérennité et la pertinence. Ces outils pratiques doivent permettre de prendre en considération ce qui est utilisé par la communauté internationale sur les questions de qualité de l’aide.
« On pose donc des questions en rapport avec ces critères à l’ONG elle-même, aux autorités locales, aux populations cibles, aux bénéficiaires du projet etc. complète Marion. On va du coup pouvoir se faire une idée pertinente de la qualité du projet : est-il pertinent ? Efficace ? Quel impact à long-terme sur la vie des gens ? Comment l’argent est-il dépensé ? etc. Ces outils sont qualitatifs autant que quantitatifs, mais ce sont des proxys, ce n’est pas une science exacte. Le critère de la taille de l’ONG est le plus parlant : les enjeux sont très différents entre une grande ONG internationale et une petite organisation locale. On ne peut pas appliquer les mêmes outils d’évaluation quand l’ONG est trop petite pour utiliser la gestion du cycle de projet, il faut alors déterminer une approche différenciée. »

Eviter les écueils pour renforcer la qualité des supervisions

Marion a conçu ses échanges avec le SPONG comme de longues séances de ping-pong, des discussions à bâtons rompus qui permettent de fixer de la théorie dans une approche maïeutique.
« J’ai trouvé des gens brillants avec des bonnes notions mais qui manquaient d’outils standardisés, explique-t-elle. Mes interlocuteurs travaillaient avec des outils qu’ils ont conçus eux-mêmes en s’inspirant de choses vues ailleurs. On est partis de cette base empirique. On a construit ensemble des outils en tenant compte des approches standardisés qu’on utilise de manière classique dans le suivi évaluation ». Brice complète : « Marion nous a permis d’appréhender des outils standards pour nos missions de supervisions. Il y a désormais un canevas pour les rapports qui nous permet d’évaluer les projets selon un cadre défini par l’OCDE. Marion nous a donné de la théorie dans nos pratiques ».

L’appui mené par Marion a permis d’éviter des écueils pour renforcer la qualité des supervisions : « L’efficacité est le critère qualité le plus scruté et c’est typiquement ce sur quoi le SPONG se focalisait avant nos sessions d’accompagnement, explique-t-elle. Mais l’approche qualité, ce n’est pas uniquement se demander si le projet a atteint ses objectifs : l’efficacité n’est qu’un des six critères de qualité à valider. C’est un biais souvent partagé parmi les acteurs humanitaires : on est souvent à la recherche de l’efficacité avant d’interroger la pertinence de l’action mais on peut être à la fois efficace et répondre complètement à côté. Le SPONG a été très réceptif à ces questions et à cette approche globale. Quels outils utiliser, quelles questions poser ? Nous avons eu des échanges très rapidement et ils ont été très riches et intéressants. Je n’ai rencontré aucune difficulté à partager ces concepts avec eux et à les voir se les approprier ».

L’appui de Bioforce a contribué à renforcer les bases pour faire correspondre les outils utilisés par le SPONG avec le langage communément utilisé dans le monde du développement.
« Pour créer ces outils, détaille Marion, on est parti du COMPAS Qualité et Redevabilité de l’URD qui est un outil très concret pour arriver ensuite aux critères du DAC de l’OCDE qui est plus abstrait. Le fait de passer par des outils qui posent des questions très directes ça a énormément aidé et ça a été très facile. Une fois que j’ai eu en main leurs outils, j’ai créé un guide d’une dizaine de page avec toutes les références et les questions évaluatives qu’on peut avoir à poser dans le cadre d’une supervision. C’est un outil pérenne qui pose des jalons et que le SPONG pourra reprendre sur du long terme même en cas de changement dans leurs équipes. On a ensuite développé des outils plus spécifiques et des grilles de questions à poser aux ONG, aux autorités locales, aux populations cibles, aux partenaires d’implémentation etc ».

« Marion Junca nous a beaucoup aidé, grâce à son accompagnement, pour avoir des outils qui permettent de réaliser les supervisions, explique Gisèle. Nous avons co-conçu les outils ensemble, avec Bioforce et mon collègue Brice. On est parti de notre besoin et de nos pratiques. Lorsque sur le terrain la mise en pratique du travail mené avec Marion ne fonctionnait pas, on revenait ensemble dessus pour le corriger, pas à pas. Lorsque le travail a été finalisé, on a partagé nos outils lors d’une séance de restitution avec le reste de l’équipe du SPONG. La mise en place était donc d’autant plus simple que nous avons directement participé à créer les outils. Par exemple, Unicef a financé des nombreuses ONG nationales et internationales en RCA et nous a demandé l’an dernier de procéder à un suivi-évaluation des actions menées. Le travail engagé avec Marion nous a permis de réaliser ce suivi entre juillet et octobre 2020. Nous avons par exemple aujourd’hui un canevas de rapport de suivi et d’évaluation qui nous est aujourd’hui indispensable ».

Alors que sa mission d’appui arrive à son terme, Marion appelle à poursuivre le travail. « Le SPONG a beaucoup progressé et il ne faut pas les laisser au milieu du chemin : il faut continuer à accompagner la structure dans sa globalité après avoir accompagné le service des supervisions. Le travail est à prolonger dans le temps et à amplifier pour leur donner les moyens d’incitation de suivi de leurs recommandations aux ONG ». Brice complète : « Aujourd’hui, on fait face à un problème de financement : le projet Bêkou nous appuie financièrement pour la réalisation des supervisions auprès des ONG nationales. Avec la fin du projet, la pérennité de cette activité n’est pas assurée ». Marion ajoute : « J’ai eu la chance de trouver des gens brillants qui se sont saisis des enjeux et avec qui j’ai réussi à avoir une communication de très haute qualité malgré les nombreuses difficultés techniques. L’échange et la discussion ont permis de préciser ou d’améliorer les grilles que je leur proposais quand une question par exemple pouvait porter à confusion. Et ça a marché !»