Dans ce blog, le Dr Marème NDOYE ( Directrice du suivi, de l’évaluation et de l’analyse économique de MCA Sénégal II) explique en quoi la mise en place d’un comité de validation des données a aidé à la compréhension et à la communication des résultats.
Le Sénégal Power Compact (2021-2026), d’une valeur de 550 millions de dollars, mis en œuvre par le Millennium Challenge Account Sénégal II (MCA-Sénégal II), est un partenariat important entre les gouvernements du Sénégal et des États-Unis d’Amérique, dont l’objectif est d’améliorer les services d’électricité pour la population sénégalaise. En notre qualité de personnel chargé du suivi et de l’évaluation, nous devons être en mesure de dire à ces gouvernements, de manière fiable et précise, si le programme améliore l’accès à une électricité de qualité et abordable au Sénégal. Plus facile à dire qu’à faire.
Alors que toutes les parties prenantes du projet ont approuvé le Plan de suivi et d’évaluation, les premières collectes de données et une revue externe de la qualité de ces données ont révélé d’importants problèmes de qualité des données. Les données que nous avons d’abord reçues ne correspondaient pas aux définitions de nos indicateurs. Les données relatives à l’accès à l’électricité étaient basées sur la part des localités disposant d’au moins un raccordement, sans tenir compte des taux de raccordement au sein de chaque localité. Par ailleurs, nous avons reçu des valeurs différentes de sources variées pour le même indicateur. Le régulateur du secteur et le ministère des finances avaient des valeurs différentes pour le montant des dettes de l’État dues à la Société nationale d’électricité, Senelec. Nous avons également entendu des points de vue divergents au sein des organisations et entre elles sur la signification des résultats et des indicateurs. Ces problèmes ont empêché notre équipe d’obtenir des données fiables sur les résultats du programme.
Pour résoudre ces problèmes, nous avons mis en place un comité de validation des données (ComVAD) en mai 2022, en étroite collaboration avec les acteurs du secteur de l’électricité au Sénégal et avec les équipes du projet MCA. Ce comité est composé de personnes qui collectent ou traitent des données de performance et de parties prenantes souhaitant suivre l’état d’avancement de la mise en œuvre du projet et prendre connaissance des leçons apprises. Le comité comprend une douzaine d’organisations, dont des entités de mise en œuvre, des consultants en conception de projet, des ingénieurs de supervision et le personnel de MCA. L’équipe de MCA a évoqué ce comité lors de la Semaine de l’évaluation locale, dans le cadre de la session « Des projets aux systèmes : Comment les Millennium Challenge Accounts (MCA) lient les pratiques de suivi et d’évaluation aux priorités gouvernementales ».
En mai 2022, MCA Sénégal II a organisé la première réunion du ComVAD. Le personnel du projet et les parties prenantes discutent des questions importantes relatives à la disponibilité et à la qualité des données.
Notre approche collaborative des réunions du comité a suscité l’enthousiasme, l’engagement et la participation active pendant et après les réunions. Le comité consulte ses membres et parvient à un consensus afin de faciliter la soumission de données complètes et dans les délais par les entités qui communiquent ces données. Il discute des défis, formule des recommandations sur les mesures d’atténuation, partage les leçons apprises et encourage l’utilisation des données pour une prise de décision éclairée dans le secteur. Le ComVAD continue de se réunir tous les trimestres.
Les membres du ComVAD passent en revue le tableau de bord de soumission des données lors de la réunion de juin 2023.
Le travail du comité a permis d’améliorer de manière concrète le suivi de nos performances. Les figures 1 et 2 montrent comment le ComVAD a amélioré le taux de soumission et le taux d’approbation des données. Lorsque MCC réunit ces deux éléments – données suffisantes et fiables- elle peut communiquer les résultats plus rapidement et, au besoin, indiquer la nécessité d’apporter des corrections à mi-parcours.
Le taux de soumission des données s’est considérablement amélioré après les premières réunions du ComVAD (figure 1). Plus de données signifie une plus grande capacité à établir les tendances antérieures au projet, nécessaires pour interpréter les impacts du Compact. L’augmentation du taux de soumissions de données n’a pas immédiatement conduit à une augmentation du taux d’approbation des données par MCC, mais a fini par y parvenir (Figure 2). Le taux d’approbation initial au premier trimestre 2022 était élevé car les indicateurs concernaient des étapes de réforme franchies avant l’entrée en vigueur du Compact. Il a diminué au cours des deuxième et troisième trimestres en raison d’un manque de concordance entre nos définitions d’indicateurs et les données fournies, ainsi que de l’insuffisance des documents justificatifs fournis par les entités qui communiquent les données. Au quatrième trimestre 2022 et au premier trimestre 2023, nous avons commencé à constater des améliorations grâce au ComVAD et à l’engagement des parties prenantes.
Taux de soumission des données par les entités qui communiquent ces données (à gauche) et taux d’approbation par MCC des données soumises (à droite). Avec l’existence du comité de validation des données, le taux de soumission des données a augmenté, tout comme le taux d’approbation par MCC des données soumises.
Qu’est-ce qui explique ces tendances positives ?
Nous avons identifié les raisons principales qui expliquent le succès du modèle ComVAD.
- Nous avons reçu des données que nous n’aurions pas reçues autrement. Le fait de réunir plusieurs organisations au tour d’une table nous a permis de clarifier la source de données appropriée. Cette approche crée une compétition amicale et une pression des pairs qui conduisent à l’engagement et à l’action. Prenons l’exemple de l’indicateur de suivi du montant des garanties souveraines utilisées pour les partenariats public-privé. Un ministère est chargé de disposer et de fournir les données relatives à cet indicateur. Cependant, la réunion du ComVAD a révélé qu’il n’avait jamais reçu ces informations d’un autre ministère. En soulevant cette question, le premier ministère a pris des mesures immédiates pour obtenir les données et les fournir à notre équipe.
- Nous avons amélioré l’intégralité de nos indicateurs afin de mieux mesurer les résultats complexes. L’un des principaux résultats du projet est la viabilité financière de la Société nationale d’électricité Senelec. Alors que nous mesurions ce résultat uniquement en fonction de la ponctualité et de l’intégralité des paiements de l’État à la Senelec, le régulateur du secteur (CRSE) a révélé la nécessité d’inclure également les paiements de l’État aux opérateurs d’électricité dans les zones rurales afin de brosser un tableau plus détaillé de la viabilité financière des opérateurs d’électricité du pays.
- Nous avons amélioré la fiabilité des données grâce à des documents justificatifs complets. Cette documentation nous permet de comprendre comment les valeurs sont calculées et de nous assurer qu’elles reflètent bien ce que nous essayons de mesurer. Cela est tout aussi important pour les indicateurs financiers complexes, pour lesquels nous utilisons différentes lignes des comptes financiers certifiés, que pour les indicateurs plus simples, comme le nombre de personnes formées, pour lesquels nous vérifions que les feuilles de présence signées correspondent aux données communiquées.
- Nous nous sommes assurés que les données étaient calculées comme décrit dans le plan de suivi et d’évaluation. Nous voulons suivre le prix du kWh d’électricité dans les accords d’achat d’électricité (AAE) pour voir si la concurrence accrue des réformes entraîne une baisse des prix. Cependant, les prix des AAE sont définis différemment pour les centrales thermiques et les centrales à énergie renouvelable. Le premier est variable en fonction des dépenses d’exploitation, tandis que le second est fixe. Notre solution a consisté à utiliser le prix réel payé par la Senelec en tant qu’acheteur d’électricité, que l’AAE ait un taux fixe ou variable. Un autre exemple est celui des pertes du réseau de distribution, qui combinent les pertes commerciales et techniques. Cependant, Senelec, comme beaucoup d’opérateurs d’électricité, n’est pas en mesure de faire la distinction entre les deux à des niveaux de tension inférieurs. Les discussions du ComVAD nous ont permis de comprendre comment le service de distribution de Senelec calcule les pertes du système de distribution et de s’assurer de sa cohérence avec la définition dans le guide de l’indicateur commun de MCC.
En créant un espace permettant aux parties prenantes de discuter et d’agir sur les questions de qualité des données, les discussions entre l’opérateur et le régulateur ont révélé que Senelec disposait des données pour calculer le coût marginal à long terme mais ne les avait pas partagées avec le régulateur, qui en a besoin pour déterminer avec précision les tarifs de l’électricité reflétant les coûts. Cet espace a permis aux acteurs du secteur de mieux comprendre comment les données peuvent éclairer la prise de décision et l’importance des documents d’appui pour garantir la fiabilité des données.
Nous observons des signes précoces que le renforcement des rapports de performance pour le compact améliore les processus de données au sein des organisations membres du comité. Nous sommes maintenant mieux placés pour comprendre et communiquer sur l’impact du Compact sur l’accès à une électricité de qualité et abordable au Sénégal.
Source : Betterevaluation.org
Pour lire l’article original (en langue anglaise), cliquez ici.
