Processus de collecte de données - Gestion Orientée vers l'Impact

| Trousse d'Outils |
|de l'Administrateur de Programme |
|pour la Planification, le Suivi et l'Évaluation | Division des services de supervision août 2004[1] Outil Numéro 5: Planification et Gestion des Évaluations Partie III: Processus de collecte de données
I. Introduction La trousse d'outils est un complément des directives de programmation du
UNFPA. Elle fournit au personnel des bureaux de pays du UNFPA des conseils
et des options pour améliorer les activités de planification, de suivi et
évaluation (PS&E) dans le contexte de la gestion des programmes axée sur
les résultats. Elle est également utile aux administrateurs de programme au
siège et au niveau national et à leurs homologues. La partie III de l'outil numéro 5 est consacrée à examiner la manière de
procéder à une évaluation de programme, c'est-à-dire le processus de
collecte des données, y compris la détermination des méthodes de collecte
des données, l'analyse et l'interprétation des données. Le contenu en est
basé sur une étude des textes relatifs à l'évaluation et à d'autres
questions émanant d'organismes bilatéraux et autres de développement tels
que l'Agence danoise pour le développement international, Management
Sciences for Health, Save the Children, le UNFPA, l'UNICEF, l'Agency for
International Development des États-Unis et la Fondation W. V. Kellogg. II. Comment déterminer les besoins en matière d'information Une fois choisis les objets de l'évaluation, les objectifs, les questions
liées à ceux-ci et les normes d'appréciation du programme[2], il convient
d'examiner l'adéquation de l'information existante s'agissant d'obtenir des
réponses aux questions liées à l'évaluation qui satisfassent aux normes de
mesure retenues. La formulation à jour de résultats de programme (produits,
effets directs, et impact) et les indicateurs correspondants tels
qu'énoncés dans les matrices de résultats et ressources du programme
constituent une partie de l'information facilement accessible sur les
normes établies pour les programmes du UNFPA. Il importe de veiller à ce
que les indicateurs de programme et leurs moyens de vérification soient
régulièrement revus et mis à jour pour ainsi faciliter une évaluation
efficace du progrès et de la performance du programme. Des informations
additionnelles à utiliser par l'évaluation, y compris l'analyse des
processus de mise en ?uvre permettant d'atteindre les résultats planifiés,
peuvent être obtenues des sources suivantes: plans de travail relatifs au
programme; rapports intérimaires et d'évaluation; rapports des visites de
suivi sur le terrain; évaluations techniques et rapports d'enquête;
statistiques cliniques; rapports de recherche; documents directifs du
gouvernement, etc. Il peut être utile d'analyser les données existantes
pour mieux formuler les questions liées à l'évaluation, identifier les
informateurs qui seront ultérieurement interviewés, mettre au point des
protocoles d'interview, et déterminer quelles données importantes pour
l'évaluation font défaut et devraient être collectées par l'/les
évaluateur(s). L'encadré 1 met en relief certains critères utiles
permettant de déterminer si des données additionnelles sont nécessaires.
III. Comment déterminer les méthodes de collecte de données additionnelles L'étape suivante consiste à identifier la manière de collecter les données
additionnelles nécessaires. On peut utiliser à cette fin des méthodes de
collecte de données quantitatives et qualitatives, ainsi que des approches
analytiques déductives et inductives. Les méthodes de collecte de données quantitatives et qualitatives sont
notamment les suivantes: < Poser des questions dans le cadre d'interviews individuelles et de
groupe, par exemple les
débats de groupes de discussion et les interviews
communautaires;
( Conduire des enquêtes; ( Observer les personnes, les processus, les objets, les conditions
et les situations. L'annexe 1 décrit de manière plus approfondie les méthodes de collecte de
données. Les méthodes de collecte de données quantitatives et qualitatives ont
chacune leurs points forts et leurs points faibles et se prêtent à répondre
à différents types de questions, comme il est souligné au tableau 1. Tableau 1. Caractéristiques des méthodes de collecte de données
quantitatives et
qualitatives
| |Méthodes quantitatives |Méthodes qualitatives |
|Utilisatio|Dénombrer les « qui, quoi, |Analyser qualitativement le « comment » |
|n |quand, où, combien » et |et « pourquoi ». |
| |mesurer la fréquence. | |
|Exemples |Interviews standardisées; |Interviews libres et dirigées (y compris |
| |enquêtes recourant à des |celles portant sur un groupe de |
| |questions d'objet limité; |discussion); enquêtes recourant à des |
| |observation. |questions d'objet limité; observation; |
| | |interprétation de documents. |
|Points |Fournissent des « données |Sont utiles quand on planifie un programme |
|forts |fermes » quantitatives, |portant sur le changement social. |
| |exactes et précises pour |Fournissent une compréhension approfondie |
| |prouver que certains problèmes |du contexte d'un programme/projet afin |
| |existent. |d'interpréter des données quantitatives. |
| |Peuvent vérifier les relations |Fournissent des aperçus sur les attitudes, |
| |statistiques entre un problème |croyances, motifs et comportements d'un |
| |et ses causes apparentes. |petit échantillon de population (familles, |
| |Peuvent fournir un vaste coup |communautés). |
| |d'?il sur une population |Mettent en place des informations de base |
| |entière. |qui peuvent servir à évaluer des issues |
| |Permettent des comparaisons. |qualitatives (changements intervenus dans |
| |Mettent en place des |les connaissances, attitudes, |
| |informations de base qui |comportements, processus institutionnels, |
| |peuvent servir à évaluer |etc.). |
| |l'impact. |Sont utiles en cas de limitation de fonds |
| | |et de temps. |
| | |Sont utiles pour obtenir des parties |
| | |prenantes un retour de l'information. |
|Points |Peuvent être précises, mais |Sont généralement non représentatives; ne |
|faibles |sans mesurer ce que l'on |permettent pas les généralisations. |
| |voulait. |Risquent de porter la marque des idées |
| |Ne peuvent expliquer les causes|préconçues des interviewers, observateurs |
| |sous-jacentes de situations |et informateurs. |
| |données. | |
Source: UNICEF, 1991; Gosling, 1995; TIPS numéro 2 de l'Agency for
International Development des États-Unis,
1996.
Il est important d'éviter de dépendre de la validité d'une seule source
d'information pour répondre aux questions d'évaluation. Il est donc très
recommandé de recourir à une combinaison des différents types de méthodes
de collecte des données qualitatives et quantitatives, tels que l'examen de
statistiques, les enquêtes à petite échelle, les interviews et
l'observation (ce que l'on nomme aussi triangulation des données).
L'observation constitue une méthodologie extrêmement précieuse pour
collecter les données qu'enquêtes et interviews ne peuvent saisir avec
précision. Par exemple, l'observation est nécessaire pour apprécier
l'interaction client/fournisseur ou étudiant/enseignant et sur des sujets
délicats tels que les pratiques sexuelles et procréatrices. Ne s'en
remettre en tel cas qu'aux enquêtes et interviews risque de ne pas donner
d'informations précises, car les enquêtés rapportent souvent des
comportements idéaux et non réels. De même, une étude attentive des divers matériels produits par le
programme, comme les matériels d'IEC (sur la sexualité, la prévention du
VIH/sida, etc.), les modules de formation, les politiques et les
directives, peuvent fournir une information et des aperçus précieux sur la
manière dont les problèmes sont abordés. Par exemple, en examinant les
matériels d'IEC, les évaluateurs d'un projet de prévention du VIH/sida
financé par le UNFPA ont constaté que des brochures destinées à faire mieux
prendre conscience des moyens d'éviter l'infection par le VIH ne faisaient
pas mention des préservatifs, mais recommandaient « de ne pas danser dans
des endroits où l'on peut attraper le VIH/sida! ». Enfin, les enquêtes quantitatives ne permettent pas d'étudier en profondeur
les causes sous-jacentes. Ainsi, une combinaison de méthodes offre une
analyse plus complète de la question en cours d'éva