Étape III – Créer des mesures du rendement
La ressource est ici axée sur la création de mesures favorisant la réalisation des extrants et des résultats. L’étape III se divise en deux parties :
- La partie A décrit de façon plus détaillée les mesures du rendement;
- La partie B explique le processus à suivre en quatre phases pour la création de mesures du rendement.
Partie A – les mesures du rendement
Que sont les mesures du rendement?
Les mesures du rendement fournissent les renseignements nécessaires à la prise de décisions stratégiques quant aux actions d’une organisation et à sa performance à cet égard. Il s’agit de mesures quantitatives ou qualitatives qui sont utilisées pour aider les organisations à comprendre, à évaluer, à gérer et à améliorer ce qu’elles font. Les mesures du rendement peuvent fournir à une organisation des informations importantes sur les résultats qu’elle obtient, c’est-à-dire en réalisant un programme ou un projet.
Les résultats tirés des mesures du rendement apportent une base fiable pour évaluer les résultats ou les changements au fil du temps. Si elles sont mesurées régulièrement, les données recueillies peuvent être utilisées pour déterminer si l’initiative est sur la bonne voie. Si ce n’est pas le cas, consultez les données recueillies pour ajuster les activités en fonction de ce qui a été appris.
Les mesures du rendement sont également importantes pour raconter le déroulement d’initiatives. Ils sont créés pour aider à répondre aux questions les plus susceptibles d’être posées (tant par d’autres personnes que vous), notamment :
- Quelles activités ont été entreprises?
- Quels résultats ont été atteints?
- Les objectifs de l’initiative ont-ils été réalisés?
D’autres exemples de mesures du rendement et de sources de données utilisées à l’appui d’activités de développement économique de base figurent à l’annexe 5, Exemples de mesures du rendement et de sources de données pour l’attraction d’entreprises.
Mesures quantitatives et qualitatives
Les mesures du rendement sont décrites comme étant quantitatives ou qualitatives en fonction des données requises pour le calcul des résultats.
Les mesures quantitatives sont fondées sur des données numériques. Elles sont exprimées sous forme de chiffres, de ratios ou de pourcentages, comme l’augmentation du nombre de membres ayant participé à un atelier au cours d’une année par rapport à l’année précédente. La hausse de la production par acre, les recettes à la ferme, les exportations, l’expansion et le nombre d’emplois sont des mesures quantitatives typiques.
Les mesures qualitatives sont fondées sur des jugements, des opinions et des perceptions. Elles sont exprimées sous forme de valeurs non numériques. Les mesures qualitatives sont généralement rapportées sous la forme d’un récit ou d’une histoire qui explique les changements qui ont résulté, en tout ou en partie, d’une initiative. Ces changements peuvent inclure de nouveaux comportements ou des modifications institutionnelles. On les présente souvent comme des comparaisons entre deux situations. De tels changements peuvent également être exprimés numériquement. Par exemple, on pourrait calculer le pourcentage de personnes (valeur numérique) qui ont été très satisfaites d’un atelier (opinion) comme indicateur de la qualité de celui-ci.
Ces deux types de mesures permettront de mesurer la progression d’une initiative vers le changement. Les données peuvent provenir de diverses sources, notamment d’entretiens, d’enquêtes, d’observations, de rapports ou d’autres documents écrits. De plus amples renseignements sont fournis sur la collecte de données à l’étape IV.
Mesurer les extrants et les résultats dans le modèle logique
La mesure de ces deux éléments permet d’obtenir un aperçu ciblé du rendement d’une initiative qui montre quels intrants ou ressources sont disponibles et comment ils sont utilisés. Cet exercice aidera à évaluer les activités connexes, le niveau de participation et les résultats en soi. Cela donnera une image complète de l’évolution d’un projet, en plus de fournir la preuve de son efficacité et de la valeur qui en résulte.
Si vous avez confiance dans les données, combinez celles relatives aux intrants et aux extrants ou aux résultats dans des ratios pour rendre compte de l’efficience et de l’efficacité. Par exemple, les ressources (intrants) utilisées pour organiser un atelier (extrant) permettent de mesurer l’efficacité. La manière dont l’atelier (extrant) aide les participants à adopter une nouvelle pratique (résultat) permet de mesurer l’efficacité. L’utilisation de plus d’une mesure est utile pour compenser toute faiblesse perçue ou réelle de l’une des mesures ou tout problème d’attribution. L’intérêt de la mesure du rendement est de contribuer à réduire l’incertitude quant à l’effet d’une initiative.
Il n’est pas nécessaire de mesurer tout ce qui figure dans les extrants et les résultats du modèle logique. Des exemples de produits et de mesures de résultats pour différents types d’initiatives organisationnelles, telles que celles dans les domaines de l’éducation, de la recherche et la défense d’intérêts, sont fournis à l’annexe 2.
Partie B : la création de mesures du rendement
Telles sont les quatre phases de la création de mesures du rendement :
- Tenir une séance de remue-méninges pour dresser une liste de mesures potentielles
- Évaluer la qualité de chaque mesure
- Créer une liste restreinte de mesures et classer celles-ci par ordre de priorité
- Définir et documenter les exigences pour chaque mesure recommandée
Phase 1 – tenir une séance de remue-méninges pour dresser une liste de mesures potentielles
Commencez par un seul extrant ou résultat. Dressez une liste d’éléments pouvant être enregistrés ou comptés susceptibles de fournir une preuve de changement. Si vous ne parvenez pas à trouver une mesure, demandez-vous, si le résultat se concrétisait, ce qui serait différent et comment le saurait-on? Les mesures du rendement aident à répondre aux questions sur les extrants et les résultats – en général, les extrants sont plus faciles à évaluer que les résultats.
Il ne suffit pas de définir des résultats; il faut aussi que ce soit mesurable. Les mesures sont utilisées pour évaluer si les résultats sont atteints et quels types de changements ont eu lieu. Ce que vous mesurez ne peut être déterminé qu’après avoir défini les résultats que l’initiative cherche à atteindre.
Les mesures peuvent être des chiffres, des faits, des opinions ou des perceptions qui aident à évaluer les progrès réalisés vers le changement. Une autre façon de penser aux mesures est de commencer une phrase en ces mots :
- Le pourcentage de ...
- Le nombre et le type de ...
- La mesure dans laquelle ...
- La comparaison avant et après de ...
- Le degré de changement entre ...
Pour des exemples de mesures du rendement dans le domaine du développement économique, veuillez consulter l’annexe 6, Exemple de liste d’indicateurs et de mesures.
Phase 2 – évaluer la qualité de chaque mesure
Vous voulez vous assurer de la qualité et de la solidité d’une mesure? Servez-vous des critères SMART :
Spécifique – La mesure précise clairement son objet. Elle capture l’essence d’un extrant ou de son résultat particulier, et la réussite en découlant peut être attribuée, au moins en partie, aux actions d’une initiative.
Mesurable – La mesure comporte des critères qui peuvent être utilisés pour la mesure et le suivi, comme des données fiables qui sont actuellement recueillies, facilement disponibles et relativement faciles à rapporter. Établissez des valeurs de référence afin de pouvoir suivre les progrès.
Abordable – Les données utilisées pour la mesure doivent être abordables; leur acquisition doit respecter le budget du programme ou du projet à mettre en œuvre.
Réaliste – La mesure est fondée sur des données fiables qui peuvent être facilement vérifiées. La mesure et ses données comparent les mêmes choses au fil du temps, et les méthodes d’analyse et de synthèse des résultats sont claires et objectives.
En temps opportun – Les données de la mesure doivent être disponibles au moment voulu (sur une base trimestrielle, annuelle ou biennale).
Phase 3 – créer une liste restreinte
Lors de la création d’une liste restreinte, ou de présélection, le premier critère est l’importance de la mesure pour rendre des comptes et prendre des décisions. Le deuxième critère est la charge de travail et la quantité de ressources nécessaires au suivi et à la communication de la mesure. Un moyen pratique d’y parvenir est de reporter ces critères sur un graphique à deux axes et de les classer de 1 à 5. En ce qui a trait à l’importance de la mesure, 1 signifie « mesure pas du tout utile » et 5 correspond « mesure cruciale »; en ce qui a trait au travail et aux ressources, 1 signifie « presque impossible » et 5 correspond à « déjà en cours ».
En combinant ces deux critères, il sera possible de cerner et de recommander les mesures qui obtiennent la note la plus élevée. Les mesures les mieux notées sont importantes pour évaluer la responsabilisation. Par ailleurs, elles ne nécessitent pas un effort massif.
Voir l’illustration ci-dessous et l’annexe 7, Modèle de présélection des mesures pour en savoir davantage sur la création d’une liste restreinte des mesures.
Phase 4 – Définir et documenter les exigences pour chaque mesure
Au cours de cette phase, il faut documenter les détails ou les cibles pour chacune des mesures. Il s’agit d’une phase cruciale. Celle-ci permet de s’assurer que vous comprenez ce qui est nécessaire pour maintenir la cohérence lors de la collecte des données et de l’analyse des résultats. Une bonne méthode de mesure du rendement indiquera également si les mesures sont réalisables ou non.
Pour chaque mesure élaborée, pensez à inclure des précisions pour chacun des éléments suivants :
Justification de la mesure – Pourquoi utiliser cette mesure en particulier? Comment démontre-t-elle qu’une initiative progresse vers le résultat fixé?
Responsabilité des données – Qui s’assurera que les données sont recueillies et communiquées, et qui s’occupera de la collecte et de la communication aux intervenants?
Sources des données et disponibilité – Quelle est la source de vos données? À quelle fréquence les données sont-elles disponibles (mensuellement, trimestriellement, annuellement)? Quelle est la fiabilité de ces données?
Analyse et calcul – Qui analysera les données, et comment fera-t-on les calculs nécessaires?
Valeurs de références – Quel est le point de départ des données utilisées pour cette mesure?
Cibles ou tendances – Comment saura-t-on si une initiative est couronnée de succès? Quel est l’objectif que la mesure doit atteindre?
L’annexe 8, Modèle de méthodologie de mesure du rendement pour une mesure et un résultat, peut vous aider à documenter les réponses à ces questions et d’autres détails sur chaque mesure.
Il y a cependant une limite ici : les participants ne font que rapporter leur intention d’apporter des changements. Ils ne rendent pas compte des changements qu’ils ont apportés grâce à la formation. Par conséquent, vous ne pouvez, raisonnablement, avoir la certitude qu’ils adopteront de nouvelles technologies ou pratiques.
Mais si vous posez la même question au même groupe un an ou deux après la formation et qu’un certain nombre d’entre eux déclarent avoir adopté les technologies ou les pratiques, vous disposez alors de données solides sur les résultats que vous pouvez communiquer, entre autres dans un rapport.
Valeurs de référence et cibles pour chaque mesure
Les mesures du rendement doivent être accompagnées de valeurs de référence et de cibles. Une mesure du rendement n’est utile que si le résultat est comparable à quelque chose.
Une valeur de référence est le point de départ pour évaluer les changements de rendement et pour établir des objectifs ou des cibles pour le rendement futur. Des valeurs de référence peuvent être établies avec les données existantes ou après avoir effectué un ou deux cycles de mesure.
Une cible est un objectif clairement défini ou un résultat planifié (souhaité), qui peut inclure des extrants ou des résultats à atteindre dans un délai donné. Le résultat réel sera ensuite comparé à la cible, soit ce que l’on espère voir se produire.
L’analyse comparative est le processus qui consiste à comparer les pratiques et le rendement d’une organisation sur une certaine période par rapport à un point de départ prédéterminé. Par la suite, vous pourrez comparer les résultats du programme avec des programmes similaires d’organisations de même taille ou dont l’orientation est semblable.
Comment fixer des cibles
Cinq points à retenir lors de la fixation de cibles :
- Considérez les données de référence comme un point de départ.
- Recherchez des données probantes, des antécédents ou des bribes d’expérience pour ce type de programme et la population cible au sein de l’organisation.
- Tenez compte de l’expérience d’autres organisations qui ont mené des programmes ou des projets similaires. Recueillez des données sur des programmes ou des initiatives comparables.
- Déterminez le degré de changement ou d’amélioration qu’il est réaliste d’attendre.
- Fixez, si possible, une date à laquelle la cible doit être atteinte.
Lorsque vous fixez une cible pour un résultat ou un extrant, faites preuve de précision quant à ce qui doit changer, au moment où le changement doit avoir lieu et à l’ampleur du changement à attendre sur le terrain. Notez également qui prendra part à la mise en œuvre du changement.
Préparer un résumé de la mesure du rendement
Envisagez de créer un résumé des efforts déployés pour mesurer le rendement. Dans un tableau d’une page, énumérez les extrants ou les résultats ainsi que les mesures du rendement pour chacun d’eux. Indiquez les valeurs de référence et les cibles des mesures, et précisez qui est responsable de chacune d’elles. Le résumé illustrera le récit que vous ferez d’une initiative à des collègues et chefs de projet, et leur montrera comment les choses se sont améliorées grâce à elle.
Exemple de fixation d’une valeur de référence et de cibles à partir du rendement de l’année précédente
En 2019, un programme a donné lieu à l’organisation de huit ateliers au total. En 2020, la valeur de référence s’élèvera à au moins huit ateliers et la cible sera fixée à dix ateliers.
En 2019, 150 personnes ont participé aux ateliers. En 2020, la cible fixée pour le nombre de participants correspond à une augmentation de 10 % par rapport aux 150 participants de 2019.
En 2019, les ateliers ont obtenu un taux de satisfaction de 90 % auprès des participants. En 2020, la cible est de maintenir ce taux de satisfaction.
Grâce aux connaissances acquises lors d’un atelier donné en 2015, 60 % des participants ont déclaré avoir utilisé ce qu’ils ont appris pour accroître leurs activités.
Les questions suivantes peuvent aider à situer rapidement là où vous en êtes et à l’expliquer aux autres, et à préciser ce qui est fait dans le processus de mesure du rendement. Si vous répondez « oui » à toutes ces questions, votre organisation est prête à passer à l’étape suivante.
Un modèle à suivre pour la création du résumé des mesures du rendement se trouve à l’annexe 9, Modèle de résumé des mesures du rendement.
Étape III – Questions de diagnostic
- Des mesures du rendement ont-elles été sélectionnées?
- Les mesures du rendement ont-elles été classées par ordre de priorité pour que le nombre soit facile à gérer?
- Les choix ont-ils été communiqués aux différents acteurs?
Une liste complète des questions de diagnostic à se poser aux quatre étapes se trouve à l’annexe 2, Questions de diagnostic.