Évaluation sommative nationale du Fonds de la taxe sur l'essence et du Fonds pour le transport en commun - 2.0 Éléments de l'évaluation et méthodologies

2.0 Éléments de l'évaluation et méthodologies

2.1 Contexte

Les ententes relatives au FTE et au FTC prévoient la réalisation d'évaluations conjointes des programmes au plus tard le 31 mars 2009. Au minimum, les évaluations doivent traiter des enjeux quant à l'atteinte des objectifs établis dans les ententes, à l'utilisation des fonds, à l'efficacité du mode de financement et à l'efficacité du protocole de communication. Dans le cadre de ces évaluations conjointes, les commentaires des bénéficiaires admissibles ou de leurs représentants doivent être recueillis et les résultats de ces évaluations doivent être rendus publics.

Les treize évaluations conjointes sont terminées, ce qui représente tous les signataires des ententes à l'exception du Québec puisque l'Entente Canada-Québec ne prévoit pas d'évaluation conjointe. Les commentaires de 60 représentants provinciaux ou territoriaux et de 202 représentants municipaux ou d'associations municipales ont été recueillis au moyen d'entrevues. Des sondages ont également été envoyés par courrier ou postés en ligne et ont permis de recueillir et d'analyser les commentaires de 693 représentants municipaux. De plus, 108 études de cas sur les projets réalisés ou en cours dans le cadre du FTE ou du FTC ont été effectuées. Quatorze représentants fédéraux ont participé à ces évaluations conjointes au nom du gouvernement du Canada.

En vertu des ententes, le Canada doit réaliser une Évaluation sommative nationale qui intègre les résultats des évaluations conjointes, et ce, au plus tard le 30 juin 2009. À la suite de l'évaluation nationale, les parties peuvent choisir de modifier les ententes, au besoin.

2.2 Méthodologies

La présente Évaluation sommative nationale est fondée sur les résultats des 13 évaluations conjointes auxquels s'ajoute un examen global des résultats et des progrès réalisés à ce jour. Puisque le programme du FTC s'est échelonné sur un an seulement, l'accent a été mis sur le programme du FTE d'autant qu'il a été décidé de prolonger ce programme jusqu'en 2014.

Les 13 évaluations conjointes ont été effectuées suivant une matrice d'évaluation commune,10 adaptée aux circonstances particulières de chaque signataire. Six (6) consultants ont procédé aux évaluations. Même si les méthodologies diffèrent légèrement, elles sont fondées sur quatre (4) composantes essentielles :

  • l'examen des documents, des dossiers, des évaluations et autre documentation;
  • les entrevues avec les principaux répondants, individuellement ou dans le cadre de groupes de discussion et, dans 10 des 13 évaluations, les sondages par courrier ou en ligne auprès des bénéficiaires admissibles;
  • l'analyse des constatations en fonction des questions d'évaluation clés;
  • les études de cas sur les projets réalisés ou en cours qui ont été financés par le FTE et le FTC.

Les évaluations conjointes offrent une vue d'ensemble des perceptions et des opinions quant à la pertinence, l'efficacité et l'efficience des programmes du FTE et du FTC. Elles comprennent également des recommandations qui, dans certains cas, se rapportent à un signataire en particulier, alors que d'autres se rapportent à plusieurs.

L'Évaluation sommative nationale comprend de plus des analyses quantitatives sur l'utilisation des fonds, sur la gestion et l'exécution des programmes, et sur les engagements relatifs aux dépenses en immobilisations. Une analyse détaillée des ententes relatives au FTE conclues entre le Canada et les provinces, les territoires et les associations municipales, et celles conclues avec les bénéficiaires admissibles. Tous les projets ont été pris en compte dans le cadre des analyses de l'utilisation des fonds en regard des affectations, des catégories de projets et des résultats attendus.

Compte tenu des paramètres du programme, les données relatives aux affectations aux bénéficiaires, les montants engagés et les dépenses sont fournies par les signataires dans les rapports vérifiés annuels des dépenses. Les signataires fournissent également une liste des projets et des catégories de projets, de même que les résultats attendus dans le cadre du Rapport annuel des dépenses. Les résultats atteints seront pour leur part inclus dans le rapport sur les résultats à être publiés par les signataires pour leurs citoyens.

Les données financières fournies par les provinces et les territoires sont vérifiées et leur qualité n'est pas une source de préoccupation.

Les renseignements sur les projets sont fournis dans une liste qui fait partie du Rapport sur les dépenses annuelles. La qualité de ces renseignements dépend de la qualité des renseignements recueillis par les provinces, les territoires et les associations auprès des bénéficiaires admissibles.

Seuls les bénéficiaires admissibles de l'UBCM et du Manitoba saisissent des données dans le Système de production de rapports sur le Fonds de la taxe sur l'essence et le Fonds pour le transport en commun. Comme il est fréquent lorsque de nombreux utilisateurs saisissent des données dans un même système, certaines incohérences ont été identifiées mais aucune n'est significative.

Les listes de projets fournies par les signataires parviennent dans une panoplie de formats : versions PDF balayées ou fichiers images, fichiers PDF, fichiers Excel et même, des copies papier. Ces données sont ensuite saisies dans une base de données Excel avec les risques habituels que comporte la saisie manuelle des données. Les données de projets sont analysées pour valider la catégorie et le type de projets : les descriptions.

Parmi les problèmes rencontrés au plan des données des projets, il faut noter : l'absence d'un code d'identification du projet, ce qui complique la tâche lorsqu'il faut identifier des projets pluriannuels; l'inscription non systématique de l'identité des bénéficiaires admissibles, incluant parfois le type de municipalité dans le nom, parfois seulement le nom, ce qui oblige à manipuler les données lorsqu'il faut comparer la base de données des affectations à celle des projets; incohérences dans la façon dont les dates de début et de fin sont inscrites; renseignements limités sur les autres sources de financement ou encore, inscription non systématique de ces sources.

Il y a deux conséquences à cette situation.

  1. Il faut procéder à de nombreuses manipulations afin d'analyser les données et, dans certains cas, il faut interpréter les données fournies, comme pour la catégorie ou la sous-catégorie de projets en fonction de la description de projet.
  2. Les données les plus généralement transmises peuvent être analysées. Elles incluent : les catégories et les sous-catégories de projets, les fonds reçus et dépensés en vertu du FTE et du FTC, les revenus d'intérêts et les frais administratifs, ainsi que les résultats attendus agrégés (assainissement de l'air et de l'eau, réduction des émissions de GES), des indicateurs qui sont au cœur de l'Évaluation sommative nationale.

Toutefois, ces problèmes ne compromettent pas la qualité générale des données sur lesquelles se fonde l'Évaluation sommative nationale.

Un échantillon des projets a été analysé et comprend les projets réalisés ou en cours en Alberta, en Colombie-Britannique, au Manitoba, en Ontario, au Nouveau-Brunswick, en Nouvelle-Écosse et à l'Île-du-Prince-Édouard. Ensemble, ces signataires représentent 68,5 % de la totalité des fonds versés en vertu du FTE et 37,2 % de tous les bénéficiaires admissibles. L'analyse de l'échantillon regroupe les projets pluriannuels, l'analyse de la taille des projets en relation avec la taille des bénéficiaires, l'analyse de la taille des bénéficiaires qui n'ont pas effectué de dépenses au 31 mars 2008. À ce jour, le Québec et la Saskatchewan n'ont produit des rapports que sur les fonds engagés, et les données de ces provinces ne pouvaient pas faire partie de l'échantillon. Puisque Terre-Neuve-et-Labrador a conclu l'entente un an après les autres signataires, les données de cette province ne sont pas incluses dans l'analyse. Enfin, les territoires ne sont pas inclus, car peu de projets y ont été entrepris. Au Yukon, les activités à ce jour se résument à la préparation des Plans intégrés pour la durabilité de la collectivité et aucune dépense en immobilisations n'a été effectuée.

L'analyse a également porté sur la collaboration intergouvernementale, les activités de communication, les progrès accomplis dans la planification du développement durable à long terme et les rapports sur les résultats.

En ce qui concerne le FTC, les données de tous les projets entrepris par les bénéficiaires ont été analysées.

Aucune autre entrevue n'a été effectuée dans le cadre de l'Évaluation sommative nationale. Toutefois, les comités de suivi se sont réunis et les recommandations et commentaires exprimés au sujet des rapports d'évaluation conjointe, ont été pris en compte dans l'Évaluation sommative nationale.

2.3 Limites

Bien que tous les efforts raisonnables aient été déployés pour assurer la rigueur et la fiabilité des méthodologies décrites aux présentes, l'Évaluation sommative nationale comporte certaines limites.

L'Évaluation sommative nationale dépend de 13 évaluations conjointes qui sont assujetties aux limites qui suivent.

  1. Malgré la matrice d'évaluation commune utilisée pour réaliser les évaluations, il existe des divergences dans les méthodologies utilisées pour réaliser les évaluations conjointes, telles que les questions d'entrevues ou utilisées dans les sondages, ce qui pourrait avoir entraîné des discussions plus ou moins détaillées sur les programmes dans certaines régions. Cependant, l'ampleur de ces différences ne compromet pas la qualité générale des renseignements fournis dans ces rapports ni la qualité des opinions qui y sont exprimées.
  2. Les constatations relatives à la gestion et à l'exécution des programmes, à l'échelle provinciale, territoriale ou des associations, dépendent du mode de prestation établi qui varie d'un signataire à l'autre. Les conclusions et les recommandations pourraient n'être pertinentes que pour un signataire particulier et ne pourraient alors être généralisées à l'ensemble.
  3. Les taux de réponse aux sondages varient considérablement d'une région à l'autre. Néanmoins, les tendances générales sont très similaires dans l'ensemble des 13 rapports. Même si l'on ne peut généraliser les résultats, ils offrent des perspectives intéressantes.
  4. En général, la sélection des projets pour les études de cas tenaient compte d'une gamme de projets et de bénéficiaires dans des contextes régionaux différents. Les méthodologies varient considérablement, non seulement sur le plan du processus de sélection, mais aussi sur le plan du contenu des études. Il est très difficile, à partir de ces analyses, de tirer des conclusions significatives que l'on pourrait généraliser.
  5. Le programme du FTC, bien qu'il soit inclus dans les évaluations conjointes, n'a pas été examiné aussi exhaustivement que le programme du FTE. La courte durée du programme (un an) et le nombre limité de bénéficiaires (189) comparativement au FTE (3 647) pourraient expliquer, en partie, les constatations limitées au sujet du FTC. L'analyse des données des projets a été effectuée pour compenser les renseignements manquants dans les évaluations conjointes.

Quant aux données analysées dans le cadre de l'Évaluation sommative nationale, la principale limite est la disponibilité des données.

  1. Les rapports annuels des dépenses sont disponibles seulement pour les trois (3) premières années des programmes du FTE et du FTC, et les constatations sur l'utilisation des fonds se limitent donc aux exercices de 2005-2006 à 2007-2008.
  2. Terre-Neuve-et-Labrador a été la dernière province à signer l'entente relative au FTE et des données ne sont disponibles que pour deux ans.
  3. De 2005-2006 à 2007-2008, la Saskatchewan a produit des rapports sur les sommes engagées par les bénéficiaires admissibles seulement. La Saskatchewan rendra compte des sommes dépensées dans son rapport annuel des dépenses de 2008-2009.
  4. En vertu de l'Entente Canada-Québec, la Société de financement des infrastructures locales (SOFIL) présente un rapport financier annuel vérifié à l'Assemblée nationale du Québec sur les fonds versés aux municipalités et aux bénéficiaires admissibles pour tous les programmes d'infrastructure, y compris le FTE et le FTC. Ce rapport est transmis au Canada. À ce jour, les données du Québec se limitent aux fonds versés aux bénéficiaires admissibles et aux fonds engagés par ces derniers dans le cadre de projets liés au FTE. Actuellement, aucune donnée sur les fonds dépensés dans le cadre des projets n'est disponible. Cependant, pour les projets financés par le FTC, les données fournies se rapportent aux sommes dépensées puisque, dans ces cas, la SOFIL rembourse aux bénéficiaires admissibles les coûts encourus. Les municipalités du Québec doivent dépenser tous les fonds accordés en vertu du FTE d'ici le 31 décembre 2009. Elles doivent soumettre un rapport financier pour tous les projets financés par le FTE, y compris des résultats attendus, d'ici le 30 juin 2010 ainsi qu'un rapport vérifié six (6) mois plus tard.
  5. Certains engagements stipulés dans les ententes, tels que les plans de dépenses d'investissement, les plans intégrés pour la durabilité de la collectivité ainsi que les engagements relatifs aux dépenses en immobilisations, doivent être respectés au terme des ententes ou à une date ultérieure à l'Évaluation sommative nationale, comme dans le cas des rapports sur les résultats. Par conséquent, l'Évaluation sommative nationale ne peut traiter que des progrès réalisés à ce jour afin de respecter ces exigences et ces engagements.

Enfin, il importe de remarquer que l'Évaluation sommative nationale ne peut rendre pleinement justice aux opinions et recommandations formulées dans les 13 rapports d'évaluation conjointe ni à toutes les personnes qui ont participé à ces évaluations. Les évaluations conjointes joueront un rôle important à l'avenir alors que le FTE sera prolongé.

[10]Annexe 1, Figures 1 et 2, Cadres logiques; Tableau 2, Matrice d'évaluation

Date de modification :