Rapport d'évaluation sommative : Rapport final PIC 2010-10-26 - Méthodologie

3.0 Méthodologie

3.1 Aperçu de la méthodologie

Voir l'annexe C du présent rapport pour une présentation détaillée de la méthodologie et de la matrice d'évaluation. Voici, en quelques mots, la méthodologie utilisée dans le cadre de l'évaluation :

  • Examen des documents : Tout au long de l'évaluation, on a effectué un examen en profondeur des documents fournis par Infrastructure Canada, les PEF et les répondants, y compris les documents préliminaires du programme, les présentations au Conseil du Trésor, les ententes de contribution et les conditions du programme. Voir l'annexe D pour la liste complète des documents examinés.
  • Analyse des données : On a analysé les données du Système partagé de gestion de l'information sur les infrastructures (SPGII), d'autres données provenant des PEF ainsi que des données sur d'autres programmes (pour l'analyse de la rentabilité).
  • Analyse coût-efficacité : Cette analyse visait à déterminer si les ressources allouées au début du programme aux PEF étaient suffisantes pour assurer l'administration du programme. On a également comparé le PIC à huit autres programmes canadiens et étrangers. De plus, conformément aux exigences formulées dans le cadre d'évaluation de 2001 du PIC, on a étudié l'efficacité administrative des ministères et organismes chargés de la mise en œuvre du programme (APECA, DEC-Q, DEO, IC et AINC). Voir l'annexe E pour une analyse détaillée.
  • Entrevues en profondeur : Au total, 99 entrevues téléphoniques ont été réalisées avec un échantillon d'intervenants (représentants d'INFC et des Secrétariats mixtes, membres et coprésidents des Comités de gestion, représentants municipaux et provinciaux, partenaires, représentants des PEF et autres intervenants).
  • Sondages téléphoniques : Quatre sondages téléphoniques distincts ont été effectués auprès des municipalités canadiennes et des organismes bénéficiaires. On a effectué, au total, 1 089 entrevues : 500 avec des bénéficiaires, 255 avec des demandeurs dont le projet avait été refusé, 126 avec des demandeurs s'étant retirés et 208 avec des personnes n'ayant pas présenté de demande.
  • Études de cas : On a effectué 13 études de cas. Onze d'entre elles portaient sur les projets d'organismes bénéficiaires (municipalités ou autres organismes admissibles), soit une par province et une au Yukon. De plus, on a mené une étude de cas sur la participation des administrations locales et une autre sur les secrétariats mixtes. Voir l'annexe F pour plus de détails sur les études de cas consacrées aux projets, l'annexe G pour un résumé sur la participation des administrations locales et l'annexe H pour l'étude de cas sur les secrétariats mixtes.

3.2 Questions d'évaluation

La présente évaluation se penche sur les questions liées à la pertinence, à la réussite, à l'efficacité et à l'efficience du programme. Elle s'intéresse aussi aux leçons apprises qui peuvent être utiles à d'autres programmes d'INFC. Voir l'annexe C pour une matrice expliquant les différentes approches utilisées pour répondre aux questions de l'évaluation. De nombreuses sources de données ont été utilisées pour répondre aux questions et aux enjeux de l'évaluation.

3.3 Limites de l'évaluation

L'évaluation comporte certaines limites, malgré le fait que la méthodologie générale soit solide et permette de répondre à toutes les questions à l'aide de nombreuses sources de données.

  • Étant donné que de nombreux partenaires ont participé à la prestation du programme, certaines informations et données n'étaient pas accessibles directement auprès d'Infrastructure Canada, mais ont été fournies par les organismes de prestation, dont les PEF, les Comités de gestion et les Secrétariats mixtes. Par conséquent, certaines données n'étaient pas disponibles dans tous les provinces et territoires. De plus, certaines données demandées n'ont jamais été reçues. Infrastructure Canada, les PEF, les provinces et les autres intervenants n'avaient plus toujours en main les documents voulus, puisque bien des provinces et territoires avaient déjà achevé et clos leurs projets.
  • L'évaluation du programme effectuée par le Québec n'était pas disponible au moment de rédiger la version finale du rapport.
  • Le nombre de programmes fédéraux et provinciaux d'infrastructure créés au cours des dernières années a rendu complexe la différenciation du PIC des autres programmes, tout particulièrement lors des entrevues. Étant donné que le programme avait déjà pris fin dans bien des provinces et territoires, les nouveaux programmes fédéraux d'infrastructure étaient plus frais à la mémoire des intervenants, et certains répondants ne savaient trop quel programme était évalué.
  • Étant donné la nature du programme, le nombre d'études de cas effectuées est relativement faible, particulièrement à la lumière des variables à prendre en compte (plusieurs objectifs et sous-objectifs, 13 provinces et territoires, études de cas portant sur des projets et d'autres sur des sujets particuliers, etc.). Par conséquent, les études de cas ne couvrent pas suffisamment les différents éléments du programme pour permettre une comparaison entre elles. Malgré tout, elles fournissent des données qualitatives et quantitatives qui viennent compléter les autres sources de données.
  • Étant donné que le programme a débuté en 2000, bien des gens ayant participé au programme n'étaient plus disponibles. Par conséquent, certaines des personnes interviewées et sondées avaient une connaissance limitée du programme et des projets.

Ces limites ont été, dans la mesure du possible, atténuées par l'utilisation de multiples sources de données portant sur les différentes questions d'évaluation.

Date de modification :