Rapport d'évaluation sommative - Programme infrastructures Canada Volet Premières nations - Méthode d'évaluation

2.0 Méthode d'évaluation

2.1 Objet et portée de l'évaluation

Conformément à la Politique d'évaluation (2001) et à la Politique sur les paiements de transfert (2000) du Conseil du Trésor du Canada, le cadre de mise en œuvre du PIC-PN prévoit une évaluation sommative du Programme 12 mois après son achèvement¹.

La présente évaluation sommative a pour objet de fournir aux décideurs de l'information sur les résultats du PIC-PN, une analyse de ces résultats et une évaluation de l'efficacité administrative du Programme en regard de ses objectifs et de promouvoir un niveau supérieur de responsabilisation et de transparence. Étant donné que le Programme n'avait pas été renouvelé et que le Fonds d'infrastructure des Premières nations (FIPN) a été créé en 2007-2008, l'évaluation servira aussi à tirer des leçons du travail accompli par le PIC-PN ainsi qu'à améliorer la prestation du FIPN et d'autres programmes d'INFC.

Nous voulions plus particulièrement établir les points suivants :

• si le Programme a produit les résultats attendus;
• quels ont été les effets du Programme sur les collectivités de Premières nations;
• si le Programme était rentable (coût-efficacité).

2.2 Enjeux d'évaluation

En accord avec le modèle logique du Programme (annexe F) et la Politique d'évaluation du Conseil du Trésor du Canada, la présente évaluation sommative traite de plusieurs enjeux et questions de recherche, énoncés dans la grille d'évaluation (annexe G). Notre évaluation s'est attardée aux questions et aux enjeux suivants :

Enjeu d'évaluation	Questions principales
Progrès/réussites	Dans quelle mesure a-t-on produit les résultats? Quels ont été les effets sur les collectivités de Premières nations?
Rapport coût-efficacité	La prestation du Programme s'est-elle effectuée de manière efficace et efficiente?

L'équipe d'évaluation a établi les besoins en information pour la présente évaluation sommative en collaboration avec l'effectif du MAINC. La grille d'évaluation (annexe G) présente les questions abordées, ainsi que les indicateurs, les sources de données et les méthodes de collecte de données. La recherche aux fins de l'évaluation a débuté à l'hiver 2007 pour s'achever à l'automne 2008, en conformité au délai prescrit dans le cadre de mise en œuvre du PIC-PN.

2.3 Méthodologie

2.3.1 Conception de l'évaluation

Nous avons réalisé des analyses qualitatives et quantitatives des extrants du PIC-PN et de son efficacité. Plus précisément, notre équipe d'évaluation et l'expert-conseil ont accompli les activités suivantes :

• examiner et analyser des documents de planification, des documents stratégiques et des sites Web du PIC-PN et d'autres renseignements sur le Programme;
• élaborer des guides d'entrevue et des ébauches d'enquête à partir de la grille d'évaluation;
• consulter de manière approfondie des sources clés;
• examiner des études de cas et, de manière approfondie, les projets choisis.

2.3.1.1 Examen et analyse des dossiers, des documents et des sites Web

On a examiné les documents de référence avant d'entreprendre les entrevues et l'examen des études de cas. Cette documentation comportait les éléments suivants : présentation au Conseil du Trésor, évaluation formative du PIC, documents de programme du PIC-PN, plan d'entretien de l'infrastructure du Programme d'immobilisations du MAINC, autres documents pertinents, base de données du SPGII et divers sites Web. L'annexe A présente la liste complète des études et des documents examinés en vue de la présente évaluation sommative.

2.3.1.2 Élaboration et essai préalable des guides d'entrevue

Pour chaque catégorie de répondant, notre équipe d'évaluation a élaboré des guides d'entrevue des sources clés et un guide d'entrevue pour les études de cas.

L'élaboration des guides d'entrevue visait à obtenir les opinions et les perspectives de responsables d'INFC-PN et du MAINC relativement aux extrants et à l'efficacité administrative du Programme. Le contenu des guides d'entrevue s'inspirait de la grille d'évaluation, et les guides étaient disponibles en français et en anglais.

Nous avons utilisé l'un des guides d'entrevue pour solliciter l'opinion de Premières nations participantes à propos des avantages du Programme pour leur collectivité, soit les avantages environnementaux, communautaires et autres, les autres priorités d'infrastructure pour leur collectivité et toute autre question touchant la mise en application du PIC-PN ou de ses processus de rapport.

Le guide d'entrevue pour les études de cas a été élaboré pour examiner des projets de différentes catégories dans trois régions dont le MAINC s'occupait. Au moyen de ce guide d'entrevue, nous avons interrogé des intervenants des Premières nations à propos des avantages découlant du PIC-PN (environnementaux, communautaires et économiques) et d'autres priorités des Premières nations. La sélection des projets et des régions du MAINC pour les études de cas se fondait sur les exigences du cadre d'évaluation, ainsi que sur des critères comme la répartition géographique, le financement disponible et le nombre de projets approuvés. Les questions abordées dans le guide d'entrevue pour les études de cas s'inspiraient également de la grille d'évaluation.

2.3.1.3 Consultations de sources clés

On a consulté des sources clés dans les catégories suivantes : les gestionnaires de programme d'INFC et du MAINC, les agents des communications d'INFC et du MAINC, les directeurs régionaux du MAINC, l'agent responsable de la base de données du SPGII d'INFC, les responsables des comités de gestion du MAINC et des Premières nations, les chefs de bande, les gérants de bande, les conseils de bande et les conseils tribaux. L'annexe B présente une liste complète des sources consultées.

2.3.2 Mise en œuvre de l'évaluation

2.3.2.1 Entrevues avec des sources clés

Le tableau 2 résume les entrevues avec les sources clés menées par l'équipe d'évaluation d'INFC et l'expert-conseil.

Tableau 2 : Entrevues avec des sources clés

Personnes interrogées	Méthode de tenue de l'enquête	Nombre d'entrevues menées
Gestionnaires de programme d'INFC	En personne	1
Gestionnaires de programme d'INFC	En personne	2
Agent des communications d'INFC	En personne	1
Agent des communications d'INFC	En personne	1
Agent responsable du SPGII à INFC	En personne	1
Directeurs régionaux du MAINC	Par téléphone	7
Agents du MAINC et comités de gestion des Premières nations	Par téléphone	7
Sous-total		20
Chefs et gérants de bande	Par téléphone	21
Conseils de bande	Par téléphone	7
Total		48

Notre équipe d'évaluation a mené des entrevues individuelles et de groupe, en français et en anglais, avec un total de 20 responsables d'INFC et du MAINC. La plupart de ces personnes n'occupaient pas leur poste actuel pendant toute la durée des projets visés. Les entrevues avec les directeurs régionaux du MAINC ont eu lieu en personne ou par téléphone. Des guides d'entrevue ont été élaborés pour chaque groupe (les gestionnaires de programme d'INFC et du MAINC, les agents des communications d'INFC et du MAINC, l'agent de la base de données du SPGII d'INFC et les directeurs régionaux du MAINC) et ont été transmis à l'avance à ces sources pour leur permettre de se préparer à l'entrevue.

L'expert-conseil a mené des entrevues individuelles et de groupe avec les sources clés du MAINC, les membres de comités de gestion des Premières nations, les chefs de bande, les gérants de bande et les membres de conseils de bande. Sept guides d'entrevue ont été préparés et distribués à l'avance pour cette série d'entrevues, avec une lettre de présentation visant à expliquer l'objet de l'étude. Les entrevues ont eu lieu par téléphone et ont duré de 30 à 40 minutes.

Des entrevues ont été réalisées pour étayer le volet des études de cas de l'évaluation. En vue de 15 études de cas portant sur 46 projets, l'expert-conseil a mené 50 entrevues en personne et fait état d'un niveau élevé de concordance entre les données recueillies au fil des projets d'étude de cas et les données sur les mêmes projets dans la base de données du SPGII.

2.3.2.2 Études de cas

L'expert-conseil a mené 15 études de cas dans trois régions visées par le PIC-PN, soit la région de l'Atlantique, l'Ontario et la Colombie-Britannique. Nous ne disposions pas de données sur le rendement du Programme pour ces trois régions. Dans chaque région, l'expert-conseil a choisi cinq projets d'infrastructure (à partir de catégories comprenant l'eau, les égouts, les routes, les bâtiments communautaires et les centres culturels) comme points de départ pour des études de cas qualitatives.

Les études de cas consistaient à examiner les documents clés de chaque projet, à visiter les emplacements, à photographier les projets et à interroger en personne des responsables du MAINC et des membres des Premières nations possédant une expertise liée au type de projet. Des questionnaires ont été transmis à l'avance aux sources d'information pour leur permettre de recueillir l'information nécessaire.

2.4 Limites

La présente évaluation sommative visait surtout à présenter aux décideurs de l'information sur l'obtention des résultats prévus du Programme, les effets sur les collectivités de Premières nations, l'efficience et la rentabilité.

Le PIC-PN représente l'un des nombreux facteurs qui ont contribué à l'amélioration de l'infrastructure dans les collectivités de Premières nations. Plusieurs autres facteurs, dont l'existence de programmes complémentaires, le contexte économique et la disponibilité des ressources, sont également intervenus dans l'aménagement et dans l'amélioration des infrastructures des Premières nations.

Dans ce contexte, il n'est pas facile d'établir exactement les résultats qui sont attribuables au PIC-PN et ceux qui sont attribuables à d'autres facteurs ou programmes.

De plus, nos constatations sur les progrès ou les réussites et la rentabilité du Programme reposent principalement sur l'information recueillie lors des  entrevues et des études de cas ainsi que de l'examen des documents clés et des données concernant le Programme.

Il faut préciser que nous avons limité notre enquête à 46 projets choisis dans trois régions du MAINC et que les résultats obtenus ne peuvent donc pas être généralisés pour l'ensemble des projets du PIC-PN. Les résultats portaient spécifiquement sur les projets d'infrastructure abordés dans les entrevues d'étude de cas. Mises à part les données du SPGII sur les projets de l'étude de cas, nous avons constaté que les données du SPGII n'étaient pas à jour et qu'elles se limitaient à l'information consignée à l'étape de la présentation de la demande du processus d'approbation. Le SPGII n'a donc pas été une source d'information quantifiée sur les résultats et l'efficacité administrative aux fins de la présente étude, qui était aisément disponible. De plus, ces données n'étaient pas disponibles lorsqu'elles ont été demandées à l'occasion des visites sur place aux bureaux régionaux du MAINC.

En fait, nous avons constaté que la plupart des gestionnaires de projet du PIC-PN dans les collectivités de Premières nations n'avaient pas assuré le suivi des avantages produits par leurs projets d'infrastructure et qu'ils ne connaissaient pas vraiment le SPGII. En ce qui concerne l'utilisation du SPGII à titre d'outil de gestion pour le PIC-PN, nous avons constaté que les consultations et la surveillance effectuées par le MAINC et INFC à l'égard de l'utilisation du SPGII n'étaient pas suffisamment vastes. Par conséquent, dans le contexte de la présente évaluation sommative, au cours de l'hiver 2008, près d'un an après l'achèvement du Programme, INFC a transmis un imprimé des données du SPGII aux bureaux régionaux du MAINC, par l'intermédiaire de l'administration centrale du MAINC, pour les aider à valider et à mettre à jour les données de chaque projet du PIC-PN.

Il en découle que, pour les projets d'infrastructure que nous avons évalués, même si les extrants et l'efficacité administrative étaient apparents, il a été impossible de quantifier les résultats, en l'absence de données du SPGII. Nos constatations sont donc limitées, car nous ne possédons pas les données du SPGII.

Dans le cadre des entrevues avec les sources clés et de groupe, ainsi que des entrevues d'études de cas, nous avons demandé aux personnes interrogées de produire tout document important à leur disposition et de définir les méthodes de mesure des résultats prévus utilisées pour leurs projets. Dans la plupart des cas, ces documents étaient difficilement accessibles, et les personnes interrogées étaient peu nombreuses à se souvenir des détails des projets qui avaient été menés entre 2002 et 2004. Dans certains cas, les membres de l'effectif qui auraient été à même de produire des documents ou des données n'étaient plus à l'emploi de ces collectivités de Premières nations.

Dans la préparation des entrevues avec des responsables d'INFC et du MAINC, il a été difficile d'obtenir la plupart des documents opérationnels, et même certains documents essentiels, relatifs au Programme. Ainsi, les données comparant les besoins initiaux en infrastructure des collectivités de Premières nations aux données sur les résultats de programme n'étaient pas disponibles. En outre, aux fins de la présente évaluation sommative, nous n'avons pas examiné l'information des Premières nations qui n'ont pas présenté de demandes de financement de projet ou des Premières nations qui ont présenté des demandes qui n'ont pas été approuvées.

^[1]La Politique d'évaluation fédérale (version 2001) imposait aux ministères fédéraux d'évaluer des enjeux de pertinence, de résultats et d'options touchant leurs politiques, programmes et initiatives, pour « faire en sorte que le gouvernement dispose en temps voulu de renseignements stratégiques, objectifs et solides au sujet du rendement de ses politiques, programmes et initiatives afin de produire de meilleurs résultats pour les Canadiens et les Canadiennes ».