Rapport d'évaluation sommative : Rapport final PIC 2010-10-26 - Constatations - Efficacité et efficience

6.0 Constatations : Efficacité et efficience

6.1 Rôle de la conception du PIC dans la qualité de la planification et le respect des délais

Les éléments de la conception du programme ont été étudiés en détail dans le rapport d'évaluation formative de septembre 2005. On s'y penchait sur sept questions d'évaluation liées à l'adéquation des éléments de la conception du PIC : cohérence entre la conception et la mise en œuvre du programme; échéanciers, rôles et responsabilités, soutien, suivi et production de rapports. L'évaluation formative comportait plusieurs recommandations.

Il est difficile de déterminer, à partir des documents étudiés et des entrevues avec les répondants d'INFC, des PEF, des CG et du SM, dans quelle mesure le PIC permettait une bonne planification. Toutefois, le programme a connu certaines difficultés dans quelques domaines, qui ont eu des répercussions sur sa gestion et sa mise en œuvre : changements dans la coordination nationale du programme peu après sa mise en œuvre; surestimation de la capacité à verser les contributions au début du programme; et délais imprévus ayant nécessité deux prolongations du programme.

Le PIC a été conçu par le Bureau national de l'infrastructure, situé à l'origine dans les bureaux du Secrétariat du Conseil du Trésor. Le PIC a ensuite été transféré à Infrastructure Canada, un nouveau ministère créé au mois d'août 2002 pour agir à titre d'organe responsable des questions et des programmes liés à l'infrastructure. Ces modifications, qui se sont accompagnées de changements quant aux principaux responsables de la coordination des divers aspects du programme, ont eu des répercussions sur la gestion du PIC. Cela est ressorti lors des entrevues, durant lesquelles très rares sont les répondants qui se sont dits familiers avec les débuts de la planification et de la mise en œuvre du PIC.

Figure 1 - Comparaison des contributions annuelles prévues et réelles, en dollars

Bien que le PIC ait été conçu comme un programme quinquennal devant prendre fin le 31 mars 2006, il est apparu, durant sa mise en œuvre, qu'il faudrait le prolonger pour donner le temps nécessaire pour achever les projets financés.

Le fait que le PIC ait dû être prolongé deux fois, soit du 31 mars 2006 au 31 mars 2011 (cinq ans de plus que la date finale initiale), suggère que l'on ne s'attendait pas à ce que l'achèvement et la clôture des projets exigeraient plus de temps que prévu. Les quatre principales raisons identifiées lors de l'évaluation à mi-mandat sont la lenteur du processus d'approbation, d'annonce et de modification des projets, les évaluations environnementales (EE), l'augmentation du coût des matériaux, une saison de construction courte et le mauvais temps. On rapporte également dans l'évaluation à mi-mandat qu'il restait encore beaucoup à faire pour qu'Infrastructure Canada et les PEF s'entendent sur les exigences en matière de suivi et de rapports sur les extrants et les résultats et ainsi assurer une uniformité entre les provinces et territoires et faciliter l'analyse des résultats du programme.

L'évaluation à mi-mandat recommandait principalement d'améliorer la gestion horizontale et de revoir les procédures de clôture de projet du SPGII. Malgré ces efforts, le programme a nécessité une deuxième prolongation en 2007, car quelques provinces rencontraient un large éventail de problèmes imprévus les empêchant de clore les projets à la date prévue (première prolongation). Ces projets incomplets représentaient 1,4 % de l'ensemble des projets approuvés, et 8 % des contributions totales.

Les données du SPGII et les études de cas suggèrent que de nombreux projets ont été retardés à un moment ou un autre au cours du programme. Neuf provinces sur dix ont demandé que des modifications soient apportées à 25 % de leurs projets. Dans quatre provinces, plus de 50 % des projets ont dû être modifiés. De plus, dans bon nombre des projets analysés lors des études de cas, les retards sont survenus lors de la planification, soit avant le début de la construction. Plusieurs facteurs sont à l'origine des retards. Pour certains projets, les pourparlers entre le promoteur et le bailleur de fonds ont pris beaucoup de temps après la réception de la proposition initiale. Pour d'autres projets, les pourparlers entre le promoteur et le bailleur de fonds ont mené à la modification de la proposition. De plus, l'obligation, en vertu de la Loi canadienne sur l'évaluation environnementale (LCEE), de faire une évaluation environnementale a entraîné des retards considérables dans le cas de certains projets, notamment lorsque l'évaluation faisait ressortir des facteurs importants devant être pris en compte durant la construction.

Contrairement aux constatations tirées des données du SPGII et des études de cas, les résultats du sondage mené auprès des bénéficiaires indiquent que 90 % des projets ont été complétés comme prévu, que 83 % étaient dans les temps et que 80 % respectaient les budgets prévus. De façon générale, neuf provinces sur dix ont demandé que des modifications soient apportées à 25 % de leurs projets. Dans quatre provinces, plus de 50 % des projets ont dû être modifiés.

La comparaison entre les contributions annuelles prévues et réelles du programme (voir figure 1) montre que la capacité de transfert d'importantes contributions au début du programme était surestimée et que le temps requis lors de la phase de mise en œuvre du programme pour l'approbation, la construction, l'achèvement et la clôture des projets était sous-estimé.

Dans les municipalités, certains sont d'avis que le PIC fut utile, tandis que d'autres disent qu'il a nui à la planification. Pour certains, la rigueur requise pour les demandes fut bénéfique pour la planification du projet. Les partenaires fédéraux et provinciaux indiquent que les municipalités étaient fortement encouragées à mieux planifier (ils vérifiaient, par exemple, si les municipalités avaient tenu compte des coûts du cycle de vie), ce qui a permis une planification plus rigoureuse.

Toutefois, l'incertitude entourant l'approbation des fonds signifie que certains projets ont été suspendus durant de longues périodes de temps ou que des projets qui correspondaient davantage aux critères d'admissibilité ont été entrepris avant des projets plus prioritaires. Certaines municipalités font également valoir que les longs délais entre la réception de la demande et la prise de décisions ont entraîné d'importantes hausses de coûts, ce qui a eu pour conséquence d'affecter les plans financiers des municipalités.

6.2 Respect de la mise en œuvre du PIC telle que planifiée

Infrastructure Canada, les PEF, les membres des CG et le personnel du SM indiquent que le PIC a été mis en œuvre tel que prévu et que des efforts ont été faits pour que le programme respecte les ententes, les politiques et les règlementations fédérales (Loi sur la gestion des finances publiques, Loi canadienne sur l'évaluation environnementale, etc.). Plusieurs d'entre eux soulignent que des vérifications de conformité ont été effectuées et que l'on a tenu compte de leurs recommandations. À l'exception de l'Ontario et des territoires, toutes les provinces ont fourni des exemples de rapports de vérification, des lettres à la gestion et des références aux vérifications de conformité dans les procès-verbaux des CG. Les répondants indiquent s'être conformés aux conditions des ententes fédérales-provinciales.

Des comités conjoints de gestion ont aussi été créés dans tous les provinces et territoires. Tous, sauf le Québec, ont aussi créé un secrétariat mixte chargé des communications et de la coordination de la prestation du programme à l'échelle locale. Les ententes FPT ont d'abord accordé la priorité aux projets d'infrastructure municipale verte, puis aux autres types d'infrastructure locale. On a fixé des cibles précises dans chacune des ententes.

On peut voir, dans le tableau 6, le pourcentage des dépenses réelles dévolues aux projets d'infrastructure municipale verte, ainsi que la cible établie dans les ententes de financement. Les cibles pour les projets d'infrastructure municipale verte ont été atteintes ou dépassées dans toutes les provinces, à l'exception de l'Île-du-Prince-Édouard. Les cibles concernant le pourcentage des dépenses du programme dévolues aux infrastructures municipales rurales ont quant à elles été atteintes ou dépassées dans plusieurs provinces (Ontario, Terre-Neuve-et-Labrador, Nouvelle-Écosse, etc.).

Tableau 6 : Pourcentage des dépenses consacrées aux infrastructures municipales vertes et aux infrastructures municipales rurales
(Source : Données du SPGII au 31 janvier 2010)

Partenaire d'exécution fédéral ou ministère	Infrastructures municipales vertes		Infrastructures municipales rurales
	% des dépenses	Cibles	% des dépenses	Cibles
APECA
Nouveau-Brunswick	86,8 %	70 %	45,3 %	40,0 %
Terre-Neuve-et-Labrador	98,3 %	60 %	79,9 %	56,0 %
Nouvelle-Écosse	77,2 %	60 %	79,9 %	39,0 %
Île-du-Prince-Édouard	49,4 %	60 %	48,0 %	46,0 %
DEC-Q
Québec	39,8 %	40 %	24,5 %	24,0 %
IC
Ontario	46,1 %	40 %	48,2 %	15,0 %
DEO
Colombie-Britannique	74,6 %	75 %	26,7 %	16,0 %
Alberta	63,8 %	40 %	36,2 %	26,0 %
Saskatchewan	62,4 %	50 %	50,9 %	50,0 %
Manitoba	37,5 %	20 %	42,9 %	33,0 %

6.3 Création de partenariats efficaces avec les organismes et ministères chargés de la mise en œuvre du PIC

On a créé, dans les provinces et territoires, un secrétariat mixte chargé de gérer et administrer le programme et d'appuyer les CG. Dans certains cas, le Secrétariat mixte a été créé dans les bureaux communs des gouvernements fédéral et provincial (Manitoba et Alberta). Dans d'autres cas, on a créé un secrétariat « virtuel. » Dans les deux cas de figure, le partage des rôles et responsabilités pour l'évaluation des demandes, la gestion des projets et l'administration s'est fait en collaboration avec les PEF et les partenaires provinciaux. La majorité des répondants (PEF, CG, SM et autres intervenants) sont d'avis que le modèle de gouvernance du PIC était très efficace dans le cadre d'une collaboration FPTM visant à répondre aux besoins d'infrastructure.

Des répondants (membres des CG, personnel des SM et PEF indiquent que les rôles et responsabilités du PIC étaient clairement expliqués dans les documents de création du programme, tels que les ententes FPT, le Cadre de gestion et de responsabilité et les Directives pour les coprésidents fédéraux chargés de l'administration du PIC. Des répondants soulignent certaines difficultés rencontrées en Ontario, en raison de la participation de trois ministères provinciaux. Le personnel fédéral croit que l'Ontario avait une plus grande influence sur la priorisation des projets et la prestation du programme que les autres provinces. Les PEF rapportent quant à eux que les accords de partenariat avec les ministères provinciaux se sont avérés très efficaces. Plusieurs membres du CG et du personnel du SM soulignent que les PEF et leurs homologues provinciaux entretenaient des relations avant le PIC, ce qui a facilité la création de partenariats. Le personnel fédéral et provincial entretenait depuis longtemps des relations solides basées sur la confiance et la compréhension.

Des répondants (représentants des PEF, des CG et des SM) soulignent que leurs relations avec Infrastructure Canada se caractérisaient par la non-ingérence du Ministère, en partie parce que le PIC a été lancé avant la création d'Infrastructure Canada. Bien que la plupart des répondants considèrent avoir eu des relations positives avec Infrastructure Canada, certaines difficultés sont apparues parce que le personnel nouvellement embauché par Infrastructure Canada était peu familier avec les activités du PIC. Certains répondants soulignent que les demandes de renseignements d'Infrastructure Canada n'étaient pas bien coordonnées, ce qui augmentait la charge de travail des SM et des CG et alimentait une certaine frustration. Infrastructure Canada tenait des téléconférences périodiques et des réunions annuelles avec les PEF. Les relations étaient excellentes parmi les cadres intermédiaires.

Deux études de cas spéciales ont été menées pour documenter le degré d'implication des administrations locales dans le PIC et les différentes stratégies des secrétariats mixtes. Ces études de cas sont jointes au présent rapport.

Les entrevues menées auprès des PEF, des membres des CG, des municipalités et des autres partenaires révèlent que l'implication des administrations locales est perçue comme un facteur important ayant contribué à la réussite du PIC, particulièrement dans les provinces et territoires ayant plus clairement défini le rôle des représentants municipaux et ayant prévu une implication plus importante de leur part. Ce sont les associations municipales des provinces de l'Ouest qui se sont le plus impliquées. Au Manitoba, en Saskatchewan et en Alberta, les associations municipales ont participé au processus de sélection des projets. En Colombie-Britannique, en Nouvelle-Écosse et à l'Île-du-Prince-Édouard, les associations municipales avaient le statut de membre sans voix délibérative des CG.

6.4 Soutien offert aux gestionnaires et aux employés d'Infrastructure Canada et des PEF pour la prestation du PIC et l'atteinte des résultats

Plusieurs autres programmes d'infrastructure, introduits durant l'existence du PIC, sont toujours gérés par les secrétariats mixtes et virtuels créés dans le cadre du PIC. Certains représentants des PEF et des SM soulignent que leur personnel ne parvient plus à répondre aux demandes croissantes de soutien administratif. Les programmes fondés sur l'évaluation de demandes de financement exigent beaucoup de temps et de ressources. Le suivi des projets, le traitement des demandes et les autres exigences financières représentent aussi beaucoup de travail. Bien que du financement ait été prévu dans les ententes FPT pour les dépenses de fonctionnement et d'entretien (F&E), la plupart des répondants indiquent que des ressources additionnelles ont été fournies par les PEF et les ministères provinciaux.

Il est difficile de parvenir à une conclusion sur cette question, puisque les secrétariats ont pris en charge d'autres programmes. Lors de l'évaluation nationale, les répondants (représentants des PEF, d'Infrastructure Canada et des SM) ont eu du mal à répondre à cette question, car, dans la plupart des cas, le PIC était déjà terminé et le personnel consacrait déjà son temps à d'autres programmes.

Les répondants conviennent que les problèmes d'efficacité présents au début du programme ont généralement été résolus par les CG. Sur le reste, le point de vue des représentants d'Infrastructure Canada et des PEF diffère énormément :

• Les PEF préfèrent les ententes qui prévoient le transfert de fonds aux PEF, qui sont chargés de les gérer. Les PEF ont quelques bons mots pour le SPGII et l'accroissement, au fil du temps, de la capacité d'Infrastructure Canada.
• Les représentants d'Infrastructure Canada sont d'avis que la gestion des fonds par les PEF (et la grande influence des provinces et des municipalités) a limité la capacité du gouvernement fédéral à gérer les fonds selon ses priorités, y compris au chapitre de la production de rapports sur les résultats nationaux.

6.5 Adéquation du suivi et du contrôle du PIC par les partenaires fédéraux

Les données collectées démontrent que les principaux mécanismes de suivi et de contrôle du PIC étaient efficaces en ce qui concerne la conception du programme et étaient satisfaisants au chapitre de la prestation du programme au Canada.

Les comités de gestion avaient l'obligation de veiller à ce que des vérifications annuelles du programme et des bénéficiaires soient faites à partir de l'évaluation des risques du projet. L'évaluation à mi-mandat du PIC indique qu'il n'y a pas eu, pendant la durée du programme, d'activités uniformes de vérification dans les provinces et territoires et qu'on a dû prendre des mesures correctives à cet effet. On a analysé un certain nombre de vérifications de procédures de gestion. Malgré certains cas de non-conformité aux procédures établies, les vérifications confirment que, dans l'ensemble, les PEF ont fait preuve de diligence raisonnable dans la prestation du PIC et que des mesures correctives ont été prises pour se conformer à toutes les politiques et directives relatives au programme.

Ce sont essentiellement les secrétariats mixtes qui se sont chargés du suivi de projets (à l'exception du Québec, où c'est la province qui s'en est chargé). Les ententes de financement ne comprenaient pas d'obligations claires concernant la production de rapports, et le SPGII n'offrait pas, au départ, les outils nécessaires au suivi de la réalisation des projets. Par conséquent, les PEF ont utilisé leurs propres bases de données ou systèmes de suivi pour assurer le suivi des projets. Voici les procédures de suivi utilisées :

• vérification des demandes de paiement (en l'absence de demandes pendant une période donnée);
• visites des sites des projets (échantillon représentatif et tous les projets présentant un risque élevé);
• vérifications (à partir du plan de vérification);
• visites de sites concernés par les questions d'atténuation des impacts environnementaux.

Par contre, les lacunes des données du SPGII ne permettaient pas la gestion et la supervision du PIC. De plus, il est difficile de déterminer, à partir des données disponibles, si les partenaires fédéraux assuraient un suivi et un contrôle adéquats du PIC. Néanmoins, l'absence de données essentielles sur certains projets indique des lacunes en ce qui concerne les données nécessaires au suivi des projets, au moins à Infrastructure Canada, car les données pouvaient être présentes dans les systèmes des PEF sans qu'Infrastructure Canada y ait accès^{note de bas de page 1}. Il est à noter, cependant, que des répondants indiquent que des améliorations substantielles ont été apportées au SPGII au cours des dernières années afin de répondre plus adéquatement aux besoins de gestion de l'information.

6.6 Efficacité des communications d'Infrastructure Canada et des PEF

En ce qui concerne le modèle logique du programme, les produits et les activités de communication développés tout au long du programme ont contribué directement au résultat ultime en matière de communication : sensibiliser les Canadiens au rôle du gouvernement fédéral en matière d'infrastructure. Une stratégie nationale et des stratégies régionales de communication concernant la participation du fédéral aux infrastructures ont été développées, mises en œuvre et mises à jour tous les ans. Des produits et activités de communication (sites Web, communiqués de presse, relevés de nouvelles et analyse de la couverture médiatique du PIC, cérémonies officielles, événements spéciaux, signalisation, etc.) ont été produits tout au long du programme.

Dans l'évaluation formative, on soulignait l'absence de système uniforme de suivi et de mesure des activités de communication et l'on recommandait qu'Infrastructure Canada élabore et mette en place une stratégie pour la collecte des données nécessaires pour mesurer les résultats des activités de communication. Or le programme de communication du PIC était globalement terminé en 2006, la recommandation n'a donc pu être appliquée.

6.7 Rentabilité des types de prestation de programme (organisme fédéral de mise en oeuvre ou province)

Comme pour l'évaluation à mi-mandat, l'évaluation nationale n'a pu démontrer de façon probante quel type de prestation privilégié pour le PIC était le plus rentable. Cela est en partie dû à l'impossibilité d'analyser la rentabilité administrative en raison du manque de données pertinentes et des variations dans les modes de prestation utilisés dans le cadre des autres programmes d'infrastructure. On retrouve, dans l'évaluation à mi-mandat, une série de recommandations à ce sujet, dont les suivantes :

• INFC devrait travailler de concert avec les PEF dans le but de déterminer les coûts salariaux annuels du PIC en vue de l'évaluation sommative du programme.
• Pour les futurs programmes, un code de projet devrait être créé pour les systèmes financiers afin de permettre l'attribution plus efficace des salaires aux activités de programme.
• INFC, en collaboration avec les PEF, devrait préparer des documents décrivant en détail comment le PIC est mis en œuvre dans chaque province et territoire. Cela faciliterait le développement d'une méthodologie plus rigoureuse en vue de l'analyse de la rentabilité administrative de l'évaluation sommative du programme.

Les données financières pertinentes n'étant pas disponibles, la présente évaluation nationale ne peut confirmer que ces recommandations ont été appliquées. En l'absence des données nécessaires pour analyser la rentabilité administrative du programme, les évaluateurs ont comparé, comme dans l'évaluation à mi-mandat, le budget de fonctionnement alloué à chaque organisme de mise en œuvre au début du programme aux coûts administratifs déclarés pour la prestation du programme dans leur province ou territoire.

Tableau 7 : Sommes consacrées au fonctionnement, y compris les communications

Source : SPGII. Ces montants n'incluent ni les frais généraux et administratifs d'Infrastructure Canada, ni les dépenses liées à l'InfraGuide.

L'écart entre les budgets de fonctionnement prévus et réels que l'on observe dans le tableau 7 démontre que les budgets alloués au début du programme étaient sous-estimés. Les ressources allouées aux PEF n'ont pas suffi à couvrir les frais administratifs, à l'exception de ceux d'Industrie Canada, en Ontario. On parvenait à la même conclusion dans l'évaluation formative, dans laquelle les répondants rapportaient que la plupart des PEF utilisaient leurs propres budgets de fonctionnement et d'entretien pour couvrir les frais administratifs liés à la prestation du PIC. Toutefois, l'évaluation nationale n'a pas permis de découvrir les mesures prises par les PEF pour régler cet écart financier.

C'est en Ontario, là où Industrie Canada a assuré la plus grande part du programme, que l'on observe (en pourcentage) les frais administratifs les moins élevés. C'est dans les provinces atlantiques, là où l'APECA assure la prestation de la plus petite contribution, que l'on observe les frais administratifs les plus élevés. Ces écarts suggèrent que les PEF ont besoin d'un niveau minimal de ressources pour assurer la prestation des programmes et que les plus grandes provinces peuvent faire des économies d'échelle.

6.8 Satisfaction des bénéficiaires concernant la prestation du programme et suggestions pour son amélioration

Une enquête menée auprès des organismes révèle un taux comparable de satisfaction chez les différents types d'organismes. Si les bénéficiaires sont généralement plus satisfaits du programme que les demandeurs rejetés, tous les groupes sont, dans l'ensemble, relativement satisfaits. Toutefois, comme on peut le voir dans la figure 2, c'est le processus de demande qui obtient le plus bas taux de satisfaction. Les principales suggestions des répondants en vue de son amélioration concernent un processus de demande simplifié et un processus d'approbation plus rapide.

Figure 2 - Satisfaction à l'égard du Programme infrastructures Canada

Des suggestions plus précises ont été obtenues lors des entrevues en profondeur menées avec des représentants des municipalités. Les plus petites municipalités n'ont souvent pas les ressources et les capacités nécessaires pour préparer les demandes de financement sans l'aide de consultants externes (dont les coûts sont, dans certains cas, exorbitants). Quelques municipalités mentionnent qu'elles ont dû embaucher une personne à temps complet pour se tenir au courant des programmes offerts et remplir des demandes de subvention. Dans les provinces de l'Atlantique, plusieurs répondants disent avoir apprécié les conseils et l'aide fournis par le Secrétariat mixte concernant la préparation des demandes de projet. Ce fut un service extrêmement important, particulièrement pour les petites municipalités ayant peu de personnel.

Voici certaines des améliorations suggérées par les répondants des municipalités :

• déléguer aux CG le pouvoir d'approuver les projets et les modifications de projet afin d'accélérer la prise de décisions;
• donner la possibilité de remplir un formulaire papier, car quelques municipalités ne sont à pas à l'aise avec les formulaires en ligne;
• répondre en mars ou en avril aux demandes de projets (en supposant qu'elles ont été déposées à temps) afin de donner assez de temps pour la conception des travaux, les appels d'offres, la planification et l'achèvement des travaux durant la saison de construction;
• communiquer les critères de classement aux municipalités;
• fournir des explications claires dans le cas des demandes rejetées (en lien avec le faible degré de satisfaction des demandeurs rejetés concernant leur connaissance des raisons du rejet de leur projet).

^[1] Comme on le souligne dans le rapport de vérification du SPGII : « De plus, les utilisateurs du SPGII étaient peu motivés à mettre à jour le SPGII après l'étape d'approbation des projets, une fois les fonds autorisés. Ils n'étaient jamais tenus de mettre les données à jour dans le SPGII, ce qui fait que les données n'étaient pas à jour ou étaient incomplètes. Nous avons constaté que c'était généralement les données associées avec les dernières étapes des projets, comme la surveillance des projets et les données financières, qui n'étaient pas entrées dans le SPGII au fur et à mesure que le projet progressait. INFC court donc le risque de ne pouvoir communiquer en temps voulu des résultats complets et exacts sur le programme ».