Évaluation - Évaluation des programmes d'Infrastructure Canada dans le cadre du Plan d'action économique - Annexe 5

Annexe 5 – Outils de collecte de données

Entrevues

Remarque : La liste de contrôle des entrevues vise à donner au lecteur un aperçu des principales questions qui seront posées à tous les interviewés à propos du PAE. Le Ministère peut fournir des guides d'entrevue adaptés aux programmes/aux bénéficiaires.

Questions Indicateur Groupe
Cadre supérieurs Personnel affecté au programme Partenaires d'exécution Bénéficaires finaux
Renseignements généraux
1.

1. [FSI, VC] Pour commencer, veuillez décrire votre participation au [FSI, FCC-VC ou CVC] ainsi que la durée de cette participation. Avez-vous participé ou participez-vous à l'exécution d'autres programmes d'INFC? Dans l'affirmative, lesquels?

[SRN] Pour commencer, veuillez décrire votre participation au financement du programme des Sentiers récréatifs nationaux, ainsi que la durée de cette participation.

Objectifs du programme
2.

a) Quels étaient, selon vous, les objectifs principaux du programme du PAE auquel vous avez participé?

b) Selon vous, les objectifs principaux étaient-ils clairs?

c) Selon vous, les objectifs sont-ils atteints? Si ce n'est pas le cas, pour quelles raisons?

1.02

6.00 (question liée au rendement)

   
Approbations de projets, gestion des risques et prise de décisions
Remarque : Les questions de cette section s'appliquent uniquement au processus lié à la date d'échéance initiale du 31 mars pour ce programme, et ne concernent pas le processus lié à la prolongation des projets jusqu'en octobre 2011 aux termes du PAE.
3.

a) Comment les critères d'admissibilité des projets ont-ils été communiqués?

b) La communication était-elle claire et rapide?

c) Qu'est-ce qui a bien fonctionné et qu'est-ce qui a nécessité une amélioration?

2.08
4.

Le tableau 1 (fourni séparément) présente un aperçu du processus décisionnel et d'examen lié aux projets du [FSI, CVC ou programme des SRN]. Concernant le tableau 1 :

a) On a mis en œuvre ce processus dans le but de trouver un équilibre entre la nécessité d'accélérer le financement et la nécessité de se conformer aux autorisations et aux responsabilités. Ce processus a-t-il été efficace?

Pas efficace Plus ou moins efficace Efficace Très efficace Je l'ignore
1 2 3 4  

Veuillez donner des exemples pour expliquer votre réponse.

b) Le processus d'approbation était-il efficace? Quels ont été les gains en efficience ou les blocages lors du traitement des propositions de projets (p. ex. diligence raisonnable, capacité, etc.)?

c) La taille, le niveau, la nature et le fonctionnement de vos principaux mécanismes de prise de décisions garantissaient-ils l'efficacité du processus décisionnel? (HAUTE DIRECTION, PERSONNEL)

d) Dans quelle mesure étiez-vous satisfait de la qualité de l'information disponible nécessaire à la prise de décisions et à la surveillance (p. ex. recommandations et renseignements justificatifs)? (HAUTE DIRECTION)

Pas satisfait Plutôt satisfait Satisfait Très satisfait Je l'ignore
1 2 3 4  

Veuillez donner des exemples pour expliquer votre réponse.

e) Dans quelle mesure étiez-vous satisfait de l'information disponible nécessaire pour évaluer et recommander des projets (p. ex. formulaires de proposition de projet, attestations de l'état de préparation des projets)? (PERSONNEL AFFECTÉ AU PROGRAMME)\

Pas satisfait Plutôt satisfait Satisfait Très satisfait Je l'ignore
1 2 3 4  

Veuillez donner des exemples pour expliquer votre réponse.

2.03  
5.

[FSI, VC]

a) L'évaluation du projet en vue de son approbation a-t-elle été effectuée au niveau approprié au sein d'INFC? Veuillez expliquer.

[FSI]

Dans certains cas, une augmentation des pouvoirs de dépenser du ministre signifie que les projets du FSI ont été approuvés par le ministre plutôt que par le Conseil du Trésor. Cette mesure a été prise afin d'accélérer le processus d'approbation.

b) Quel a été l'effet de l'augmentation des pouvoirs de dépenser sur les délais d'approbation des projets dans le cadre du processus lié à la date d'échéance initiale du 31 mars?

c) Quel a été l'effet de l'augmentation des pouvoirs de dépenser sur le niveau de tolérance au risque au sein d'INFC en général?

d) Les décisions consistant à approuver les projets du FSI ont-elles été prises au niveau approprié? Pour quelles raisons?

2.05

3.02
   
6.

Le tableau 2 (joint séparément) présente un aperçu des outils et des mécanismes utilisés pour la gestion des risques concernant le [FSI, FCC-CVC ou programme des SRN].

a) Comment ces outils et mécanismes étaient-ils utilisés?

b) Dans quelle mesure l'information sur le risque était-elle utilisée pour étayer le processus décisionnel?

c) En plus des outils que mentionne le tableau 2, en a-t-on utilisé d'autres pour la gestion des risques?

d) Ces outils et mécanismes ont-ils vraiment permis de gérer efficacement les risques en tenant compte de la nécessité d'une exécution accélérée? Qu'est-ce qui a bien fonctionné et qu'est-ce qui a nécessité une amélioration?

2.04

[pas pour le FSI]

[VC seulement]

 
7.

Le tableau 3 (fourni séparément) présente un aperçu des exigences relatives au suivi des projets associés au [FSI, FCC-CVC ou programme des SRN].

a) Dans quelle mesure les outils de collecte/de présentation des données ont-ils été utiles? (SPGII et autres)

b) Les exigences en matière de collecte de données et d'établissement de rapports ont-elles posé des problèmes?

c) Comment l'information sur le rendement était-elle utilisée (pour la gestion ou la production de rapports)?

d) Dans quelle mesure les méthodes utilisées pour le suivi des projets étaient-elles utiles et efficaces, compte tenu de la nécessité d'accélérer l'exécution? Qu'est ce qui a bien fonctionné et qu'est-ce qui a nécessité une amélioration?

2.04

[PEF : tous]

[provinces : a) et b) seulement]

 
8.

[FSI uniquement]

a) Êtes-vous au courant d'observations importantes formulées au sujet du FSI à la suite d'un examen clé ou d'une vérification?

b) Êtes-vous au courant de mesures prises par la direction en réponse à ces observations?

c) Les mesures prises par la direction ont-elles permis de répondre adéquatement aux questions soulevées?

d) Ces mesures ont-elles été mises en œuvre en temps opportun?

2.06

 

 
Partenariats et participation des intervenants
9.

[FSI, VC]

a) Croyez-vous que les rôles et responsabilités d'INFC et des partenaires d'exécution ont été bien définis?

b) Y a-t-il eu des chevauchements entre vos rôles et responsabilités et ceux d'INFC ou d'autres partenaires?

c) Qu'est-ce qui vous a aidé à comprendre votre rôle/vous en a empêché? (p. ex. PE, ententes de contribution, entente sur le niveau de service, communication)

d) Qu'est-ce qui a bien fonctionné? Qu'est-ce qui a nécessité une amélioration?

[SRN]

a) Croyez-vous que les rôles et responsabilités d'INFC et de la CNS étaient bien définis?

b) Y avait-il des chevauchements entre votre rôle et celui d'INFC?

c) Qu'est-ce qui vous a aidé à comprendre votre rôle/vous en a empêché? (p. ex. PE, ententes de contribution, communication)

d) Qu'est-ce qui a bien fonctionné? Qu'est-ce qui a nécessité une amélioration?

2.02

 
10.

a) Veuillez décrire tout changement dans la manière dont INFC et les partenaires d'exécution ont travaillé ensemble, dans le cas des projets financés en vertu de la date limite initiale du 31 mars, pour permettre l'accélération du processus de financement [FSI, FCC-CVC ou SRN]. Comment ces changements ont-ils été mis en œuvre?

b) En utilisant l'échelle ci-dessous, veuillez indiquer dans quelle mesure vous êtes satisfait quant à la manière dont ces changements ont été mis en œuvre.

Pas satisfait Plutôt satisfait Satisfait Très satisfait Je l'ignore
1 2 3 4  

Veuillez expliquer votre réponse. Qu'est-ce qui a bien fonctionné et qu'est-ce qui a nécessité une amélioration?

2.10  
11.

En utilisant l'échelle ci-dessous, veuillez indiquer dans quelle mesure vous êtes satisfait relativement à ce qui suit :

Pas satisfait Plutôt satisfait Satisfait Très satisfait Je l'ignore
1 2 3 4  

(N. B. : il faut définir séparément qui sont les « partenaires d'exécution » et les « bénéficiaires finaux » pour le FSI/le VC/le programme des SRN; les questions ne s'appliqueront pas toutes à l'ensemble des groupes interrogés.)

a) communication entre INFC et les partenaires d'exécution

b) communication entre les partenaires d'exécution et les bénéficiaires finaux

c) niveau de collaboration entre INFC et les partenaires d'exécution

d) niveau de collaboration entre les partenaires d'exécution et les bénéficiaires finaux

e) répartition des rôles et des responsabilités entre INFC et les partenaires d'exécution

f) répartition des rôles et des responsabilités entre INFC et les bénéficiaires finaux (relation directe) (ne concerne pas le programme des SRN)

g) processus d'approbation de projets pour la date d'échéance initiale du 31 mars

h) exigences en matière de présentation de rapports

i) mécanismes de financement (p. ex. protocoles d'entente, ententes de contribution)

j) ensemble des services et du soutien fournis par INFC

Veuillez donner des exemples pour appuyer vos opinions. Qu'est-ce qui a bien fonctionné et qu'est-ce qui a nécessité une amélioration?

2.10  
12.

a) Votre organisation avait-elle la capacité d'accélérer l'exécution comme l'exigeait le programme (p. ex. nombre d'employés, locaux à bureaux et équipement, compétences/expertise) [FSI, FCC-CVC ou SRN]?

b) Si ce n'est pas le cas, quels ont été les problèmes et comment ont-ils été réglés?

c) Quels problèmes reste-t-il à régler?

2.11

   

Gestion des changements organisationnels
13.

a) Quelles mesures la direction a-t-elle prises pour définir et mettre en œuvre les changements organisationnels (p. ex. nouveaux outils, RH, structure organisationnelle, changement de processus) au sein d'INFC à l'appui de l'exécution accélérée du [FSI, du FCC-CVC ou programme des SRN]?

b) Qu'est-ce qui a bien fonctionné et qu'est-ce qui a nécessité une amélioration? (cadres supérieurs et employés)

c) A-t-on apporté d'autres changements pour faciliter la prolongation du PAE jusqu'en octobre 2011? Quelle a été l'efficacité de cette démarche?

3.01

 

 
14.

a) En général, INFC a-t-il été suffisamment doté en personnel qualifié, nommé aux bons postes pour appuyer la mise en œuvre du programme?

b) Si ce n'est pas le cas, comment s'est-on doté des capacités nécessaires pour surmonter les éventuels obstacles? (p. ex. recrutement, formation, outils, communications internes, etc.)?

c) Qu'est-ce qui a bien fonctionné et qu'est-ce qui a nécessité une amélioration?

3.03


[a) et c) seulement]
 
15.

En utilisant l'échelle ci-dessous, veuillez indiquer dans quelle mesure vous êtes d'accord avec les énoncés suivants, qui concernent le processus associé à la date d'échéance initiale du 31 mars.

Pas d'accord Plutôt d'accord D'accord Tout à fait d'accord Je l'ignore
1 2 3 4  

a) J'ai contribué à la solution pour exécuter ce programme rapidement.

b) J'étais motivé et informé à propos des changements organisationnels qui ont été apportés pour répondre à l'exigence d'exécution accélérée.

c) J'ai reçu des orientations claires afin de mettre en œuvre le programme.

d) Ma charge de travail était raisonnable.

e) La répartition des responsabilités était appropriée et efficace.

f) J'étais à l'aise dans mon nouveau rôle lié à l'exécution du programme.

g) J'étais à l'aise lorsqu'il s'agissait de faire des recommandations fondées sur le risque.

h) Je possédais les compétences appropriées pour m'acquitter de mes tâches liées à l'exécution du [FSI, FCC-CVC ou programme des SRN].

i) J'ai reçu la formation appropriée pour m'acquitter de mes tâches.

Veuillez donner des exemples pour appuyer vos opinions. Qu'est-ce qui a bien fonctionné et qu'est-ce qui a nécessité une amélioration?

3.04      
16.

En utilisant l'échelle ci-dessous, veuillez indiquer dans quelle mesure vous êtes d'accord avec les énoncés suivants, qui concernent le processus associé à la date d'échéance initiale du 31 mars.

Pas d'accord Plutôt d'accord D'accord Tout à fait d'accord Je l'ignore
1 2 3 4  

a) Le personnel a contribué à la solution pour exécuter ce programme rapidement.

b) Le personnel était motivé et informé à propos des changements organisationnels qui ont été apportés pour répondre à l'exigence d'exécution accélérée.

c) Le personnel a reçu des orientations claires afin de mettre en œuvre le programme.

d) La charge de travail de mon personnel était raisonnable.

e) La répartition des responsabilités entre les membres du personnel était appropriée et efficace.

f) J'étais à l'aise dans mon rôle lié à l'exécution du programme.

g) J'étais à l'aise lorsqu'il s'agissait de prendre des décisions fondées sur le risque.

h) Le personnel possédait les compétences appropriées pour s'acquitter de ses tâches liées à l'exécution du [FSI, FCC-CVC ou programme des SRN].

i) Le personnel a reçu la formation appropriée pour s'acquitter de ses tâches.

Veuillez donner des exemples pour appuyer vos opinions. Qu'est-ce qui a bien fonctionné et qu'est-ce qui a nécessité une amélioration?

3.04      
Efficacité
17.

[FSI et VC uniquement]

a) Avez-vous demandé la prorogation de la date d'échéance initiale du 31 mars 2011?

b) Quelles circonstances ont contribué à la nécessité de prolonger le projet?

c) Le processus de prolongation a-t-il été efficace (p. ex. gains en efficience ou blocages dans le cadre du processus de prolongation)? Veuillez décrire ce qui s'est avéré efficace et ce qui n'a pas fonctionné, et veuillez fournir des explications.

6.04

2.03

   

 

18.

Le tableau 4 (fourni séparément) présente un aperçu des modèles d'exécution du programme.

a) Quels avantages et quels inconvénients chaque modèle d'exécution présentait-il relativement à l'obligation d'exécution rapide? (p. ex. y a-t-il eu des blocages, comment aurait-on pu les éliminer, quels facteurs ont facilité ou entravé l'exécution?) Pouvez-vous donner des exemples étayant votre opinion?

b) Est-ce que certains traits caractéristiques de ces modèles d'exécution pourraient servir de pratiques exemplaires lors de la future planification de programmes similaires?

8.01

 
19.

Comment le programme pourrait-il être amélioré ou exécuté différemment par des partenaires (fédéraux, provinciaux, territoriaux et municipaux) afin de mieux répondre à la nécessité d'une approbation et d'un déblocage rapides des fonds?

8.02

20.

Pouvez-vous donner des exemples de problèmes ou d'impacts inattendus attribuables au programme?

7.01

21.

Avez-vous autre chose à ajouter

Sondages

Remarque : La liste de contrôle des sondages vise à donner au lecteur un aperçu des principales questions posées à tous les répondants à propos du PAE. Le Ministère peut fournir des guides d'entrevue adaptés aux programmes/aux bénéficiaires.

Identification du projet

1. Nos dossiers indiquent que votre organisation a reçu un financement pour des projets menés dans le cadre du [FSI/FCC-CVC/programme des SRN], sous l'égide du Plan d'action économique du Canada. (menu déroulant)

2. 2 Veuillez indiquer jusqu'à trois des projets financés dans le cadre du [FSI/FCC-CVC/programme des SRN] dont la valeur est la plus élevée et dont vous assurez la gestion ou l'administration (Pouvons-nous utiliser un identifiant commun pour faciliter la vérification de concordance?)

 
 
 

3. À propos des projets financés par le FCC-CVC dont vous étiez responsable :

  • Combien de projets concernaient une nouvelle infrastructure? (choisir dans la liste de nombres)
  • Combien de projets concernaient le réaménagement ou l'amélioration de structures existantes? (choisir dans la liste de nombres)

4. Quelles catégories décrivent le mieux les projets financés dans le cadre du [FSI/FCC-CVC/programme des SRN] dont vous êtes responsable? (sélectionnez toutes les réponses pertinentes)

[Les catégories seront séparées en fonction de la liste d'admissibilité de chaque programme]
















 

5. Est-ce que des demandes de financement de votre organisation adressées au FSI ont aussi été refusées?



6. À quelle catégorie appartient l'organisation pour laquelle vous travaillez? (choisir une réponse)







 

7. Dans quelle province/quel territoire vos projets financés dans le cadre du [FSI/FCC-CVC/programme des SRN] sont-ils/étaient-ils mis en œuvre? (choisir une réponse)










Inclure ce qui suit uniquement pour le FSI/le programme des SRN



8. Veuillez indiquer le type d'entente ou les types d'ententes que vous avez conclues pour obtenir un financement du [FSI/FCC-CVC]? (pas pour le programme des SRN)



 

Relations avec les intervenants

9. Veuillez répondre aux questions ci-dessous à propos des relations avec les intervenants, en indiquant dans quelle mesure vous êtes d'accord avec les énoncés suivants :

  Pas du tout d'accord Pas d'accord D'accord Tout à fait d'accord Sans objet Je l'ignore
9.01(2.10e) Les rôles et responsabilités d'INFC me paraissaient clairs [FSI seulement].
9.02 (2.10e) Les rôles et responsabilités des provinces/territoires me paraissaient clairs [FSI, FCC-VC seulement].
9.02 (2.10e) Les rôles et responsabilités de la CNS me paraissaient clairs [SRN seulement].
9.02(2.10a) Je suis satisfait du niveau de conseil et de soutien que j'ai reçu de la province ou du territoire avec laquelle ou lequel mon organisation avait conclu une entente. [FSI et FCC-VC uniquement]
9.02(2.10a) Je suis satisfait du niveau de conseil et de soutien que j'ai reçu de la CNS, avec laquelle j'avais conclu une entente. [SRN seulement].
9.03 (2.10a) Je suis satisfait du niveau de conseil et de soutien reçu d'INFC. (ententes directes dans le cadre du FSI seulement) [FSI].
9.05 (2.10) Comment les relations avec les intervenants pourraient-elles être améliorées?

Proposition de projet et approbation

10. Veuillez répondre aux questions ci-dessous en indiquant dans quelle mesure vous êtes d'accord avec les divers aspects de la proposition, de l'approbation et de la présentation de rapports [sauf au Québec] :

  Pas du tout d'accord Pas d'accord D'accord Tout à fait d'accord Sans objet Je l'ignore
10.01 (2.08) L'information sur l'admissibilité du projet a été accessible rapidement.
10.02 (2.08) L'information sur l'admissibilité du projet était claire.
10.03 (2.08) J'ai compris quels projets seraient admissibles au financement.
10.04 (2.10b) Les décisions relatives à l'approbation du projet ont été communiquées en temps utile.
10.05 (2.10b) Les décisions relatives à l'approbation du projet étaient claires.
10.06 (2.10b) J'ai compris pourquoi mes projets ont été acceptés.
10.07 (2.10b) J'ai compris pourquoi mes projets ont été rejetés.
10.08 (2.10b) Les exigences visant les rapports relatifs au projet étaient claires.
10.09 (2.10b) J'ai compris mon rôle et mes responsabilités concernant l'établissement de rapports.
10.10 (2.10b) Les exigences en matière de rapports n'imposaient pas un fardeau excessif.
10.11 (2.10b) En général, je suis satisfait du processus d'approbation du projet.
10.12 (2.10b) En général, je suis satisfait des exigences en matière de rapports.
10.13 Comment le processus de proposition et d'approbation de projets pourrait-il être amélioré?

Mise en œuvre des projets

11. Est-ce que tous vos projets sont terminés?


12. (2.09, 2.10, 2.11) Y a-t-il eu des retards que vous n'aviez pas anticipés lors de la mise en œuvre de votre(vos) projet(s), qui n'a(n'ont) donc pas pu être terminé(s) avant la date limite initiale du 31 mars 2011?


 (passez à Q15)

13. Quand pensez-vous que vos projets seront terminés?




14. Quelles sont les principales raisons qui justifieront le retard accusé par votre(vos) projet(s)? (choisissez toutes les réponses pertinentes)





 (question additionnelle à Q16)




 

15. (2.11) Dans quelle mesure les délais serrés du [FSI/FCC-CVC/programme des SRN] vous ont-ils nuit?

Effet négatif important Effet négatif Effet positif Effet négatif marqué Je l'ignore Sans objet

Passer à Q16

Passer à Q16 Passer à Q17 Passer à Q17 Passer à Q18 Passer à Q18

16. (2.11) Si vous avez observé des effets négatifs, veuillez en indiquer la nature (choisissez toutes les réponses pertinentes).




 

17. Si vous avez observé des effets positifs, veuillez en indiquer la nature.

18. Avez-vous d'autres commentaires à formuler à propos du [FSI, FCC-CVC, programme des SRN]?

Retourner à l'Évaluation des programmes d'Infrastructure Canada dans le cadre du Plan d'action économique

Date de modification :