L’échec dans les systèmes complexes
(Bref traité sur la nature de l’échec, son évaluation, son attribution à des causes secondes et les effets produits sur la sécurité des patients)
1 - Les systèmes complexes sont intrinsèquement dangereux.
Tous les systèmes intéressants (santé, transports, génération d’électricité, etc.) comportent des risques et des dangers inhérents qu’il est impossible de supprimer. On peut modifier la fréquence à laquelle ils surviennent, mais les processus qui constituent le système sont nécessairement porteurs d’une part de risque irréductible. C’est la présence de ces risques qui motive la création des procédures défensives caractéristique des systèmes complexes.
2 - Les systèmes complexes comportent de nombreux processus de défense contre l’échec qui, en général, fonctionnent bien.
L’échec d’un tel système implique un coût humain et matériel très élevé ; de multiples procédures défensives vont donc être mises en place pour éviter ces dommages. Ces défenses peuvent être technique et matérielles (sauvegardes de données, fonctionnalités de sécurité sur les équipements, etc.), humaines (formation, savoirs spécifiques, etc.), mais aussi organisationnelles, institutionnelles ou régulatoires (procédures, certifications, règlements intérieurs, formations d’équipe, etc.). Ces défenses superposées suffisent en temps normal à éviter les accidents.
3 - Les catastrophes sont l’effet de plusieurs échecs simultanés : l’échec d’un seul processus n’est pas suffisant.
Ces défenses superposées sont donc généralement efficaces : dans la majorité des cas, le système fonctionne de manière satisfaisante. Les catastrophes sont le résultat de multiples dysfonctionnements mineurs qui, se combinant, créent les conditions de possibilité d’un échec systémique. Chacun de ces petits dysfonctionnements est nécessaire, mais non suffisant pour ouvrir la voie à la catastrophe. Pour le dire autrement : le système est confronté en permanence à des opportunités d’accidents qui ne se réalisent pas. La majorité des trajectoires menant à la catastrophe sont enrayées par les procédures défensives passives ; celles qui atteignent le niveau opérationnel sont en général évitées par les actions ad hoc des praticiens de terrain.
4 - Les systèmes complexes portent en eux des potentialités d'échec en constante évolution.
La complexité de ces systèmes implique la présence permanente de failles en leur sein. Chacune de ces failles, prise isolément, n’a pas le potentiel de causer l’échec du système entier et sera donc perçue comme peu importante. L’éradication de toute possibilité d’échec est limitée, d’abord par des facteurs économiques, mais aussi par le fait qu’il est souvent malaisé de percevoir comment telle ou telle petite faille pourrait contribuer à provoquer un accident grave. Ces failles apparaissent et disparaissent au gré des changements technologiques, organisationnels et sécuritaires de l’organisation.
5 - Les systèmes complexe fonctionnent en mode dégradé.
Un corollaire du point précédent, c’est que tous les systèmes complexe dysfonctionnent en permanence. Ils continuent cependant à produire les effets recherchés, en raison de leur haut degré de redondance interne et de l’expertise de leurs opérateurs, et ce malgré la présence de ces nombreuses failles. Les rapports d’expertise qui analysent les accidents impliquant des systèmes complexes relèvent généralement des « proto-accidents », c’est à dire des incidents préalables qui ont failli occasionner des catastrophes. Ils en concluent souvent que ces conditions dégradées auraient dû être identifiées avant l’accident : ces arguments sont pour la plupart basés sur une vision naïve de la performance des systèmes complexes. Ces systèmes sont en constante évolution : leurs composantes (humaines, techniques et organisationnelles) cessent régulièrement de fonctionner et doivent être remplacées.
6 - Le risque d’échec catastrophique est toujours présent.
Tout système complexe implique des potentialités d’échec catastrophique. Les opérateurs de terrain de ces systèmes travaillent à l’ombre du désastre, qui peut se produire à tout moment et en tout lieu. Ces catastrophes potentielles sont caractéristiques des systèmes complexes et ne peuvent pas être éliminées : elles résultent de la nature même du système.
7 - L’attribution d’un accident à une cause unique est fondamentalement erronée.
Tout accident grave implique nécessairement la conjonction de plusieurs dysfonctionnements et n’a donc pas de cause unique et isolable. L’accident survient via la combinaison de multiples facteurs qui n’auraient pas suffi à le provoquer isolément. Il est donc impossible d’isoler la « cause fondamentale » d’un accident. Les évaluations en termes de « cause fondamentale » ne reflètent pas une compréhension technique de la nature de l’échec : elles répondent à un besoin socio-culturel, bien analysé par l’anthropologie sociale, d’attribuer les événements négatifs à un acteur unique et bien défini.
8 - Le biais rétrospectif fausse les évaluations post-accident, notamment en termes de performance humaine.
Lorsqu’on connaît le résultat final, on a tendance à penser que les incidents qui l’ont précédé auraient dû être remarqués par les opérateurs de terrain, ce qui n’est pas nécessairement le cas. L’analyse a posteriori de la performance de ces opérateurs est donc, en général, faussée. Savoir quel a été le résultat final empêche les experts de reconstituer le point de vue des opérateurs avant l’accident : il paraît évident que ces opérateurs « auraient dû savoir » que les événements allaient « inévitablement » mener à un accident. Le biais rétrospectif demeure un obstacle majeur à toute investigation sur un accident, en particulier lorsqu’il tente d’évaluer la performance d’opérateurs experts. (Ce biais rétrospectif n’est pas limité aux jugements médicaux ou techniques : c’est un biais cognitif généralisé des êtres humains quant à l’attribution de causes aux événements passés).
9 - Les opérateurs humains ont un double rôle : produire des résultats et empêcher les accidents.
Les opérateurs de terrain manipulent le système auquel ils participent pour produire les résultats attendus tout en tentant de minimiser la survenue d’incidents. Cela implique une double dynamique au niveau opérationnel : il s’agit de conjuguer les exigences de production avec l’évitement d’un échec catastrophique. Cette dualité n’est que rarement reconnue par les observateurs extérieurs. Lorsqu’aucun accident ne s’est produit récemment, l’emphase est mise sur la productivité ; après les accidents, c’est la sécurité qui est au premier plan. Le point de vue extérieur tend à mal appréhender l’engagement constant et simultané des opérateurs dans ces deux fonctions.
10 - Les actions des praticiens sont de l’ordre du pari.
Après un accident, le résultat final paraît inévitable et les actions des praticiens sont vues comme des erreurs, ou comme ayant délibérément ignoré les facteurs de risque ayant mené à l’accident. Mais toutes les actions des praticiens sont en réalité des paris, c’est à dire des actions dont les résultats sont imprévisibles. Le degré d’incertitude, en outre, peut varier d’un moment à l’autre. La nature de pari des actions des praticiens apparaît clairement après les accidents : en général, les analyse a posteriori les considèrent comment trop risquées. Mais la proposition inverse, l’idée que les résultats positifs sont tout autant le résultat de paris réussis, n’est en générale que peu considérée.
11 - Les acteurs de terrain doivent résoudre les ambiguïtés.
Les organisations ont souvent des positions ambigües (volontairement ou non) sur les relations entre leurs objectifs de production, d’efficacité, d’économie, et sur le niveau acceptable de risque d’accidents (quel que soit leur sévérité). Les opérateurs de terrains doivent ensuite interpréter ces positions ambigües pour accomplir leurs tâches. Après un accident, leurs actions seront parfois considérées comme des « erreurs », voire des « fautes », mais ces évaluations a posteriori ignorent généralement les autres facteurs incitatifs, en particulier la pression des objectifs de production.
12 - Les praticiens sont le principal facteur d’adaptabilité des systèmes complexes.
Les praticiens et leur encadrement de proximité ajustent le système en continu afin de maximiser la production et de minimiser la survenue des accidents. Ces ajustements sont souvent mis en place de manière impromptue. Quelques types très fréquents d’adaptation sont : 1) les restructurations du système pour réduire l’exposition au risque de ses zones les plus vulnérables, 2) la concentration des ressources sur les zones où une forte demande est anticipée, 3) la création de processus pour se prémunir des échecs, qu’ils soient attendus ou inattendus et 4) la mise en place de protocoles pour détecter rapidement les variations de performances, permettant ainsi d’éviter la surproduction pour améliorer les capacités de résilience du système.
13 - L’expertise humaine des systèmes complexes est en constante évolution.
Faire fonctionner et encadrer un système complexe requiert une expertise humaine substantielle. Cette expertise change de caractère avec les évolutions technologiques, mais elle varie également en raison des départs des experts humains qui en sont détenteurs ; la formation (initiale et continue) occupe donc une place centrale dans tous les systèmes de ce type. Tout système complexe, par conséquent, fait intervenir simultanément des praticiens de niveau d’expérience variable. Les problèmes liés à l’expertise sont donc de deux ordres : 1) l’allocation de l’expertise, ressource rare, aux problèmes de productions les plus difficiles ou les plus urgents et 2) la nécessité de développer cette expertise pour le futur.
14 - Le changement introduit de nouvelles possibilités d’échec.
Dans les systèmes les plus fiables, le faible taux d’accidents graves peut encourager à en changer le fonctionnement (notamment en introduisant de nouvelles solutions technologiques) pour tenter de réduire la fréquence des accidents de faible gravité mais se produisant régulièrement. De tels changements, cependant, peuvent parfois créer les conditions pour la survenue d’accidents plus rares, mais aussi beaucoup plus graves. Lorsque de nouvelles technologies sont introduite pour éliminer des dysfonctionnements systémiques bien compris, ou pour augmenter la précision des performances du système, elles créent souvent des risques d’échec catastrophique à grande échelle. Ces risques sont en général difficiles à voir avant la survenue de l’accident, car l’attention des acteurs se concentre sur les bénéfices (réels ou supposés) de ces changements. De plus, étant donné leur faible probabilité, ces catastrophes peuvent ne se produire qu’au bout de plusieurs changements systémiques, rendant difficile leur attribution à une technologie en particulier.
15 - Les analyses en termes de « cause » ne sont que faiblement efficace pour prévenir la survenue de nouveaux incidents.
Les solutions mises en place après des incidents attribués à une « erreur humaine » se concentrent généralement sur l’interdiction des activités susceptibles de « causer » un nouvel accident. Ces mesures en bout de chaîne sont peu efficaces pour réduire la probabilité d’un nouvel accident. En réalité, il est de toute manière extrêmement peu probable qu’un accident identique se produise, simplement parce que le paysage des risques change en permanence. Ce genre de mesure n’augmente donc pas la sécurité du système, mais sa complexité…ce qui accroît le nombre de failles potentielles et rends plus difficile la détection et le blocage des trajectoires accidentelles par les opérateurs de terrains.
16 - La sécurité est une caractéristique du système dans son ensemble, pas de ses composants individuels.
La sécurité est une propriété émergente des systèmes complexes : aucune personne, aucun service, aucune machine n’en est le dépositaire unique. Elle ne peut pas être achetée ou fabriquée ; ce n’est pas une fonction institutionnelle séparable des autres composantes du système. Cela implique que la sécurité n’est pas une variable de production, comme le sont les intrants ou les produits finis. En outre, le degré de sécurité de tout système est en constante évolution ; les changements systémiques constants impliquent une variation constante des risques et de leur gestion.
17 - La sécurité est une création collective de chaque instant.
Chaque période d’opération qui se déroule sans accident est le résultat des actions des opérateurs qui tentent de s’assurer que la performance du système reste dans des limites acceptables. Ces actions sont, en général, « simplement » ce qui est attendu de chaque opérateur. Mais puisque les opérations du système ne se passent jamais exactement comme prévu, c’est l’adaptation de chaque praticien aux changements dans les conditions de production qui, à chaque instant, crée la sécurité collective. Cette adaptation se résume le plus souvent à un choix parmi plusieurs procédures bien établies, mais il peut également s’agir d’une combinaison nouvelle d’actions, voire la création de novo d’une nouvelle approche.
18 - Un fonctionnement sans échec suppose une familiarité avec l’échec.
Reconnaître les risques et manipuler avec succès le système pour maintenir un niveau de performance acceptable implique d’avoir eu l’expérience personnelle de l’échec. Les performances les plus robustes sont souvent le fait de systèmes dans lesquels les opérateurs peuvent « toucher le bord », percevoir la limite de leur capacité à prédire et maîtriser les performances du système. Dans ces environnements intrinsèquement risqués, on demande aux opérateurs d’évaluer les risques qu’ils rencontrent pour accomplir leurs objectifs de performance. Améliorer la sécurité implique donc de donner aux opérateurs les éléments nécessaires pour calibrer cette évaluation, et pour juger du degré auquel leurs actions approchent ou éloignent la performance du système de cette crête entre risque et performance optimale.