CICE: 100 000 emplois, c’est peu, si seulement ils existent

Le dernier rapport en date de France Stratégie sur les effets du CICE avance la création nette de 100 000 à 160 000 emplois. L’objectif de ce post est de présenter comment ces chiffres ont été obtenus et pourquoi je reste très dubitatif quant à l’existence ne serait-ce que de 100 000 emplois créés par le CICE.

Le dernier rapport en date de France Stratégie sur les effets du CICE a été accueilli avec une pointe de sarcasme : 18 milliards d’euros par an pour seulement 100 000 emplois créés, c’est loin de l’efficacité promise (il s’agit de l’estimation par l’une des deux études, l’autre estime la création nette de 160 000 emplois). Il n’y a pourtant rien de nouveau ici, la faiblesse des effets emploi du CICE est connue depuis longtemps. Toutefois, et même si cela ne change pas beaucoup le fond de l’affaire, il me semble que même ces 100 000 emplois restent très hypothétiques. L’objectif de ce post est je crois essentiel au débat public et à la crédibilité du travail d’évaluation empirique. J’y présente, de la manière la plus abordable possible pour des lecteurs intéressés mais non familiers des questions techniques, ce que font ces équipes pour évaluer le CICE et pourquoi je reste très dubitatif quant à l’existence ne serait-ce que de 100 000 emplois créés par le CICE.

Disons le tout de suite, si je doute de l’existence de ces emplois, c’est que je pense qu’il y a d’importants biais dans les estimations, mais il ne s’agit en aucun cas de scandale scientifique comme on a pu voir récemment dans d’autres disciplines en marge de la crise de la Covid19. Les études ne sont ni bâclées ni malhonnêtes. Toutefois, les études empiriques ne doivent jamais être prises individuellement comme vérité générale et absolue, elles doivent être critiquées et discutées, ce que je fais ici.

Avant de commencer, une autre précision s’impose. J’ai dirigé une équipe qui a également participé pendant trois ans, de 2016 à 2019, à l’évaluation du CICE dans le cadre du comité d’évaluation chapeauté par France Stratégie (nos rapports sont accessibles ici et ici, un article académique tiré de ces travaux est accessible ici et une synthèse grand public de nos résultats initiaux peut être lue ici). Nos résultats ne parvenaient pas à mettre au jour le moindre emploi créé, alors que nous estimons un impact très net sur les salaires des plus qualifiés (et des plus qualifiés uniquement). Comme l’a fait remarquer un article de Médiapart, nos travaux n’alimentent plus les rapports du comité d’évaluation, tout comme il n’est plus fait mention dans le dernier rapport des travaux de l’IPP. Cet institut d’évaluation des politiques publiques avait un temps été sollicité pour évaluer le pacte de responsabilité (un allègement de cotisations prolongeant le CICE à partir de 2015), censé être plus efficace car mieux ciblé sur les bas salaires. On ne connait donc pas les résultats de cette étude mais un autre rapport de l’IPP réalisé à la demande du CAE ne trouve pas d’effet de cette mesure sur l’emploi.

Une approche microéconomique en expérience naturelle et une approche macro-structurelle

Les deux études qui alimentent le dernier rapport de France Stratégie sur les effets du CICE sont assez différentes quant à leur méthodologie (tout en ayant un important biais en commun lié aux comparaisons entre secteurs économiques). L’une, réalisée par le laboratoire TEPP, utilise une approche micro-économétrique sur données d’entreprises, cherchant à déterminer le contrefactuel – ce qui se serait passé en l’absence du CICE – sur des bases empiriques en comparant des entreprises plus ou moins touchées par le CICE. 100 000 emplois sont alors identifiés comme créés par le CICE. L’autre, produite par l’OFCE, est une approche macro-structurelle déterminant le contrefactuel à partir d’un modèle théorique, et estimant théoriquement les emplois supplémentaires créés par effet d’entraînement et les emplois détruits par les mesures de financement du CICE. Elle mène à une estimation nette de 160 000 emplois créés par le CICE.

Une autre différence importante entre ces 2 approches est à noter. Le résultat de 160 000 emplois obtenu par la seconde ne peut pas être directement comparé aux 100 000 emplois de la première, car un modèle macroéconomique évalue théoriquement les pertes d’emploi dues au financement de la mesure. Il s’agirait donc de l’effet net après réallocation des ressources (privées via de nouveaux prélèvements obligatoires ou publiques via des baisses d’autres dépenses) vers la subvention de salaires. C’est pour cela que les défenseurs de cette étude rejettent la possibilité de raisonner en coût par emploi créé.

Sur ce point toutefois, deux arguments en faveur du raisonnement en coût par emploi créé peuvent être apportés. Premièrement, il ne faut pas oublier que la mesure étudiée n’est pas simplement une petite optimisation indolore du système de taxes et transferts. La baisse des dépenses publiques, outre qu’elle amène directement à réduire des emplois publics, réduit également la quantité ou la qualité des services publics (on peut rappeler ici les secteurs exsangues comme l’éducation ou la santé) et des investissements publics, avec des conséquences sur l’activité économique et la productivité qui se nourrie bien évidemment des infrastructures publiques.

Deuxièmement, la manipulation permettant de générer les 18 milliards d’euros par an pour le CICE aurait pu être allouée à d’autres politiques qui auraient créé au moins autant voire plus d’emplois, tout en répondant à des besoins sociaux pressants. Cette allocation alternative pourrait être vue comme un investissement social pour la productivité future de notre économie. Nous avions détaillé ce raisonnement en coût d’opportunité des finances publiques dans un article académique et résumé l’idée dans un policy brief du LIEPP. Ainsi, il me semble que même dans le cadre d’une estimation de l’emploi créé avec bouclage macroéconomique, l’indicateur de coût public par emploi crée est pertinent. Pour approfondir cette question, il est possible de lire le débat du LIEPP dans lequel je défendais cette position et Guillaume Allègre défendait la position opposée.

Approche Micro-économétrique en expérience naturelle

Cette approche d’évaluation est essentiellement empirique, reposant sur un minimum d’hypothèses. Elle consiste à séparer la population des entreprises en quatre groupes selon l’intensité du CICE qu’elles reçoivent. Essentiellement, cela revient à les séparer selon la composition de leur masse salariale. Le groupe Q1 des entreprises bénéficiant le moins du CICE regroupe les entreprises avec une majorité de très hauts salaires. Il s’agit le plus souvent de grandes entreprises à forte intensité capitalistique (la valeur du capital rapportée à la masse salariale) et à haute valeur ajoutée. Le groupe Q4 des entreprises bénéficiant le plus du CICE regroupe les entreprises avec quasi exclusivement des bas salaires. Il s’agit principalement de petites entreprises à faible intensité capitalistique et à faible valeur ajoutée. Les groupes Q2 et Q3 sont intermédiaires. Ensuite, les évolutions de l’emploi (et des autres variables d’intérêt comme les salaires, les investissements, les profits...) sont comparées entre chacun des groupes Q2, Q3 et Q4 et le groupe de référence Q1 : les écarts post-2013 sont attribués au CICE. Il apparaît que s’il n’y a pas de différence significative ni entre Q2 et Q1 ni entre Q3 et Q1, le nombre d’emplois a cru significativement plus vite dans Q4 que dans Q1, ce qui correspond aux 100 000 emplois annoncés.

La principale question pour savoir si ce résultat est fiable est de savoir si la comparaison de Q4 avec Q1 est valide, c’est à dire si les entreprises de Q4 ce seraient comportées comme celles de Q1 en l’absence de CICE. Or, comme il a été dit plus haut, les entreprises de Q4 sont essentiellement des petites entreprises peu productives du secteur des services. Les entreprises de Q1 sont des grandes entreprises à forte intensité capitalistique générant de haut niveau de valeur ajoutée par travailleur. Il n’est pas du tout évident qu’en l’absence de CICE, ces deux types d’entreprises auraient eu la même évolution de leur emploi, d’autant plus dans une période de sortie de crise comme l’était 2013-2016 au niveau mondial.

Certes, les auteurs disent qu’ils contrôlent pour ces différences intrinsèques. Ce traitement statistique consiste à mesurer la différence d’évolution de l’emploi selon l’intensité capitalistique, la taille, la valeur ajoutée par travailleur. Ces mesures sont utilisées pour corriger les différences « intrinsèques » lors de la comparaison de Q1 et Q4. Pour autant, par le principe même d’une régression contrôlée, ces correctifs sont estimés en moyenne à l’intérieur des groupes (et donc pour des petites variations d’intensité capitalistique entre petites entreprise à faible intensité capitalistiques – Q4 – ou pour des petites variations d’intensité capitalistique entre grandes entreprises à forte intensité capitalistique – Q1) puis sont utilisés pour corriger la différence intrinsèque entre les petites entreprises à faible intensité capitalistique et les grandes entreprises à forte intensité capitalistique. Il est très peu probable que ce correctif fonctionne, et plusieurs éléments dans les résultats renforcent ce doute.

Tout d’abord, on observe malgré ce correctif une différence significative entre les évolutions de l’emploi de Q2 et Q3, largement en faveur de Q2. Or, les entreprises de Q2 bénéficient de moins de CICE que celles de Q3. Les auteurs expliquent que ce résultat contre-intuitif ne doit pas être interprété comme un effet négatif du CICE mais provient d’un artefact statistique dû au fait que les entreprises de Q2 et de Q3 appartiennent à des secteurs industriels différents. Ainsi, ce résultat négatif ne serait pas à imputer au CICE mais à des différences intrinsèques entre secteur que les contrôles ne parviennent pas à corriger. Pour les mêmes raisons utilisées par les auteurs pour disqualifier ce résultat négatif du CICE, le résultat positif qu’ils trouvent par ailleurs doit aussi être remis en cause : les contrôles ne parviennent pas à corriger les différences intrinsèques entre les entreprises de Q2 et Q3, on voit mal comment ils parviendraient à corriger celles entre les entreprises de Q1 et Q4, qui sont encore plus différentes entre elles.

Par ailleurs, devant la divergence de résultats entre les différents rapports lorsque nos travaux alimentaient encore le comité d’évaluation du CICE, ce dernier avait fait appel à l’INSEE pour répliquer nos deux études. Contrairement à notre méthodologie qui trouvait des résultats stables quel que soit le jeu de contrôles, cet exercice de réplication notait que la méthodologie décrite ci-dessus donnait des résultats qui pouvaient changer du tout au tout si on modifiait les contrôles. Leur travail de rapprochement des méthodologies conduisait à la conclusion suivante :

« Absence d’effet négativement significatif. [...] Absence d’effets significatifs pour les régressions pondérées. [...] Quand les observations ne sont pas pondérées, les estimations montrent un effet positif et significatif du traitement, mais l’échec des tests placebos met en évidence qu’il s’agirait plutôt d’une tendance antérieure, inobservée, et non prise en compte par les variables de contrôle. »

Ceci accrédite la thèse que ces variables de contrôle intra-groupes ne permettent pas de corriger les trop fortes différences intrinsèques inter-groupes qui biaisent les résultats de cette évaluation. Le test placebo dont il est question consiste à faire le même travail que précédemment, mais en mesurant le potentiel effet d’un CICE fictif sur l’évolution de l’emploi entre 2011 et 2012, soit avant la mise en place (et même l’évocation) du CICE réel. Le fait de trouver une différence significative entre Q1 et Q4 dès avant la mise en place du CICE montre bien que ces différences ne peuvent pas être imputées à ce crédit d’impôt.

Les auteurs se réjouissent que les résultats des tests placebo (qu’ils appellent tests de falsification) seraient devenus non significatifs dans la dernière version de leur étude. Ce me semble un peu optimiste, pour au moins deux raisons. Premièrement, même s’ils ne sont que faiblement significatifs, ils restent significatifs dans de nombreux cas. Deuxièmement, quand ils ne sont pas significatifs, ce n’est pas parce que le coefficient est faible mais parce que l’erreur est élevée. L’intervalle de confiance à 95 % (l’intervalle de valeurs dans lequel le résultat a 95 % de chances de se trouver, qui est la manière standard de mesurer la certitude autour d’un résultat) comprend des valeurs du test de falsification aussi élevées voire plus élevées que le coefficient de l’effet CICE estimé. Ainsi, il reste très probable que les 100 000 emplois annoncés ne soient en réalité qu’un  artefact statistique lié à des différences indépendantes du CICE entre de grandes entreprises à hauts salaires et des petites entreprises à bas salaires.

Pour être tout à fait complet, il convient de mentionner que le rapport contient une variante dans laquelle les effets du CICE ne sont pas mesurés en comparant les groupes d’entreprises mais en comparant les entreprises à l’intérieur des groupes, selon qu’elles font partie des plus ou moins bénéficiaires du CICE dans leur groupe. Avec cette approche, les résultats des tests de falsifications deviennent très fortement significatifs et plus élevés que l’effet mesuré du CICE, signe qu’il s’agit toujours d’un artefact statistique.

Approche Macro-structurelle avec bouclage

L’approche macro-structurelle diffère sur de nombreux points de l’approche micro-économétrique, mais comporte un biais commun. Le principe général consiste à estimer les paramètres d’un modèle structurel sur des données datant d’avant le CICE (en l’occurrence 1981-2012). Puis, ce modèle sert à simuler ce qu’aurait été l’emploi dans chaque branche industrielle française sans le CICE. Dans un troisième temps, une analyse statistique mesure la corrélation entre l’intensité du bénéfice du CICE dans la branche et la différence entre l’emploi effectivement mesuré et l’emploi simulé dans cette branche. Cette corrélation est interprétée comme l’impact direct du CICE. Enfin, cet impact direct est utilisé pour modifier les équations d’emploi et de salaire d’un modèle de simulation macroéconomique dans lequel sont également incorporées des hypothèses de financement de la mesure. Ce modèle permet de faire une projection théorique sur les effets d’entraînement (le fait que les emplois créés, générant de la richesse, augmentent également la consommation, donc la demande et ont ainsi un impact positif sur l’économie) et les effets négatifs liés aux hausses d’impôts ou aux baisses de dépenses publiques pour financer le CICE.

La première étape pour être convaincu par les résultats de l’évaluation c’est d’être convaincu par la capacité de ce modèle à prévoir l’emploi qui aurait eu lieu. Or, si les modèles théoriques peuvent être de bons outils pour analyser a priori les enjeux d’une réforme ou a posteriori comprendre les mécanismes ayant mené à une situation économique, leur pouvoir prédictif est souvent plus limité (je discutais de l’intérêt et des limites des modèles, ainsi que des excès de confiance dans leur interprétation, dans un post précédent). Les modèles de conjoncture se limitent souvent à des prédictions de relativement court terme. Ici, il a fallu, sur la base d’un calibrage sur des données antérieures à 2012, prédire l’emploi et les salaires de chaque secteur de 2013 à 2017, période très particulière puisqu’elle abritait une reprise économique mondiale après une grande récession.

Les résultats de l’estimation économétrique ne lèvent d’ailleurs pas ce doute puisqu’ils révèlent une erreur de simulation hors CICE très forte et significative. En effet, la constante dans l’équation d’estimation de l’impact du CICE sectoriel sur l’emploi sectoriel doit être interprétée comme la différence entre l’emploi simulé et l’emploi effectif pour un secteur qui n’aurait pas touché de CICE du tout. Elle illustre donc la capacité du modèle à prédire l’emploi contrefactuel. Si le modèle avait une bonne capacité prédictive, elle devrait être nulle ou proche de zéro, ce qui est loin d’être le cas. Les résultats de l’estimation elle-même apportent donc un démenti à l’assertion que le modèle théorique parvient à simuler véritablement ce qu’aurait été l’emploi en l’absence du CICE, ce qui est pourtant une hypothèse essentielle de validité de l’approche évaluatrice.

Ensuite, même si on croyait à cette capacité prédictive, il faudrait être convaincu que les différences sectorielles dans la reprise de l’emploi après 2013 sont imputables au CICE. On retrouve ici un argument déjà évoqué dans la présentation de l’évaluation micro-économétrique, à savoir que les entreprises des différents secteurs sont intrinsèquement trop différents pour pouvoir servir de comparaison contrefactuelle les unes aux autres. Il est loin d’être impossible que la temporalité de la reprise post-crise dans les secteurs plus ou moins intensifs en main d’œuvre à bas salaires (et donc plus ou moins bénéficiaires du CICE) aurait été différente même sans ce crédit d’impôt.

De plus, cette évaluation fait face à un problème assez net de causalité inverse. Une branche qui aurait créé plus d’emplois en dessous de 2,5 SMIC pour d’autres raisons que le CICE – par exemple une branche dont la reprise post crise serait meilleure grâce à une meilleure exposition conjoncturelle – bénéficierait de facto de plus de CICE, puisque ce crédit d’impôt est proportionnel à la masse salariale des employés payés moins de 2,5 SMIC. Ainsi, en mesurant une corrélation positive entre la création d’emploi et le bénéfice du CICE, on ne prouve pas que le CICE a permis de créer ces emplois mais on observe au contraire que la création de ces emplois a permis de toucher plus de CICE. Ce problème classique d’évaluation peut-être facilement résolu, par exemple en ne considérant pas le CICE effectivement touché mais plutôt un CICE contrefactuel en l’absence de variations d’emploi (par exemple basé sur la structure salariale pré-CICE, ce que nous faisons dans notre propre évaluation).

Enfin, deux derniers problèmes concernent la présentation des résultats. Le premier vient du choix des pondérations. En effet, les secteurs utilisés pour l’estimation sont très différents, non seulement quant à leur structure productive et leur exposition à la conjoncture, mais également quant à leur taille. Il convient donc d’effectuer une pondération, pour que les secteurs plus gros comptent plus que les secteurs plus petits. Plusieurs pondérations sont testées et donnent des résultats différents : la pondération par le nombre d’entreprise du secteur (que celles-ci soient des petites entreprises comme dans les services ou des grandes entreprises dans l’industrie) donne des résultats assez différents des autres pondérations (valeur ajoutée, masse salariale, emploi, pas de pondération), avec un impact direct d’environ 200 000 emplois contre environ 150 000 emplois pour toutes les autres. Or, ce sont ces résultats les plus favorables au CICE – et finalement assez isolés – qui ont été choisis pour être injectés dans le modèle théorique permettant de calculer les effets finaux. Puisqu’on s’intéresse aux créations d’emploi, il aurait été plus logique de pondérer sur le nombre de salariés du secteur. Mais cette pondération par l’emploi donne des résultats plus faibles de 25 %.

Enfin, le modèle théorique prenant en compte les effets d’entraînement (créant des emplois supplémentaires) et de financement des mesures (limitant la hausse d’emploi), font passer le solde de 200 000  à 160 000 emplois créés (si on ne prend en compte que les effets positifs d’entraînement et pas les effets négatifs de financement, on monte jusqu’à 400 000, chiffre qui a par ailleurs été évoqué dans le rapport mais qui n’est pas le résultat de l’estimation). Il est utile ici de rappeler que tout résultat économétrique à une marge d’erreur. L’estimation de l’effet direct n’échappe pas à cette règle et cette marge d’erreur se transmet jusqu’à l’estimation finale de l’effet net du CICE. Or, la manière habituelle de représenter cette marge d’erreur est de considérer l’intervalle de confiance à 95 %, l’intervalle à l’intérieur duquel l’effet réel a 95 % de chance de se trouver. Si cet intervalle de confiance ne contient pas zéro, on dit que le résultat est significatif au seuil de 5 %. Or, ce rapport ne présente pas l’intervalle de confiance à 95 %. Les auteurs ont choisi de présenter plutôt l’intervalle de plus ou moins un écart type, qui est un intervalle près de deux fois plus étroit autour du résultat. Ainsi, quand les auteurs avancent un effet net de 160 000 emplois, il ne faut pas oublier l’écart type de l’estimation de près de 95 000 emplois et donc une borne basse de l’intervalle de confiance à 95 % correspondant à une destruction (et non une création) de 25 000 emplois. Toutes ces estimations auraient été encore plus faibles avec une pondération sur le nombre de salariés des secteurs.

Cela signifie bien que l’estimation par cette étude du nombre d’emplois créés par le CICE, même si elle n’était pas biaisée, donne un résultat qui n’est pas significativement différent de l’absence pure et simple de création d’emploi.

Conclusion

Comme il a été dit depuis plusieurs années, le CICE est difficile à évaluer car il est très général et touche quasiment toutes les entreprises. Plusieurs approches ont tenté d’en mesurer tout de même les impacts. Forcément, elles présentent toutes des faiblesses. La comparaison de ces forces et faiblesses ainsi que de leurs résultats est intéressante pour comprendre le principe de l’évaluation : aucune évaluation ne donne de vérité totale et absolument certaine mais chacune donne des éléments de connaissance, arrachés à grand effort des bases de données.

Pour ce qui est du CICE lui-même, il me semble raisonnable, en l’état des connaissances, de dire comme l’Insee dans son travail de réplication que les évaluations les moins biaisées – mais qui ne sont plus prises en compte dans les rapports publiés par le comité de suivi du CICE – ne parviennent pas à mettre au jour un effet positif du CICE sur l’emploi. Les autres évaluations, malgré les biais présentés dans ce post, trouvent finalement un effet très limité du CICE sur l’emploi, quand il est seulement significativement différent de zéro.

Le Club est l'espace de libre expression des abonnés de Mediapart. Ses contenus n'engagent pas la rédaction.