Pour la plupart des gens, un énoncé, en mathématiques, est soit vrai, soit faux. Il n’y a pas de place pour autre chose qui serait une sorte de « On ne sait pas » un peu honteux. Cela a sans doute rebuté certain(e)s ; voyant là une sorte de tyrannie de la certitude. D’autres, au contraire, y ont trouvé une sécurité. Ce fût, par exemple, le cas de Descartes qui écrivait sur sa scolarité :
« Je me plaisais surtout aux mathématiques, à cause de la certitude et de l'évidence de leurs raisons; mais je ne remarquais point encore leur vrai usage, et, pensant qu'elles ne servaient qu'aux arts mécaniques, je m'étonnais de ce que, leurs fondements étant si fermes et si solides, on n'avait rien bâti dessus de plus relevé. »
Fondements si fermes et si solides. Vraiment ? En tout cas, l’idée s’est transmise de génération en génération jusqu’au début du XXième siècle. En 1900, se tient à Paris un congrès international de mathématiques et le grand mathématicien Hilbert y énonce une liste de vingt-trois questions non résolues et qui doivent, selon lui, orienter la recherche en mathématiques à l’aube de ce nouveau siècle. La deuxième question est : « Peut-on prouver que l’arithmétique ne contient pas de contradiction ? ».
Commençons par analyser cette question, qui semble un peu surprenante. Tout d’abord, l’arithmétique, pour Hilbert, est formée des nombres entiers et des deux opérations d’addition et de multiplication. On voit ensuite bien le lien avec la solidité des fondements des mathématiques évoquée par Descartes… si tant est qu’une telle preuve existe, bien entendu. De plus, la recherche de cette preuve est encore toute imprégnée de l’idée scientiste qui a dominé le XIXième siècle ; établir, en quelque sorte, la toute puissance de la Science par des démonstrations ne souffrant aucune discussion possible, et par là-même, assurer une Vérité incontestable. Le triomphe de la Raison, en somme. Bien évidemment, Hilbert y croyait. Mais, et c’est important à savoir, il y avait urgence. En effet, dans les années 1890, Cantor, qui était en train de construire la théorie moderne des ensembles, avait découvert un paradoxe. Et il l’avait signalé à Hilbert qui en avait été gravement affecté. Un paradoxe dans une théorie, c’est un peu comme un éléphant dans un magasin de porcelaine…
Il fallut attendre trente ans pour commencer à avoir une première réponse à cette question de la cohérence de l’arithmétique par l’intermédiaire de Kurt Gödel. Et cette réponse ne fût pas vraiment celle qu’avait imaginée Hilbert. Mais Gödel, à la différence d’Hilbert, n’était pas un positiviste. En 1930 et 1931, il publie deux articles prouvant deux théorèmes.
Commençons par le premier. Gödel se base sur un paradoxe de la logique déjà bien connu, le paradoxe du menteur. « Je suis un menteur » est une affirmation paradoxale. En effet, si elle est vraie, je suis un menteur et ce que je dis est faux. Donc je ne suis pas un menteur. Contradiction. Si elle est fausse, alors je ne suis pas un menteur et ce que je dis est vrai. Donc je suis un menteur. Contradiction. What else ? Rien, et c’est là que réside le paradoxe.
En analysant de plus près la situation, on s’aperçoit que l’on peut éliminer ce paradoxe en décidant que ce que je dis n’est ni vrai, ni faux. En effet, c’est uniquement quand on décide de la véracité de cette affirmation que survient le paradoxe. Bref, cela ouvre la porte à l’indécidabilité, et celle-ci semble même être nécessaire pour sauvegarder la cohérence.
Eh bien, c’est, en quelque sorte le premier théorème de Gödel, plus connu sous le nom de Théorème d’incomplétude : « Si une théorie mathématique contenant l’arithmétique est cohérente, alors il existe au moins une proposition indécidable dans la théorie ». Par indécidable, Gödel entend une proposition dont on ne peut pas démontrer qu’elle est vraie, ni démontrer que son contraire est vraie. Sans rentrer dans les détails de la démonstration – que je ne maîtrise d’ailleurs pas, veuillez m’en excuser – Gödel arrive à construire une proposition mathématique M disant « M n’est pas démontrable », et on s’aperçoit très vite que cette proposition est l’analogue de l’affirmation du menteur. Si M est démontrable, alors elle devient vraie, donc est indémontrable. Contradiction. Si la proposition contraire de M est démontrable, alors M est fausse et donc M est démontrable, donc vraie. Contradiction. Ainsi, sous l’hypothèse que la théorie est cohérente, M est indécidable. Cela montre que la théorie est, en quelque sorte, incomplète, d’où le nom du théorème, puisqu’elle ne permet pas, par la démonstration, de décider du statut de vérité de toutes les propositions que l’on peut énoncer dans cette théorie.
Passons au second théorème : « Si une théorie mathématique contenant l’arithmétique est cohérente, alors la preuve de cette cohérence ne se trouve pas dans cette théorie ». Pratiquement, cela revient à dire qu’une théorie ne peut pas prouver sa propre cohérence, mettant ainsi fin au rêve de Hilbert… du moins dans un sens absolu. Pour établir ce résultat, Gödel se sert du théorème d’incomplétude avec, en gros, le raisonnement suivant. Supposons que la théorie permette de démontrer sa cohérence. Comme la cohérence entraîne la non-démontrabilité de M, la théorie pourrait donc démontrer M. Contradiction.
On s’aperçoit alors que la preuve de la cohérence de l’arithmétique conduit à une fuite en avant. On aurait besoin d’une théorie plus étoffée. Dans ce cas, il faudrait évidemment s’assurer que cette nouvelle théorie est elle-même cohérente, sinon cela n’aurait guère de valeur. Mais cette nouvelle théorie, qui contient toujours l’arithmétique, relève aussi du second théorème de Gödel, donc nécessiterait une nouvelle nouvelle théorie pour prouver sa cohérence. Et ainsi de suite.
Cette situation peut être résumée par la situation d’un artiste qui peint un paysage. Une fois son œuvre terminée, il se rend compte qu’il manque quelque chose ; à savoir lui-même peignant le paysage. Il recommence donc en peignant sa modeste personne en train de peindre le paysage. Mais il manquera encore quelque chose. Il manquera toujours quelque chose... La certitude s’évanouit.
Bref, après le passage du cyclone Gödel, il ne reste pas grand-chose des fondements fermes et solides dont parlait Descartes. Disons tout au plus un certain degré de confiance dans les mathématiques – confiance qui peut être assimilée à une croyance, d’ailleurs – et un inévitable recours à un principe ; celui de la cohérence, ou de la non-contradiction, ce qui revient au même. Et un tel principe avait déjà été énoncé par… Aristote ! Il l’avait même appelé « principe des principes », au sens où la cohérence est une condition absolument indispensable à toute expression écrite ou orale. Tenir un discours incohérent est impensable. Il faudrait donc soit se taire, soit admettre ce principe.
Je finis par une anecdote. Presque tous les ans, je présente à ma classe, de manière plus ou moins détaillée, les résultats de Gödel. Cela me permet de vérifier, d’ailleurs, que malgré leur ancienneté, ils sont presque toujours complètement ignorés. Mes étudiants tombent des nues quand je leur annonce que l’on peut démontrer que certains énoncés sont indécidables, et que la cohérence des mathématiques n’a pas été démontrée de façon absolue. Comme quoi, si le positivisme est mort et enterré en philosophie, il reste bien ancré dans les esprits. La Science détiendrait la Vérité ; en particulier les mathématiques où tout est vrai ou faux… ce qui ne veut évidemment pas dire que l’on sait le faire. Cela, ils ne le savent que trop bien ! Non, c’est plus profond. On peut être confronté à l'impossible, et un impossible démontré !
Bien entendu, suivant les années, cela amène un débat plus ou moins dense en fonction de l’intérêt qu’ils portent à ce genre de questions. Une fois, après un long développement de ma part, un élève est venu me voir à la fin du cours. Il avait l’air abattu. Il m’a dit : « Monsieur, vous avez brisé ma vision des mathématiques » et il en avait presque les larmes aux yeux. J’ai repensé à Descartes. Non, les mathématiques ne sont pas une tour d’ivoire à l’abri du doute, un monde rempli de certitudes sécurisantes. Eh bien, tant mieux, cela ne les rend que plus humaines.