TCEC: Stockfish écrase Leela

Depuis quelques années Stockfish a ajouté à sa fonction d'évaluation un module contenant un petit réseau neuronal NNUE à 4 couches qui fait de l'évaluation stratégique à partir de la position du Roi et de la portée des pièces, ce qui en fait un programme dit hybride car mêlant l'évaluation par réseau neuronal à un système classique d'évaluation déterministe par exploration avec élagage alpha-bêta de l'arborescence des coups possibles. Par contraste, Leela, petit nom du système LCzero qui est la déclinaison échiquéenne d'AlphaZero, est resté un pur système à réseau neuronal pratiquant l'apprentissage par renforcement (c'est-à-dire qu'il ajuste les facteurs de couplage des noeuds du réseau en jouant contre lui-même un million de parties par jour).

Pour comprendre la nette supériorité de Stockfish sur Leela, il vaut la peine de se pencher sur la 5ème partie du match en cours, dans lequel aux 2/3 du match en 100 parties, Stockfish a 10 points d'avance sur son adversaire, soit une domination écrasante.

Le match se déroule en aller-retour avec des débuts imposés à jouer une fois avec les Blancs et une fois avec les Noirs. Pour limiiter le nombre de parties nulles, l'équipe de spécialistes qui organise ce tournoi choisit des débuts légèrement déséquilibrés à la sortie de l'ouverture à charge pour les programmes d'en tirer le meilleur.

Dans la cinquième partie, l'ouverture était une variante Sämisch de l'Est-Indienne, prédéfinie jusqu'au 13ème coup des Blancs:

Nous sommes ici au 14ème coup et dans cette variante, les Noirs ont sacrifié leur Dame contre seulement 2 pièces mineures et 2 pions. Du point de vue purement matériel on a échangé l'équivalent de 10 pions Noirs contre seulement 8 pions Blancs, et pourtant l'évaluation donne un léger avantage aux Noirs (de l'ordre de 1 pion) ce qui montre que les programmes d'échecs d'aujourd'hui font des évaluations moins myopement matérialistes que ceux d'autrefois.

Au 64ème coup, alors que jusque là les évaluations progressaient en faveur des Noirs tout en restant voisines, Stockfish se voit désormais vainqueur à coup sûr, grâce à ses deux pions passés éloignés sur les colonnes b et h, alors que Leela ne voit qu'un avantage de l'ordre de 2 pions en faveur des Noirs:

On peu plus tard, Stockfish trouve un chemin lui garantissant un mat en 65 coups (le programme hybride Crystal dérivé de Stockfish trouve dans la même position un chemin de mat en seulement 33 coups) alors que Leela ne lui attribue qu'un pion d'avance; cette divergence illustre de façon éclatante l'infériorité d'une évaluation purement statistique par rapport à l'exploration déterministe:

Ce qui rend Stockfish si sûr de lui est sa capacité à construire un plan de gain à longue portée, comme le ferait un fort joueur humain, en approchant son Roi du Roi adverse tout en échappant aux échecs intermédiaires de la Dame blanche; arrivé à ce stade de la partie, Leela a réalisé qu'il allait perdre, sans pour autant être capable d'aller jusqu'au mat:

Le mat final montre que dans les derniers coups, le réseau neuronal perd complètement les pédales, victime de ce que les experts en IA appellent une hallucination: au moment du mat, Leela donne une évaluation de quasi-égalité:

L'évolution des fonctions d'évaluation au fil de la partie montre l'instabilité intrinsèque de l'approche statistique dans ce contexte, même si une nouvelle version en bêta-test (courbe bleue) semble moins instable: