La révolution des mathématiques est celle de la théorie des ensembles, qui répond à la fois au problème d’un langage conceptuel universel et rigoureux, et à celui d’un fondement unique pour toutes les disciplines mathématiques. Si la théorie des ensembles est l’œuvre originale de Cantor, les limites de la théorie initiale ont conduit à une version savante, axiomatique, écrite dans la logique formelle du début du 20ième siècle. Ainsi, on a coutume de penser que le fondement ultime des mathématiques réside dans une théorie axiomatique formelle qui nous éloigne de la simplicité intuitive du concept d’ensemble et de la pratique mathématique courante. Il n’en est rien, et en tirant les leçons de la théorie axiomatique des ensembles et en analysant simplement ses propres présuppositions logiques, il est possible de reconstruire un fondement intuitif, naturel et rigoureux pour l’ensemble des mathématiques.

Les notions évoquées dans cet article sont tirées de la publication scientifique Natural Set Theory: An Ultimate Foundation for Mathematics.

1.L’avènement de la théorie des ensembles

1.1.La théorie axiomatique des ensembles

La théorie axiomatique des ensembles est une des réussites mathématiques et scientifiques majeures du 20ième siècle, et de l’histoire des sciences en général. Depuis l’avènement de cette branche très particulière de la logique mathématique, qui s’est développée en relation étroite avec elle, les théories des ensembles comme ZF (« Zermelo-Fraenkel« , du nom des mathématiciens Enrst Zermelo et Abraham A. Fraenkel) ou ZFC (« ZF » avec en plus l’axiome du choix), avec des ajouts ou des modifications éventuels, sont aujourd’hui considérées par une grande majorité de mathématiciens comme un fondement ultime satisfaisant pour toutes les mathématiques, classiques et modernes.

1.2.Les limites de la théorie intuitive de Cantor

Or, ces théories axiomatiques sont des raffinements de la théorie des ensembles de Georg Cantor, père de la discipline et inventeur d’une théorie intuitive révolutionnaire qui souffrait toutefois de défauts rédhibitoires. Parmi ceux-ci, certains paradoxes liés à « l’auto-référence » furent mis au jour, par Cantor lui-même puis par d’autres mathématiciens. On peut citer notamment le paradoxe de Russell (il ne peut pas exister d’ensemble de tous les ensembles), et les paradoxes de Burali-Forti (il ne peut pas exister d’ensemble de tous les nombres ordinaux) et de Cantor (il ne peut pas exister d’ensemble de tous les nombres cardinaux). Par ailleurs, une théorie intuitive des ensembles ne permet pas de prendre en charge sur le plan mathématique la question de leur définition.

1.3.L’apport de la logique mathématique formelle

Ainsi, c’est grâce au calcul des prédicats, sorte de b.a.-ba de la logique mathématique naissante, qu’on a pu édifier une théorie des ensembles libérée de ces restrictions. En effet, cette « logique du premier ordre » permet de donner une description mathématique rigoureuse à la fois des « structures » mathématiques simples, et du « langage » qui sert à les décrire. Comme la théorie des polynômes, dont elle est un analogue, elle fournit une représentation des objets linguistiques utilisés en mathématique et de leur relation aux objets mathématiques qu’ils dénotent. Il est donc possible, grâce à la logique formelle, de reprendre la théorie « naïve » – c’est-à-dire intuitive – de Cantor, pour la traiter comme un objet mathématique à part entière dont nous contrôlons les formations syntaxiques et leurs significations.

2.Le problème des fondements de la science mathématique

2.1.Le rapport des théories formelles à une base intuitive

Pourtant, le calcul des prédicats lui-même est une théorie mathématique, qui repose sur la notion d’ensemble elle-même, et doit donc être fondée sur une théorie intuitive des ensembles. Il pourrait sembler qu’il y a là une certaine circularité; toutefois les ensembles des théories axiomatiques écrites dans la logique du premier ordre ne sont pas les ensembles de l’intuition qui fondent celle-ci : ce sont des éléments de certains « modèles » de ces théories. Ainsi, les théories axiomatiques formelles comme ZF ou ZFC, et toutes celles de ce type, ne peuvent pas représenter en elles-mêmes un fondement mathématique ultime, c’est-à-dire au-delà duquel il n’est pas possible de remonter, car elles reposent en dernière analyse sur une base intuitive à laquelle elles ne peuvent se substituer.

2.2.L’intérêt métamathématique des théories formelles

Ceci étant dit, la théorie axiomatique des ensembles présente de nombreux avantages. D’une part, elle possède un pouvoir expressif supérieur à la théorie naïve des ensembles. Par exemple, on peut y définir dans chaque « univers » tous les nombres ordinaux et cardinaux, ainsi qu’une hiérarchie cumulative d’ensembles, et y formaliser en général les définitions mathématiques, de sorte de pouvoir y conceptualiser leur relation avec les ensembles qu’elles décrivent. D’autre part, le traitement mathématique des axiomes et des théories eux-mêmes permet d’étudier de manière scientifique des questions d’indépendance de certains axiomes (s’ils sont ou non déterminés par le reste de la théorie) ou encore des questions de consistance relative (l’ajout d’un ou de plusieurs axiomes à une théorie est-il – logiquement – consistant avec celle-ci ?). On parle ici parfois de questions « métamathématiques », difficiles voire impossibles à aborder avec une approche intuitive.

2.3.Les limites des théories formelles pour les questions de fondation

Toutefois, la consistance logique absolue de ces théories n’est en général pas démontrable. Autrement dit, il n’est jamais possible d’établir rigoureusement qu’elles décrivent un véritable univers d’ensembles, et donc qu’elles correspondent à une quelconque réalité ! Ceci signifie que cette consistance doit être admise, et donc que le formalisme logique n’apporte aucune justification supplémentaire de ces théories par rapport à leur fondement intuitif natural : l’édifice mathématique repose toujours sur un acte de foi dans ses principes premiers… Ainsi, sur le plan de la consistance logique la méthode axiomatique formelle n’apporte aucun avantage par rapport à la théorie naïve des ensembles. De plus, le formalisme de la logique mathématique – à ne pas confondre avec le symbolisme mathématique usuel ! – ne correspond pas à la pratique mathématique courante, qui consiste à travailler avec les ensembles de l’intuition, et le symbolisme appliqué à la logique du langage naturel.

3.Principes d’une théorie naturelle des ensembles

3.1.Vers une théorie intuitive supérieure sans logique formelle

A cause des limitations à la fois de la théorie naïve des ensembles et de la théorie axiomatique formelle, il est nécessaire de chercher une voie alternative de fondation des mathématiques. Il paraît naturel d’exiger qu’une telle solution ait à la fois le même caractère intuitif que la théorie originelle – afin de refléter la pratique mathématique – et la même puissance que les théories formelles ; mais une telle solution existe-t-elle ? Paradoxalement, c’est essentiellement une idée de Kurt Gödel visant à distinguer entre ensembles et classes dans la théorie axiomatique formelle NBG (« von Neumann-Bernays-Gödel »), qui rend possible l’édification d’une telle théorie, sans formalisme logique. Gödel définit simplement un ensemble comme une classe qui est élément d’une autre classe, et en transposant son idée à la logique naturelle, on peut s’affranchir du formalisme du calcul des prédicats en réintroduisant la notion d’objet, qui apparaît encore dans les travaux de Zermelo. C’est sur cette base que nous avons proposé une refondation des mathématiques dans une « théorie naturelle des ensembles » dans Natural set theory: an ultimate foundation for mathematics (article en anglais).

3.2.Logique extensionnelle et théorie des classes

Comme nous l’avons récapitulé sur la Figure 1, toute théorie des ensembles repose sur la logique extensionnelle. En effet, en logique naturelle certains concepts donnent lieu à des extensions, à savoir la multiplicité des objets possédant les propriétés définissant un concept. Par exemple, le concept « parisienne » possède comme extension la classe de toutes les femmes habitant Paris – si ces dames veulent bien nous pardonner de les considérer, à titre purement philosophique, comme des « objets ». Ainsi, la notion intuitive de « classe » correspond à celle de « concept », et c’est sur cette base qu’on entend à titre intuitif la notion « d’ensemble ». C’est donc de la logique naturelle que nous proposons de partir, en posant la définition suivante :

Définition 1
Une classe est une multiplicité d’objets appelés ses éléments.

Tous les termes de cette définition sont compris dans un sens intuitif ! Nous revenons à l’approche de Cantor, qui définissait sans logique formelle les ensembles comme « collections d’objets que nous rassemblons en un tout », mais cela ne pose pas de problème dans la mesure où c’est la distinction entre objets et classes et leur relation, qui s’avèrent essentielles sur le plan conceptuel. Si $a$ est un objet et $C$ est une classe, nous notons comme d’habitude « $a\in C$ » la propriété « $a$ est un élément de $C$ ». Tous les objets peuvent en principe être rassemblés en une classe; c’est du moins notre intuition, et puisqu’il n’est pas évident que tout concept puisse donner lieu à une classe, nous l’admettrons comme premier axiome de la théorie :

Axiome de Réalité (1)
Il existe une classe contenant tous les objets comme éléments.

Nous noterons $\mathbb U$ le méta-univers, autrement dit cette classe de tous les objets : c’est l’univers du discours mathématique. Cette classe est bien définie, c’est-à-dire ici qu’elle est unique, par le principe d’extensionnalité, qui décrit intégralement l’égalité des classes en fonction de leurs éléments :

Principe (Extensionnalité)
Deux classes $C$ et $D$ sont égales si et seulement si elles ont les mêmes éléments.

3.3.Définition des ensembles… et « paradoxe » de Russell

Tout étudiant sérieux de la logique mathématique moderne s’esclafferait en entendant parler d’une définition de la notion d’ensemble : la logique mathématique formelle définit désormais les ensembles comme des « points » d’un « modèle » d’une théorie comme ZF ou ZFC. Nous pensons avoir été cet étudiant sérieux, mais étant devenu méfiant envers le sérieux académique nous avons retrouvé la possibilité de définir à nouveau les ensembles. Pour Gödel, dans NBG un ensemble est « une classe qui est élément d’une autre classe »; c’est la définition que nous pourrions adopter, et qui s’avère équivalente à la solution suivante grâce à l’axiome de réalité :

Définition 2
i) Un ensemble est une classe qui est aussi un objet (ou un objet qui est aussi une classe).
ii) Une classe propre est une classe qui n’est pas un ensemble (c’est-à-dire, qui n’est pas un objet).
iii) Un urélément est un objet du méta-univers qui n’est pas un ensemble (c’est-à-dire, qui est un élément primitif).

Evidemment, puisque les objets sont censés être les éléments des classes, une classe qui est un élément d’une autre classe est un ensemble. Réciproquement, un ensemble est un objet, donc un élément de $\mathbb U$ : nous retrouvons la définition gödélienne au niveau de l’intuition naturelle, en réintroduisant le concept d’objet ! En logique naturelle, la notion d’ensemble peut donc être considéré comme un concept ambivalent : en tant que classe, l’ensemble possède (éventuellement) des éléments, en tant qu’objet il peut lui-même être un élément.
La distinction entre ensembles et classes apparaît classiquement avec le paradoxe de Russell : il ne peut exister d’ensemble de tous les ensembles. C’est une des raisons pour lesquelles nous les distinguons ici, et nous pouvons alors former la classe de tous les ensembles, que nous noterons $\mathbb S$, ce qui ne pose plus de problème puisque nous n’avons pas admis que toute classe pouvait être élément d’une autre classe; seulement, la classe $\mathbb S$ est désormais une classe propre, tout comme le méta-univers $\mathbb U$… Ainsi, nous disposons désormais d’un « univers » contenant tous les ensembles, sans logique formelle et sans paradoxe. Notons que le méta-univers est formé de la classe $\mathbb S$ et de la classe $\mathbb U-\mathbb S$ des uréléments, qui sont tous les objets naturels que nous pouvons vouloir inclure dans la théorie.

3.4.Sous-classes et opérations booléennes

Si les classes de la théorie sont les contreparties abstraites des extensions de concepts de la logique naturelle, les relations et opérations logiques doivent y être représentées, et d’abord l’inclusion entre deux classes :

Définition 3
On dit qu’une classe $C$ est une sous-classe d’une classe $D$ (ou que $C$ est incluse dans $D$), si tout élément de $C$ est un élément de $D$, ce qu’on note $C\subset D$.

Ainsi, par définition toute classe est une sous-classe du méta-univers $\mathbb U$ ! En particulier, la classe $\mathbb S$ des ensembles est bien sûr une sous-classe de $\mathbb U$. Nous adoptons alors pour toutes les classes les opérations de la logique naturelle :

Définition 4
Soient $C$ et $D$ deux classes.
i) L’intersection de $C$ et $D$ est la classe notée $C\cap D$ et dont les éléments sont tous les objets qui sont à la fois éléments de $C$ et éléments de $D$.
ii) La réunion de $C$ et $D$ est la classe notée $C\cup D$ et dont les éléments sont tous les objets qui sont éléments de $C$ ou éléments de $D$.
iii) La différence de $C$ et $D$ est la classe notée $C-D$ et dont les éléments sont tous les objets qui sont éléments de $C$ mais pas éléments de $D$.
iv) En particulier, si $D$ est une sous-classe de $C$, la différence $C-D$ est une sous-classe de $C$, appelée complémentaire de $D$ dans $C$.

L’inclusion et les opérations booléennes sont évidemment valables pour les ensembles en tant que classes particulières, mais aussi de manière spécifique, ce qui est l’occasion d’entrer dans le coeur de la théorie en abordant les premiers axiomes concernant la classe $\mathbb S$.

4.Les axiomes de base de la théorie des ensembles

Ayant énoncé les définitions et principes essentiels de la théorie des classes dans laquelle nous inscrivons notre théorie naturelle des ensembles, nous devons maintenant introduire les axiomes élémentaires de celle-ci, c’est-à-dire les assertions indémontrables que nous admettons à propos de la classe $\mathbb S$ de tous les ensembles.

4.1.Les axiomes de compréhension et des parties

Conclusion

Il est possible de fonder rigoureusement la mathématique dans l’intuition, sans utiliser de logique formelle, et sans sacrifier les apports essentiels de la théorie axiomatique des ensembles. Cela suppose de retenir la leçon que nous enseigne le paradoxe de Russell, pour distinguer fondamentalement entre les classes, de nature logique, et les ensembles, de nature mathématique, et de réintroduire les objets de la logique naturelle pour définir même les ensembles. Cette approche est « logiciste » – elle vise à fonder la mathématique dans la logique – sans être « formaliste » – elle ne place pas l’essence de la mathématique dans le formalisme logique. Au contraire, en allant chercher le fondement logique de la mathématique dans l’intuition, la théorie naturelle des ensembles embrasse pleinement la pratique mathématique courante sans renoncer à la rigueur. Il sera désormais possible de reconstruire en son sein toute la mathématique à partir des autres axiomes, qu’il faudra introduire dans un autre chapitre de cette histoire philosophico-mathématique.

Retrouvez l’article en vidéo sur MATHESIS, la chaîne YouTube :