En faisant un semblant de recherche sur internet, j'ai vu qu'il fallait activer le support High memory dans la configuration du noyau. Pourtant ce support est indiqué pour 4 Go (CONFIG_HIGHMEM4G) et 64 Go (CONFIG_HIGHMEM64G) de RAM.
En fait le CONFIG_HIGHMEM4G permet de supporter de la RAM de plus de 1Go et ce jusqu'à 4Go. Et effectivement, cela a marché.

Donc si vous rencontrez le même problème que moi :
- si vous compilez votre propre noyau, n'oubliez d'activer le support High mem
- si vous utilisez un paquet de noyau précompilé, en gros le noyau fournit en standard par la distribution, vérifiez s'il n'existe pas un paquet avec le support High mem intégré. Le noyau de base installé par Debian n'a pas le support activé (kernel-image-2.4-386 ou kernel-image2.6-386), il faut installer un paquet pour processeur 686 (kernel-image-2.4-686 ou kernel-image2.6-686).