Le token a transformé le langage et la vision. Mais est-il nécessairement l’abstraction optimale pour une machine qui doit vivre continuellement dans un environnement physique ?
Michel Tran — Vimberia Research
Septembre 2026 — Article de positionnement
Le token est une abstraction extraordinairement puissante pour traiter de l’information. Mais une machine située dans le monde réel a peut-être besoin, en plus, d’unités capables de persister dans ce monde.
Résumé
Le token est devenu l’une des abstractions centrales de l’intelligence artificielle moderne.
Dans le langage, il permet de transformer une séquence de symboles en unités manipulables par un modèle.
Dans la vision, il permet de représenter des portions d’image, des caractéristiques ou des éléments latents dans un espace commun où l’attention peut apprendre leurs interactions.
Cette abstraction a produit des résultats remarquables.
La question n’est donc pas :
« Le token est-il dépassé ? »
Elle serait scientifiquement mal posée.
La question plus intéressante est :
Une machine qui doit percevoir, se déplacer, agir et maintenir continuellement une représentation de son environnement physique peut-elle reposer uniquement sur des unités recalculées ou réinterprétées au fil des observations ?
Vimberia explore l’hypothèse qu’une IA physique pourrait bénéficier d’une primitive supplémentaire : une unité perceptive persistante possédant une identité, un état, une histoire et des relations.
Cette unité est appelée Vimber.
Le Vimber n’a pas vocation à remplacer le token.
Il pose une question située en amont :
qu’est-ce qui mérite de continuer d’exister dans la représentation lorsque l’observation suivante arrive ?
1. Le succès du token
Le succès récent du token n’est pas difficile à comprendre.
Une architecture informatique doit transformer une énorme quantité d’information en unités manipulables.
Dans le langage :
Puis le modèle apprend des interactions entre ces tokens.
Cette représentation possède plusieurs avantages :
- elle est discrète ou vectorisable ;
- elle se prête bien au traitement séquentiel ;
- elle permet l’utilisation de l’attention ;
- elle facilite la mise en parallèle des calculs ;
- elle fournit une interface commune à des architectures de grande échelle.
Les Transformers ont montré à quel point cette formulation pouvait être puissante.
2. En langage, la séquence est déjà une abstraction extrêmement riche
Lorsqu’un modèle reçoit :
« Le chat est sur la table »
il ne reçoit pas directement des photons.
Il reçoit déjà une représentation symbolique extrêmement structurée.
Les mots et leurs sous-unités ont été produits par des siècles d’évolution linguistique et culturelle.
Même avant que le modèle ne commence son calcul, une quantité considérable d’abstraction a déjà eu lieu.
Le token linguistique bénéficie donc d’une propriété remarquable :
le monde a déjà été partiellement transformé en symboles avant d’arriver au modèle.
Cette situation est très différente de celle d’un robot devant une caméra.
3. Une caméra ne fournit pas de mots
Une caméra produit :
une observation composée de mesures visuelles.
Elle ne fournit pas directement :
Le système doit construire ces niveaux d’abstraction à partir du signal.
La difficulté de l’IA physique commence donc avant le raisonnement symbolique.
Elle commence par une question fondamentale :
Quelles unités du flux sensoriel correspondent à des structures du monde qu’il est utile de maintenir ?
4. Le token visuel a permis de rapprocher vision et langage
Les Vision Transformers ont apporté une réponse particulièrement efficace.
L’image est découpée ou encodée en unités :
Puis le Transformer peut apprendre les interactions :
grâce à l’attention.
Cette approche est extrêmement puissante.
Elle permet d’utiliser pour la vision des principes qui ont démontré leur efficacité dans le langage.
Mais elle introduit aussi une question conceptuelle :
Une représentation idéale pour calculer sur une image est-elle nécessairement idéale pour maintenir un monde pendant plusieurs minutes, plusieurs heures ou plusieurs jours ?
5. Une image est temporaire, le monde ne l’est pas
À :
la caméra produit :
Puis :
Puis :
À 60 FPS, cela signifie une nouvelle observation toutes les :
environ.
Mais la table observée à ne cesse pas d’exister à .
Le bâtiment non plus.
Le robot lui-même non plus.
Le monde possède une continuité que la succession des frames ne possède pas intrinsèquement.
La question devient alors :
où cette continuité doit-elle être représentée ?
6. Le token n’est pas « mauvais » pour la continuité
Il faut ici être précis.
Des architectures peuvent parfaitement utiliser des tokens dans des modèles temporels.
Des tokens peuvent être mémorisés.
Ils peuvent être récurrents.
Ils peuvent participer à des modèles du monde.
Ils peuvent représenter des objets ou des événements.
Il serait donc faux d’écrire :
« un token ne peut pas représenter la persistance ».
La question est plus fine :
la persistance doit-elle être une propriété apprise ou reconstruite dans des représentations latentes, ou doit-elle aussi devenir une propriété explicite de certaines unités du monde interne ?
Vimberia explore la seconde possibilité.
7. Une unité qui persiste
Supposons qu’un système maintienne :
Puis, après une nouvelle observation :
Il ne s’agit pas nécessairement de deux représentations indépendantes.
Le système affirme :
C’est ce que le Vimber cherche à formaliser.
On peut le représenter abstraitement comme :
avec :
- une identité ;
- un état ;
- une histoire ;
- des relations.
8. La différence est moins « token contre Vimber » que « encodage contre persistance »
Cette distinction est essentielle.
Un token répond principalement à :
Comment représenter cette information pour que le modèle puisse la traiter ?
Le Vimber répond à :
Quelle unité dois-je maintenir comme faisant toujours partie de mon monde interne ?
Ces deux questions peuvent parfaitement être complémentaires.
On pourrait avoir :
Le Vimber définit alors l’entité persistante.
Le token définit son encodage pour un modèle donné.
Ainsi :
mais potentiellement :
9. L’IA physique possède une contrainte que le texte n’a pas
Un modèle de langage peut analyser un document fini.
Un robot, lui, n’a pas de « fin de document ».
Son entrée ressemble plutôt à :
sans fin prédéfinie.
Il doit continuellement :
- percevoir ;
- mémoriser ;
- mettre à jour ;
- oublier ;
- agir ;
- corriger ses erreurs.
Cette différence est fondamentale.
L’IA physique travaille sur un flux ouvert.
Sa représentation doit donc gérer :
autant que :
10. Une IA physique doit vivre entre les frames
La plupart des événements physiques ne correspondent pas aux frontières des images.
Un verre commence à tomber entre deux observations.
Une personne passe derrière un obstacle.
Une voiture sort temporairement du champ.
Un objet est déplacé puis réapparaît.
L’intelligence doit maintenir une cohérence qui dépasse :
Elle doit posséder un état :
tel que :
L’image devient alors une observation du monde.
Elle n’est plus nécessairement le monde interne lui-même.
11. Le monde interne devient l’objet principal
Dans une architecture centrée sur les observations :
Puis :
Dans une architecture persistante :
Le changement paraît minime dans l’équation.
Il est profond dans l’architecture.
Le centre de gravité passe de :
à :
12. Pourquoi une primitive persistante pourrait être utile
Supposons qu’un robot observe une table pendant dix secondes.
À 60 FPS :
observations ont été produites.
Doit-il posséder 600 représentations indépendantes de cette table ?
Probablement pas.
Il a davantage besoin d’une unité :
dont l’état est progressivement confirmé, enrichi ou corrigé.
La répétition n’a alors plus pour fonction de recréer l’unité.
Elle sert à la maintenir.
13. Le Vimber cherche à découpler observation et existence
C’est probablement le point conceptuel central.
Une région peut être visible dans :
puis absente dans :
parce qu’elle est occultée.
Si la représentation dépend uniquement de l’observation immédiate :
risque d’être confondu avec :
Une représentation persistante permet au contraire de distinguer :
et :
Cette distinction devient cruciale pour une machine qui agit physiquement.
14. Un robot a besoin de savoir ce qui reste là lorsqu’il ne regarde plus
Imaginez un robot qui voit une caisse derrière lui.
Il tourne.
La caisse disparaît de sa caméra.
Faut-il supprimer sa représentation ?
Non.
Le robot doit conserver une hypothèse :
même lorsque :
visuellement.
Cette capacité est déjà recherchée par de nombreuses approches de mémoire spatiale, de tracking et de cartographie.
Vimberia pose cependant la question de savoir si cette persistance peut devenir une propriété générale de la primitive perceptive elle-même.
15. L’IA physique a aussi besoin de relations persistantes
Une entité seule n’est souvent pas suffisante.
Un robot doit savoir que :
est lié à :
On peut représenter :
et maintenir cette relation.
L’état interne devient :
Les Vimbers sont les nœuds.
Les relations sont les arêtes.
Le monde représenté devient donc une structure dynamique.
16. La relation peut être plus stable que l’apparence
L’apparence d’un élément dépend fortement :
- du point de vue ;
- de l’éclairage ;
- de l’occultation ;
- de la distance.
Mais certaines relations peuvent rester beaucoup plus stables.
Deux éléments peuvent :
- se déplacer ensemble ;
- rester reliés ;
- conserver une organisation ;
- appartenir à une même structure.
La relation :
devient alors une information exploitable en elle-même.
L’IA physique peut raisonner non seulement sur :
mais sur :
17. Et si l’événement était parfois une relation qui change ?
Considérons deux Vimbers persistants :
et :
Ils existaient avant.
Ils existent après.
Mais :
Quelque chose vient de se produire.
L’événement n’est pas :
apparition d’un nouvel objet.
Il est :
transformation d’une relation.
Pour une IA physique, ce type d’information peut être central.
18. L’IA physique doit gérer plusieurs échelles de temps
Un autre problème apparaît.
Toutes les structures du monde n’évoluent pas à la même vitesse.
Un bâtiment peut rester pratiquement stable pendant plusieurs heures.
Une personne change de position en quelques secondes.
Une main en quelques centaines de millisecondes.
Une hélice beaucoup plus rapidement.
Pourquoi toutes les unités internes devraient-elles être maintenues au même rythme ?
Une architecture persistante pourrait associer différents besoins de mise à jour :
selon la dynamique de l’unité.
19. Le token est naturellement compatible avec le calcul massif
L’une des forces du token est sa régularité.
On crée :
puis on effectue des opérations vectorielles massivement parallèles.
Cette organisation correspond remarquablement bien aux GPU.
Mais une IA physique embarquée possède parfois une autre contrainte :
ne pas seulement effectuer rapidement beaucoup de calculs, mais éviter ceux qui ne sont pas nécessaires.
La différence est importante.
On passe de :
à :
20. La redondance temporelle devient alors une ressource
Une vidéo contient énormément de répétition.
Ce terme ne doit pas être compris comme quelque chose d’inutile.
La répétition permet notamment de découvrir :
- la continuité ;
- la stabilité ;
- les transformations ;
- les relations.
Mais une fois qu’une structure est suffisamment établie, la répétition peut aussi permettre de ne pas tout reconstruire.
On cherche alors :
plutôt que :
21. Cette question devient critique en embarqué
Un modèle exécuté dans un datacenter peut disposer de puissances électriques considérables.
Un drone, des lunettes intelligentes ou un petit robot ne disposent parfois que de quelques watts pour une partie importante de leur calcul.
Chaque opération supplémentaire affecte :
- l’autonomie ;
- la température ;
- la latence ;
- la taille de la batterie ;
- parfois même le poids du système.
Une primitive qui facilite la maintenance sélective du monde pourrait donc avoir une valeur particulièrement forte dans l’IA physique.
22. Une nouvelle primitive ne signifie pas nécessairement un nouveau réseau neuronal
Le terme primitive peut prêter à confusion.
Il ne signifie pas nécessairement :
créer une nouvelle couche neuronale universelle.
Une primitive est ici une unité conceptuelle autour de laquelle l’architecture est organisée.
Le pixel est une primitive d’acquisition.
Le patch peut devenir une primitive de découpage.
Le token est une primitive extrêmement efficace de calcul et de représentation.
Le Vimber est proposé comme une primitive de :
23. Le Vimber pourrait être tokenisé
Cette compatibilité est importante.
Supposons :
On peut produire :
Puis un Transformer peut traiter :
L’architecture devient :
Cela permettrait de conserver la puissance des Transformers tout en changeant la nature des unités fournies au raisonnement.
24. La vraie question pourrait être : qu’est-ce qu’on tokenise ?
Cette reformulation est probablement plus intéressante que :
« faut-il remplacer les tokens ? »
La question devient :
Qu’est-ce qui doit devenir un token ?
Un carré de pixels ?
Une région ?
Un objet détecté ?
Une représentation latente ?
Une unité persistante du monde ?
Si :
devient :
alors le Transformer ne travaille plus seulement sur une partition de l’observation.
Il peut travailler sur des unités qui possèdent déjà une histoire.
25. Le token pourrait alors devenir une interface plutôt qu’une ontologie
Dans beaucoup d’architectures, le token occupe simultanément deux rôles :
- unité de représentation ;
- unité de calcul.
Ces deux fonctions ne sont pourtant pas nécessairement identiques.
On peut imaginer :
et :
Le système décide d’abord ce qu’il considère comme une unité persistante.
Il décide ensuite comment encoder cette unité pour la calculer.
Cette séparation pourrait être particulièrement intéressante pour l’IA physique.
26. Une primitive physique doit pouvoir accumuler de l’expérience
Un token visuel instantané peut contenir beaucoup d’information.
Mais une unité persistante peut posséder quelque chose de supplémentaire :
une histoire.
Ainsi :
ne représente pas uniquement ce que le capteur voit maintenant.
Il peut intégrer ce qui a été appris lors des observations précédentes.
On obtient :
Cette propriété rapproche la perception de la mémoire.
27. Le monde n’est pas une séquence de photographies indépendantes
Cette phrase résume une grande partie du problème.
Un robot qui traverse une pièce ne visite pas :
mondes différents parce que sa caméra produit mille images.
Il traverse un monde qui évolue.
La représentation interne pourrait donc refléter cette continuité :
plutôt que produire seulement une succession :
sans identité persistante explicite entre les unités.
28. Il existe déjà des architectures qui vont dans cette direction
Il faut là encore éviter toute caricature.
La robotique utilise depuis longtemps :
- des cartes persistantes ;
- des landmarks ;
- du tracking ;
- des graphes ;
- des mémoires temporelles ;
- des modèles de scène.
Les recherches sur les World Models, les représentations object-centric et les modèles vidéo explorent également la continuité et la dynamique.
La question posée par Vimberia n’est donc pas :
« Pourquoi personne n’a-t-il pensé à la persistance ? »
La question est :
« La persistance devrait-elle devenir une propriété fondamentale d’une unité perceptive générale, située en amont du raisonnement ? »
C’est un positionnement beaucoup plus précis.
29. L’ambition n’est donc pas d’inventer la mémoire
Elle est de demander où la mémoire doit commencer.
Doit-elle apparaître :
- dans le tracker ?
- dans le World Model ?
- dans une mémoire externe ?
- dans le Transformer ?
- dans un système de cartographie ?
Ou peut-elle commencer plus tôt :
C’est la question Vimberia.
30. Une primitive persistante pourrait faciliter l’open world
Une IA physique rencontre nécessairement des situations inconnues.
Elle ne peut pas supposer que tout possède déjà un label.
Un Vimber peut exister sous la forme :
avec :
tout en conservant :
et :
Le système peut donc savoir :
« je ne sais pas encore ce que c’est, mais je sais que cette chose existe et possède une histoire ».
Cette capacité est importante pour une intelligence qui apprend continuellement.
31. La structure peut précéder la sémantique
On retrouve alors une idée centrale de Vimberia :
Une machine n’a peut-être pas besoin de reconnaître immédiatement :
« une roue »
pour découvrir qu’une structure :
reste liée à :
et se déplace avec elle.
La connaissance relationnelle peut apparaître avant le nom.
32. Cela pourrait modifier le rôle des grands modèles
Aujourd’hui, on demande souvent à un grand modèle de transformer directement une observation riche en compréhension.
Une architecture persistante pourrait lui fournir un état déjà structuré :
Le grand modèle pourrait alors consacrer davantage de ressources à :
- l’interprétation ;
- la prédiction ;
- le raisonnement ;
- la planification.
Plutôt que de reconstruire constamment les mêmes éléments perceptifs.
La perception structurelle et le raisonnement de haut niveau pourraient devenir plus distincts.
33. Le World Model pourrait recevoir un monde déjà organisé
On peut imaginer :
comme état courant.
Un World Model apprend :
La question n’est alors plus seulement :
Comment encoder le monde dans un latent ZtZ_t ?
mais aussi :
Quelle structure doit constituer cet état ?
Vimberia propose une réponse possible :
Le World Model peut ensuite apprendre sa dynamique.
34. L’IA physique doit aussi gérer l’oubli
Persister ne signifie pas tout conserver éternellement.
Une IA située dans le monde doit également savoir :
- invalider une hypothèse ;
- fusionner des informations ;
- supprimer des unités devenues inutiles ;
- réduire le niveau de détail ;
- oublier.
Une primitive persistante doit donc résoudre un problème délicat :
La mémoire infinie serait aussi inutilisable que l’absence de mémoire.
35. Une nouvelle primitive doit prouver son utilité
Créer un nouveau mot n’est évidemment pas suffisant.
Pour justifier une nouvelle primitive, Vimberia devra montrer expérimentalement que cette abstraction produit un avantage mesurable.
Par exemple :
- meilleure stabilité temporelle ;
- moins de recalcul ;
- meilleure utilisation de la mémoire ;
- réduction de la latence ;
- réduction de la consommation ;
- meilleure gestion de l’inconnu ;
- meilleur transfert vers le raisonnement ou la navigation.
Sans ces résultats, le Vimber resterait une proposition conceptuelle.
La science commence précisément là.
36. Le test le plus difficile : faire mieux que des tokens bien conçus
Ce point mérite d’être dit explicitement.
Les architectures à tokens continueront de progresser.
Elles peuvent incorporer :
- de la mémoire ;
- de la sparsité ;
- du raisonnement temporel ;
- des mécanismes récurrents ;
- des représentations object-centric.
Le standard de comparaison pour Vimberia ne doit donc pas être un modèle naïf traitant chaque image indépendamment.
Il doit être :
les meilleures architectures temporelles et structurées disponibles.
C’est seulement ainsi qu’une éventuelle nouvelle primitive pourra être crédible.
37. Peut-être que le futur sera hybride
Il est même probable que la bonne réponse ne soit ni :
ni :
mais une architecture hybride.
Par exemple :
Dans cette architecture, chaque abstraction joue son rôle.
38. Le pixel mesure, le Vimber maintient, le token calcule
On peut résumer cette division du travail par trois phrases.
Le pixel mesure.
Il appartient au capteur.
Le Vimber maintient.
Il appartient à la représentation persistante.
Le token calcule.
Il fournit une abstraction adaptée aux modèles neuronaux.
Cette séparation n’est évidemment qu’un cadre conceptuel.
Mais elle permet de poser beaucoup plus clairement le problème.
39. Pourquoi la question devient urgente
L’intelligence artificielle quitte progressivement les seuls serveurs pour entrer dans le monde physique.
Elle apparaît dans :
- les robots ;
- les drones ;
- les véhicules ;
- les lunettes ;
- les caméras ;
- les machines industrielles.
Ces systèmes ne doivent pas seulement produire une réponse.
Ils doivent maintenir une continuité avec ce qui s’est passé :
ou parfois :
plus tôt.
Cette différence pourrait exiger de nouvelles abstractions architecturales.
40. Après le token ne signifie pas sans token
C’est probablement la précision la plus importante.
Après le token ne signifie pas :
« remplacer les Transformers ».
Cela signifie :
examiner ce qui doit exister avant, autour ou entre les tokens lorsqu’une intelligence doit maintenir un monde continu.
Le token reste extraordinairement puissant.
Mais il n’est pas interdit de demander si une autre primitive peut lui fournir une structure mieux adaptée au monde physique.
41. La question fondamentale
On peut finalement réduire tout l’article à une seule opposition.
Une machine peut représenter :
ou chercher à maintenir :
La première logique est naturellement centrée sur l’information entrante.
La seconde introduit :
C’est précisément l’espace conceptuel dans lequel Vimberia situe le Vimber.
Conclusion — Le token est-il la fin de l’histoire ?
Probablement pas.
Mais cela ne signifie pas qu’il faille l’abandonner.
Le token constitue aujourd’hui l’une des abstractions les plus puissantes jamais utilisées en intelligence artificielle.
Il fonctionne remarquablement pour :
- représenter ;
- contextualiser ;
- prédire ;
- raisonner.
La question posée par l’IA physique est simplement différente.
Une machine qui vit continuellement dans un environnement ne doit pas seulement se demander :
« Que contient cette observation ? »
Elle doit aussi maintenir :
« Qu’est-ce qui existe encore ? »
« Qu’est-ce qui a changé ? »
« Quelles relations persistent ? »
« Qu’est-ce que j’ai déjà appris sur cette unité ? »
C’est pourquoi Vimberia propose d’explorer une abstraction complémentaire :
et un état perceptif :
mis à jour par :
Le véritable enjeu n’est donc peut-être pas de choisir entre :
et :
mais de déterminer leur rôle respectif.
Le token pourrait rester l’unité avec laquelle une intelligence calcule.
Le Vimber pourrait devenir l’une des unités avec lesquelles elle maintient son monde.
Et la question que pose Vimberia est finalement volontairement simple :
Une intelligence qui vit dans le monde physique doit-elle penser uniquement avec les mêmes unités que celles avec lesquelles elle traite ses observations ?
Peut-être que non.
Et si c’est le cas, alors après le token, il reste encore une couche fondamentale de la représentation à inventer.
Michel Tran
Vimberia Research
France — septembre 2026
Article de positionnement sur les primitives de représentation pour l’IA physique. Ce texte ne prétend ni à l’obsolescence des tokens ni à leur incapacité à représenter la temporalité, les relations ou la mémoire. Il explore l’hypothèse qu’une primitive perceptive explicitement persistante puisse constituer une couche complémentaire, située en amont de certains mécanismes de tokenisation et de raisonnement. Les mécanismes algorithmiques propriétaires de construction et de maintenance des Vimbers ne sont volontairement pas décrits.