Un modèle ne traite jamais du texte, des images ou du son. Il traite des nombres. Le texte, l'image et le son sont trois manières différentes d'arriver aux mêmes nombres. Une fois qu'on a compris cela, l'omnimodalité cesse d'être un tour de force et devient une conséquence logique.
Nous rapportions hier un modèle traitant nativement quatre modalités. Voici comment c'est possible.
Tout devient une suite de vecteurs
Nous avons expliqué le mécanisme pour le texte dans notre article sur les tokens et pour l'image dans celui sur leur facturation. Le principe est identique dans les trois cas.
Le texte est découpé en fragments d'environ quatre caractères, chacun converti en une liste de nombres.
L'image est découpée en carrés de quelques dizaines de pixels, chacun converti en une liste de nombres.
Le son est découpé en tranches de quelques centièmes de seconde, chacune décrite par sa répartition de fréquences, puis convertie en une liste de nombres.
À la fin de ces trois opérations, le modèle reçoit exactement la même chose : une suite de vecteurs. Il ne sait pas d'où ils viennent, et il n'a pas besoin de le savoir.
Pourquoi le mécanisme central s'en moque
Le coeur de ces modèles fonctionne en comparant chaque élément d'une suite à tous les autres pour déterminer ce qui compte. Ce mécanisme ne fait aucune hypothèse sur la nature des éléments.
C'est pourquoi une même architecture a pu absorber successivement le texte, puis l'image, puis l'audio, sans changement conceptuel. On n'a pas inventé une nouvelle manière de traiter les images : on a trouvé comment transformer une image en quelque chose que le mécanisme existant savait déjà manipuler.
La conséquence est que le modèle peut mélanger les sources dans une même suite. Un extrait vidéo devient une alternance de tuiles visuelles et de tranches sonores, dans l'ordre temporel, et le modèle les met en relation comme il met en relation des mots.
Imaginez une réunion enregistrée. Un système assemblé transcrit l'audio, décrit séparément les diapositives, et donne les deux textes au modèle. Il ne saura jamais que la phrase « ce chiffre me paraît optimiste » a été prononcée pendant que la diapositive numéro sept était affichée, parce que cette simultanéité a disparu à la conversion. Un modèle omnimodal reçoit les deux flux entrelacés dans l'ordre réel. Il peut donc rattacher ce qui est dit à ce qui est montré. C'est là que se situe le gain, pas dans la qualité de la transcription.
Ce que ça coûte
Deux limites pratiques, et elles expliquent pourquoi tout le monde ne le fait pas.
Le volume. Une minute de vidéo produit un nombre de vecteurs considérable — bien davantage qu'une page de texte. C'est pourquoi les contextes très longs, de l'ordre du million de tokens, sont la condition d'un usage vidéo sérieux, et pourquoi cela coûte cher.
L'équilibre de l'entraînement. Un modèle entraîné sur les quatre modalités doit répartir sa capacité entre elles. Rien ne garantit qu'il soit aussi bon dans chacune qu'un modèle spécialisé. C'est le compromis que nous décrivions dans notre article sur généraliste et spécialisé.
Ce qu'il faut retenir
L'omnimodalité n'est pas une prouesse : c'est ce qui arrive quand on s'aperçoit que le mécanisme central est indifférent à la nature de ce qu'il traite.
C'est aussi une bonne illustration d'un point que nous soulignons souvent. Les progrès spectaculaires de ces systèmes viennent rarement d'une idée nouvelle. Ils viennent le plus souvent d'une idée ancienne appliquée à quelque chose qu'on ne pensait pas lui donner à manger.