Détourage vidéo par IA : comment ça marche

Comment une IA sait-elle quel est le sujet ?

Elle part de tes clics : un modèle de segmentation calcule la zone de l'image qui correspond à l'objet cliqué. C'est ce qu'on appelle une segmentation guidée.

Chez Keyotte, ce modèle est SAM 2.1, publié par Meta sous licence libre. Le mode « Retirer » donne au modèle un point à exclure, pour enlever une zone en trop.

Deux ou trois clics bien placés suffisent en général : un au centre du sujet, un sur une partie qui risque d'être oubliée (une main, un objet tenu).

Comment le sujet est-il suivi d'une image à l'autre ?

Le modèle garde en mémoire l'apparence du sujet et le retrouve sur les images suivantes, même s'il bouge ou change de position. C'est le suivi (tracking).

Quand tu corriges une image d'un clic, cette information s'ajoute à la mémoire et sert pour la suite. C'est pour ça qu'une correction au bon endroit répare souvent tout un passage.

Comment les bords sont-ils affinés ?

Le masque du suivi est un peu grossier sur les contours. Un second réseau, spécialisé dans le détourage fin (matting), recalcule les bords image par image, cheveux compris ; chez Keyotte, c'est BiRefNet.

Un lissage dans le temps évite ensuite que les bords tremblent d'une image à l'autre. C'est cette étape qui prend le plus de calcul : compte quelques minutes pour une vidéo d'une minute.

Pourquoi l'IA se trompe-t-elle parfois ?

Parce que certaines images sont ambiguës, même pour un humain : deux personnes qui se croisent, un sujet flou, une couleur identique entre le sujet et le décor. Le modèle doit alors deviner.

• Croisement : le suivi peut passer sur la mauvaise personne.
• Sortie du cadre : au retour, le sujet peut être perdu.
• Flou de mouvement : les bords deviennent incertains.
• Objet transparent : on voit le décor à travers.

Que fait Keyotte du résultat ?

Le masque affiné sert à poser le sujet sur un vert uni #00B140, et la vidéo est encodée en MP4 jusqu'en 1080p avec le son d'origine. Le calcul se fait sur des serveurs avec cartes graphiques : tu peux fermer la page pendant le rendu.

Pour savoir quoi faire avec ce fichier, vois changer le fond d'une vidéo. Pour limiter les erreurs dès le tournage, filmer pour un détourage réussi. Et pour l'éternelle question, fond vert ou IA.

Pourquoi le calcul se fait-il sur des serveurs ?

Parce que ces modèles demandent des cartes graphiques puissantes, rarement présentes dans un téléphone ou un ordinateur portable. Les faire tourner localement serait lent, voire impossible.

Sur les serveurs de Keyotte, les vidéos servent uniquement à produire ton export et sont supprimées 7 jours après l'envoi ; voir la confidentialité des vidéos envoyées.