So Floyd, Le Puy du Fou, Orelsan, le festival Artrock, les Vieilles Charrues, Riles, Trackmania, Maxime Gasteuil : tous font confiance à la solution de tracking Naostage, entreprise française créée il y a cinq ans. Ce système est-il stable, nous avons posé la question à Paul Cales, président et co-fondateur.
Une photo d’anthologie qui valide une belle collaboration entre L’équipe So Floyd/Pan Pot et Naostage avec (de gauche à droite et de haut en bas) William Hamon, Laurent Begnis, Nathan Van De Hel, Olivier Le Doeuff, Alexis Reymond, Lily Blanleuil, Paul Cales, Serge Begnis.
Je retrouve Paul Cales, Président de Naostage, à l’Espace Martin Luther King à Créteil, pour une démo du K System. Cette solution de tracking destinée aux professionnels, de l’audio, de la lumière et de la vidéo, n’a pas fini de nous étonner au regard du caractère particulièrement ingénieux de la technologie utilisée et des features à venir.
Nous les avions déjà rencontré lors de l’ISE 2023 et l’équipe avait pris le temps de décrire globalement les trois éléments qui compose le K System à savoir Kapta, Kore et Kratos. Dans cet article nous souhaitions poser les questions que les potentiels utilisateurs se posent : Combien de temps prend la mise en place et ce système de tracking est-il vraiment fiable, notamment pour une utilisation en tournée ?
Le K System est-il stable et pourquoi les productions auraient-elles besoin d’un système de tracking basé sur l‘Intelligence Artificielle ?
20 minutes d’installation, c’est la durée annoncée par Paul. Une durée particulièrement courte que l’on a presque du mal à croire et qui pourrait même créer une certaine anxiété chez tout utilisateur plutôt enclin à double (voir triple) checker son installation pour bien dormir la nuit. Je lui fais part de ma remarque.
Paul Cales, président et co-fondateur de la société Naostage, nous fait une démo privée du K System. Royal !
Paul Cales : La mise en place du système pour qu’il soit utilisable prend réellement 20 minutes. Ensuite, vient l’étape du paramétrage de ce que l’on veut faire avec des systèmes tiers à partir des données issues du tracking.
Cela va concerner par exemple l’encodage lumière du show avec la décision de tracker tel ou tel sujet et lui assigner un profil qui associera les machines.
SLU : La tournée « So Floyd », qui a lieu actuellement, utilise votre système. Combien de temps a pris ce paramétrage en plus des 20 minutes d’installation ?
Paul Cales : Il m’a fallu deux heures pour paramétrer tout le show. J’ai ensuite été présent sur une date pour faire une passation aux techniciens qui travaillent sur la tournée et leur apprendre à utiliser le système. Ils en sont d’ailleurs très contents.
Effectivement les retours de l’équipe So Floyd sont dithyrambiques et comme Paul l’explique le K System répond à un besoin croissant de paramétrage à fin d’effets audiovisuels de plus en plus interactifs et immersifs.
Les retours en vidéo de Sébastien Huan, technicien lumière, réseau et tracking, et Laurent Begnis, éclairagiste et pupitreur, pour le spectacle « So Floyd » :
Paul Cales : Un autre constat d’un manque réel d’outils nous a fait prendre conscience que, dans 95 % des shows, la poursuite est réalisée manuellement par des opérateurs que les productions ont du mal à trouver, la période Covid n’ayant pas aidé. Même si ce sont des métiers qui demandent un vrai savoir-faire, il y a un besoin urgent d’automatiser ces méthodes afin de réaliser des économies substantielles dans les budgets mais surtout de permettre de réorienter les techniciens vers d’autres postes pour plus de créativité.
« dans 95 % des shows, la poursuite est réalisée manuellement par des opérateurs que les productions ont du mal à trouver, la période Covid n’ayant pas aidé. » Paul Cales, président et fondateur de Naostage
SLU : Le système insiste sur la fonctionnalité « Beaconless » (sans balise physique ndlr) quand d’autres mettent en valeur la sécurité apportée par un couple boîtier/tag. Pourquoi ce choix ?
Paul Cales : Soyons francs, l’utilité principale d’un boitier ou d’un tag est de rassurer la personne qui le porte : « J’ai un boitier, donc on ne peut pas me perdre … », mais cela rajoute une couche de complexité technique inutile, et donc potentiellement des défaillances. Nous nous sommes rendu compte que ces systèmes étaient également contraignants pour les performeurs.
Mettre un boîtier ou un tag sur un mannequin pour un défilé de mode, ce n’est pas possible, tout comme lors de conférences avec un très grand nombre d’intervenants ou pour du live et des pièces de théâtre, quand les artistes sont déjà équipés de boîtiers HF et d’ears monitors.
Le deuxième point c’est la charge associée à l’installation et la calibration de systèmes qui nécessitent de nombreuses antennes ou caméras à câbler autour de la scène et c’est sans compter les interférences auxquelles l’installation va être ensuite soumise. Il y a donc un coût associé qui nous paraissait superflu et que nous souhaitions réduire en proposant une solution différente.
L’installation du K System
Rentrons dans le détail du K System pour mieux comprendre le boitier de tracking Kapta.
Kapta avec sa forme discrète se fond dans le décor pour un maximum de possibilités en un minimum de place. Les techniciens en charge de l’installation lui disent merci !
Kapta constitue le point d’entrée et le premier élément du K System. C’est un capteur composé de cinq caméras dont : Deux paires de caméra thermiques et infrarouge proche situées de chaque côté afin de mimer une sorte d’écart interoculaire et obtenir une vue 3D par stéréovision.
Elles sont associées à une caméra à spectre visible au centre. L’appareil obtient ainsi une suite de positions de tracking de coordonnées xyz. Un système très pratique pour suivre un performeur qui monterait sur un praticable ou un escalier.
Cinq cameras et deux petits projecteurs infrarouges permettent de reconstituer une vue 3D de ce qu’il se passe sur scène pour des données de tracking en xyz particulièrement précises.
Caméra thermique et caméra infrarouge fonctionnent sur le même principe : l’enregistrement des rayonnements infrarouges émis par les corps.
Cependant, une caméra thermique est sensible aux ondes émises avec des longueurs d’onde de l’ordre de la dizaine de microns qui sont directement liées à la température du corps qui les produit.
Tandis qu’une caméra infrarouge est sensible aux ondes émises avec des longueurs d’onde de l’ordre du micron.
Enfin cet appareil s’accroche grâce à des embases oméga avec des crochets cam lock. Par ailleurs, il est possible d’ajuster sa disposition grâce à de petites lyres qui permettent de le faire pendre puis de l’angler.
SLU : Y a-t-il des spécificités à prendre en compte lors de l’accroche ?
Paul Cales : Il faut simplement le fixer à l’œil pour qu’il puisse capter la zone dans laquelle on veut tracker. Il peut fonctionner entre 5 et 15 mètres de hauteur pour un plateau de 20 mètres x 12 mètres soit les dimensions d’un Zénith avec un seul appareil.
Pour les dates à Bercy d’Orelsan, il y avait un capteur pour le plateau et un pour le proscenium qui s’avançait dans le public. La distance maximale pour capter un performeur sans perte de précision se trouve entre 30 et 40 mètres, ce qui est amplement suffisant.
La réponse est simple et claire tout comme le caractère « plug-and-play » du Kapta. Le courant arrive en PowerCon et les données circulent jusqu’au serveur Kore via le réseau fibre du show, en RJ45, avec une prise Ethercon et un protocole propriétaire.
Paul précise : « Il est important de prévoir 1 Gigabit de débit minimum par Kapta pour n’avoir aucune perte sur les données des cinq caméras et obtenir un tracking fluide ».
Vidéo Tutoriel de l’installation du K System :
Le deuxième élément, Kore, est un serveur de dimension classique « 4 unités de haut » (C’est-à-dire les dimensions d’un média serveur classique ndlr). Il dispose de deux cartes réseau, une pour recevoir les informations de tracking d’un ou de deux Kapta (en cas d’agrandissement de la zone de captation) et une autre pour envoyer les données vers les systèmes tiers.
« Mettre un Boîtier ou un tag sur un mannequin pour un défilé de mode, ce n’est pas possible, tout comme lors de conférences avec un très grand nombre d’intervenants. » Paul Cales
Par ailleurs, le serveur Kore intègre une intelligence artificielle qui va traiter les données du Kapta pour faire la détection, le tracking et l’identification des performeurs présents dans la zone captée en 3D. « Aujourd’hui on le limite à 16 individus en simultané par serveur en mode live show mais pour des installations interactives et immersives, le serveur s’ouvre pour pouvoir tracker du public » précise Paul.
Il poursuit « Cette intelligence, que nous appelons aussi réseau de neurones, a été entraînée par « Deep Learning » sur des centaines de show en festivals, concerts, pièce de théâtre, parc à thème et événementiel où nous avions installé des capteurs pour récupérer des données et apprendre dans les conditions réelles de notre industrie à identifier et suivre des personnes.
Cet entraînement a d’ailleurs toujours lieu pour couvrir tous les cas possibles et faire que l’IA soit toujours plus robuste et performante comme dans des cas où il y a beaucoup d’effets spéciaux (pyrotechnie, fumée etc.).
Malgré un brouillard dense pour bien matérialiser les faisceaux, le K System trouve parfaitement sa cible pour une poursuite tout en finesse.
SLU : Cet entraînement prend combien de temps ?
Paul Cales : Il faut comprendre qu’entraîner de l’IA ce n’est pas une question de quantité mais plutôt une question de qualité des données qu’on lui met en entrée. C’est pour cela que cette étape est réalisée en interne chez Naostage. Pour « Le Mime et l’Etoile » au Puy du fou, cela a duré une nuit et on peut également réaliser cette étape lors de répétitions générales en résidence afin de palier toute éventualité.
Paul nous présente le patcheur d’assignation des détections. A ses pieds, le Kore, media serveur sur lequel repose le K System, s’intègre parfaitement dans un environnement technique grâce à son format standard 4U.
Le logiciel Kratos, troisième et dernier élément, affiche les différentes vues caméras (spectre visible, thermique, infrarouge, une scène 3D et le patcheur pour assigner les détections successives à des paramètres d’encodage.
Quand le système est installé et branché, vient alors la phase de calibration pour donner un référentiel commun aux systèmes tiers dans l’espace 3D dans lequel on veut travailler.
Pour définir ce référentiel, il faut marquer au sol un rectangle composé de 6 points et lui donner les dimensions réelles. Attention cela n’a rien à voir avec la zone de tracking, il s’agit uniquement d’un référentiel en xyz et de forme rectangulaire. La phase de calibration s’arrête là et le système est opérationnel en 20 minutes comme promis par le fabricant.
Le K Système a été lancé à l’export lors de l’ISE 2023 avec des partenariats en cours de contractualisation au Royaume-Uni, en Allemagne, en République Tchèque, en Turquie et des démos prévues en Asie.
L’utilisation
Le système peut dialoguer avec les systèmes tiers type console, média serveur ou système son spatialisé, etc. Entrer dans le champ entraîne une détection qui doit ensuite être assignée à une cible par un opérateur dans le « Target patcher ».
Il est également possible d’enclencher la fonction autoassign qui assigne automatiquement une détection à une cible par incrémentation. La console reçoit ensuite le serveur et envoie sa programmation.
Quand un sujet entre dans le champ de tracking, une détection automatique est effectuée. Un opérateur peut ensuite l’assigner à une « Target » permettant de faire le lien avec l’encodage prévu dans un système tiers. En bas de l’écran on observe les vues unitaires des cinq cameras.
Parmi les paramètres des cibles, on peut modifier le slider de « prédiction ». Cela signifie qu’en fonction de la vitesse et de l’accélération de la personne, le Kore enverra une position anticipée (« Predicted position ») à la console pour par exemple compenser l’inertie mécanique des moteurs sur les projecteurs asservis et garder le sujet dans le faisceau.
Paul ajoute : « Cela fonctionne à la manière d’un poursuiteur qui va prédire les mouvements d’un danseur. » Un paramètre utile pour donner plus ou moins d’inertie au faisceau en fonction des cas. Et enfin, il est possible pour l’opérateur de prendre la main sur le système depuis le logiciel Kratos avec sa souris ou directement sur un écran tactile.
Sur le “Mime et l’Etoile » le Kratos avec l’aide de l’IA du Kore, calcule une position anticipée, symbolisée par un petit carré, afin que le moteur du projecteur puisse suivre correctement la vitesse du vélo qui traverse la scène.
Pour interagir avec des systèmes tiers et créer des automations sur certaines actions accessibles depuis une « banque d’actions » ou en codant en Javascript (déclencher un effet quand un performeur rentre dans une zone, allumer tel effet, couper le micro du performer quand il sort de scène, etc.).
Pour déclencher ces actions, on les associe à des « actions area » (zone sur scène ndlr). Il existe quatre types de zones :
– Verte, où on autorise l’intelligence à détecter les personnes.
– Bleue, où toute personne détectée sera suivie.
– Rouge, où les sujets ne sont plus ni suivis, ni détectés.
– Jaune, pour déclencher une action lors du franchissement de la zone.
Il est possible de définir différentes zones dans l’espace afin de mieux gérer les options de tracking.
SLU : Un show peut se diviser en chapitres, comment vont se succéder les événements dans le temps ?
Paul Cales : On peut définir des groupes d’actions par thématiques et les activer au fur et à mesure. De plus, un autre module appelé KratOSC permet aujourd’hui de contrôler l’ensemble des éléments du Kratos via OSC. Donc on peut utiliser un Q-Lab, qui est un système de show control pour un spectacle time codé, et on va pouvoir activer/désactiver des zones et des actions au fur et à mesure du show.
L’OSC permet donc de recevoir des messages pour une communication bilatérale entre les systèmes. Un vrai outil de paramétrage de show et d’automation qui permet à tous les métiers de créer des scénarios complexes.
Le beaKon tags radio en complément à la vision
Soucieux de répondre au mieux aux besoins de leur clients, des tags radio BeaKon seront officiellement lancés dès cet automne en complément à la vision. Cependant, Paul Cales confirme qu’ils sont déjà disponibles pour être utilisés. Ils permettent une identification persistante et un tracking en dehors de la zone de vue.
Une option véritablement intéressante pour des shows qui auraient besoin d’une automatisation complète du système car prévue sans opérateur. « Le fait d’être associé à la vision nous permet de passer outre des difficultés qui pourraient survenir du fait d’interférences radio. » analyse Paul.
On ne peut que saluer le caractère complet de cette solution qui, forte d’une équipe particulièrement réactive et créative, est au plus proche des besoins évolutifs du secteur.
So Floyd
Retour en photo sur la tournée So Floyd qui se déroule actuellement en France et utilise la solution de tracking Naostage pour gérer les poursuites.
C’est un nouveau système qui génère des interrogations du fait de l’absence de tags physiques et sur ses sujets qui évoluent parfois dans des conditions extrêmes (brouillard, effet). L’équipe Naostage en a conscience et en réponse propose une utilisation de l’IA particulièrement innovante et entraînée de manière intensive pour pallier toute éventualité comme pourrait le faire un poursuiteur finalement.
Les gains sont notables en matière de temps d’installation et un seul opérateur est nécessaire pour assurer une poursuite qui peut monter jusqu’à 16, voire 32, cibles en simultané. A l’inverse, Kapta, Kore et Kratos permettent de créer un effet inédit de multiples faisceaux sur une seule cible.
Ce protocole communique de manière unilatérale avec des systèmes tiers type console, média serveur mais propose aussi un dialogue en OSC. Mais le système va encore plus loin en prévoyant des possibilités de programmation détaillées pour contrôler projecteurs, caméra PTZ, dalle LEDs ou système son spatialisé.
De la comédie musicale, au studio virtuel, du show live en festival à la conférence, du concert au parc à thème, tous les secteurs sont concernés par cette avancée technologique remarquable que nous saluons par un prix de l’innovation SLU.
Pour plus d’informations sur :
– Naostage ou pour réserver une démo
– Facebook
– Instagram
– Linkedin
– Youtube
