Pourquoi Ash Shah, PDG de SyncWords, voit une renaissance du streaming vidéo en direct grâce à l’IA
Ash Shah explique comment le sous-titrage, la traduction et le doublage par IA peuvent étendre la portée de la vidéo en direct et accompagner l’évolution des flux FAST et du streaming.
Ashish Ashish · 22 juillet 2024 
Les plateformes de streaming et les créateurs de contenu disposent de solutions abordables et pratiques pour ajouter des sous-titres et du doublage aux vidéos à la demande. En direct, l’opération est plus complexe : les workflows imposent des contraintes techniques particulières, tandis que les méthodes traditionnelles fondées sur des encodeurs matériels peuvent être coûteuses.
SyncWords utilise l’IA et le traitement audiovisuel cloud pour générer des sous-titres, des traductions et du doublage en temps réel, puis les intégrer aux diffusions en direct. Les protocoles modernes tels que HLS permettent de transporter des pistes de sous-titres dans de nombreuses langues. Les sous-titres traduits de SyncWords couvrent actuellement 163 langues cibles et le doublage Vocalics, 86 langues.
Après avoir obtenu 2 millions de dollars de financement initial, Ash cherchait à étendre l’utilisation des sous-titres et des traductions en direct afin qu’un plus grand nombre de publics puissent suivre les vidéos dans leur langue.
Plateforme complète SyncWords pour l’accessibilité et l’inclusion
Q : Pouvez-vous décrire l’opportunité de marché visée par SyncWords et les problèmes que l’entreprise résout pour ses clients ?
Réponse : Une grande partie des contenus en direct liés au sport, aux actualités, aux jeux vidéo et aux événements est encore diffusée sans sous-titres ni traduction vocale. Les personnes sourdes ou malentendantes ont besoin de sous-titres, et de nombreux publics préfèrent suivre les contenus dans une autre langue. Aux États-Unis, au Canada, au Royaume-Uni, dans l’Union européenne et dans d’autres pays, les fournisseurs et propriétaires de contenus doivent répondre à des obligations d’accessibilité. Les solutions SyncWords aident à produire les formats nécessaires pour soutenir ces obligations et étendre la portée internationale.
Le contenu en direct doit être sous-titré en temps réel, avec le texte et l’audio intégrés au flux vidéo. Contrairement à la VOD fondée sur des fichiers, le streaming présente des défis continus d’ingestion, de traitement et de livraison. SyncWords a créé une plateforme cloud pour les résoudre sans dépendre d’un encodeur de sous-titres dédié.
Q : Votre entreprise a effectué le changement d’orientation mentionné. Qu’avait-il de particulier ?
Réponse : Note éditoriale : la citation attribuée ci-dessous est conservée mot pour mot dans sa version anglaise originale afin de respecter précisément les propos et leur attribution. In the AI era, companies have to pivot to survive, and if you pivot quickly enough, it can lead to a huge technical advantage for your company. The danger lies in using AI to become another “me too” product. And this can happen if a company jumps into a competitive market where many similar products are already available.
When we formed SyncWords, our product back then was captions and subtitles for video-on-demand, which was a competitive market, and although we had innovative technology to automate the process, it was a competitive market. We also developed a product for live transcribing events in real-time in the form of widget captions and translations. No live dubs at that time, just text. And during COVID, everything seemed to sell, even these widget captions. You can see that we acquired some great customer logos during COVID.
However, of course, 99% of our customers preferred viewing subtitles and audio dubs inside a video player, and not outside in a widget. My fellow co-founders, Alex Dubinsky and Sam Cartsos, also realized this, and in 2022 we pivoted to build a platform for in-player live subtitles and dubs for video streaming. We launched the platform in December2023, and have since signed numerous new customers. Remarkably, we bootstrapped our company for most of the product development using the revenues from our legacy product. To date, we have secured $2 million in seed funding, and are looking to raise a new round after we achieve certain milestones, which we are confident of meeting given the demand and the new business from the new platform.
Équipe fondatrice de SyncWords : Ashish Shah, Sam Cartsos et Alex Dubinsky, devant le siège de l’entreprise à New York, aux États-Unis
Q : Quels facteurs ont permis de résoudre un problème technologique aussi exigeant ?
Réponse : Le développement de logiciels pour le streaming en direct exige de travailler avec des protocoles continus, très différents du format sur fichiers de la vidéo à la demande. Nous avons dû créer en interne une grande partie du traitement supervisé des flux en direct.
L’architecture a été essentielle. Nous avons adopté Kubernetes dans le cloud pour évoluer et accordé une attention particulière à l’expérience utilisateur ainsi qu’à la qualité des sous-titres et du doublage générés par IA. Les dictionnaires ASR personnalisés préparent les noms et la terminologie ; les glossaires contrôlent les formulations privilégiées dans chaque langue. Nous avons également intégré des prestataires spécialisés dans la reconnaissance de la parole et la traduction.
L’équipe SyncWords réunit des compétences dans le streaming, la vidéo, l’IA, le sous-titrage et la voix. Les contributions d’Alex ont été essentielles pour créer une offre axée sur le sous-titrage et le doublage en temps réel, ainsi que sur l’évolutivité via Kubernetes.
Q : Quelles sont les principales caractéristiques de votre technologie ?
Réponse : SyncWords se concentre sur les exigences techniques du sous-titrage, de la traduction et du doublage pour les flux et événements en direct.
Protocoles adaptés au streaming actuel : SyncWords prend en charge RTMP, HLS et SRT. SRT, ou Secure Reliable Transport, est de plus en plus utilisé par les diffuseurs et les plateformes OTT.
Couverture linguistique et variété de voix : Le sous-titrage en direct prend en charge 90 langues sources, avec une diffusion vers 163 langues cibles. Vocalics propose le doublage dans 86 langues avec plus de 900 voix et des options d’accent régional. L’ensemble du traitement s’effectue en temps réel.
Intégration aux workflows existants : SyncWords s’intègre aux workflows de streaming sans exiger de modification du logiciel de production. La solution est également compatible avec AWS Elemental MediaPackage, MediaLive et CloudFront.
Caractéristiques techniques pour le streaming : La solution cloud prend en charge la HD et la 4K, plusieurs canaux audio, des identifiants PID et le contrôle par API pour la programmation en direct, y compris les services diffusés 24 h/24.
Sous-titrage, traduction et doublage par IA pour les flux HLS, RTMP et SRT
Q : La demande de sous-titres et de traductions en direct va-t-elle continuer à croître ?
Réponse : Absolutely, and here’s why. First, the amount of live video content is skyrocketing. More live streams mean more need for captions and translations. Second, new accessibility and inclusivity rules are pushing live streaming providers to step up their game. They need to meet these standards or face hefty fines. And lastly, it’s what viewers want. People crave a more engaging and inclusive viewing experience.
Des plateformes comme Netflix, Amazon Prime et Hulu ont habitué les publics à disposer de plusieurs options de sous-titres et d’audio. Cette attente s’étend désormais à la programmation en direct, ce qui devrait soutenir la demande de localisation.
