Por qué Ash Shah considera que la IA abre una nueva etapa para el vídeo en directo
Ash Shah, consejero delegado de SyncWords, explica cómo los subtítulos, la traducción y el doblaje con IA pueden ampliar el alcance del vídeo en directo y adaptarse a los nuevos flujos FAST y de streaming.
Ashish Shah · 22 de julio de 2024 
Aunque existen formas asequibles de añadir subtítulos y doblaje al vídeo bajo demanda, hacerlo en streaming resulta más complejo. Los flujos en directo plantean requisitos técnicos específicos y los métodos tradicionales basados en codificadores de hardware pueden resultar costosos.
SyncWords utiliza IA y procesamiento audiovisual en la nube para generar subtítulos, traducciones y doblaje en tiempo real e incorporarlos a emisiones en directo. Los protocolos modernos como HLS permiten transportar pistas de subtítulos en numerosos idiomas. Los subtítulos traducidos de SyncWords cubren actualmente 163 idiomas de destino y el doblaje con Vocalics, 86 idiomas.
Tras obtener $2 millones de financiación inicial, Ash buscaba ampliar el uso de subtítulos y traducciones en directo para que más audiencias pudieran seguir el vídeo en su idioma.
Plataforma integral de SyncWords para accesibilidad e inclusión
P: ¿Puede describir la oportunidad de mercado que persigue SyncWords y los problemas que resuelve para sus clientes?
R: Gran parte del streaming en directo de deportes, noticias, videojuegos y eventos todavía se publica sin subtítulos ni traducción hablada. Las personas sordas o con discapacidad auditiva necesitan subtítulos, y muchas audiencias prefieren seguir el contenido en otro idioma. En Estados Unidos, Canadá, Australia, la Unión Europea y otros territorios existen obligaciones de accesibilidad que corresponden a los proveedores y propietarios del contenido. Las soluciones de SyncWords ayudan a generar el resultado necesario para apoyar esas obligaciones y ampliar el alcance lingüístico.
El contenido en directo debe subtitularse y traducirse en tiempo real, con texto y audio incorporados al flujo de vídeo. A diferencia del VOD basado en archivos, el streaming presenta retos de ingestión, procesamiento y entrega continuos. SyncWords creó una plataforma en la nube para resolverlos sin depender de un codificador de subtítulos dedicado.
P: Su empresa había cambiado de rumbo anteriormente. ¿Qué tenía de especial este cambio?
R: En la era de la IA, cambiar de rumbo con rapidez puede ofrecer una ventaja técnica, pero también existe el riesgo de entrar en un mercado lleno de productos similares sin resolver un problema distinto.
Cuando creamos SyncWords, el producto se centraba en subtítulos para vídeo bajo demanda. También desarrollamos subtítulos y traducciones en forma de widget para eventos en directo. En aquel momento no había doblaje en directo, solo texto. Durante la pandemia, ese formato ayudó a numerosas organizaciones a celebrar eventos virtuales.
Sin embargo, muchas audiencias preferían ver los subtítulos y escuchar el doblaje dentro del reproductor. Mis cofundadores Alex Dubinsky y Sam Cartsos llegaron a la misma conclusión, y en 2022 cambiamos el enfoque para crear una plataforma de subtítulos y doblaje en directo dentro del reproductor. Lanzamos la plataforma en diciembre de 2023 y después incorporamos nuevos clientes. Financiamos gran parte del desarrollo con los ingresos del producto anterior y obtuvimos $2 millones de financiación inicial.
Equipo fundador de SyncWords: Ashish Shah, Sam Cartsos y Alex Dubinsky, cerca de la sede de la empresa en New York, USA
P: ¿Qué factores permitieron resolver un problema tecnológico tan exigente?
R: Desarrollar software para streaming en directo exige trabajar con protocolos continuos muy distintos del formato basado en archivos del vídeo bajo demanda. Tuvimos que crear internamente buena parte del procesamiento necesario para el flujo en directo.
La arquitectura fue esencial. Adoptamos Kubernetes en la nube para escalar y prestamos especial atención a la experiencia de usuario y a la calidad de los subtítulos y el doblaje generados con IA. Los diccionarios ASR personalizados preparan nombres y terminología; los glosarios controlan las formulaciones preferidas en cada idioma. También integramos proveedores especializados de reconocimiento del habla y traducción.
El equipo de SyncWords reúne experiencia en streaming, vídeo, IA, subtitulado y voz. Las aportaciones de Alex fueron fundamentales para crear una oferta centrada en subtítulos y doblaje en tiempo real y en la escalabilidad mediante Kubernetes.
P: ¿Cuáles son las características principales de su tecnología?
R: SyncWords se centra en resolver los requisitos técnicos del subtitulado, la traducción y el doblaje para streams y eventos en directo.
Protocolos preparados para el streaming actual: SyncWords admite RTMP(S), HLS y SRT. SRT, o Secure Reliable Transport, se utiliza cada vez más entre broadcasters y plataformas OTT.
Cobertura lingüística y variedad de voces: Los subtítulos en directo admiten 90 idiomas de entrada y se traducen a 163 idiomas de destino. Vocalics ofrece doblaje en 86 idiomas con 900+ voces y opciones de acento regional. Todo el procesamiento se realiza en tiempo real.
Integración con el flujo existente: SyncWords se incorpora a los flujos de streaming sin exigir cambios en el software de producción. La solución también es compatible con AWS Elemental MediaPackage, MediaLive y MediaConnect.
Especificaciones técnicas para streaming: La solución en la nube admite HD y 4K, distintos canales de audio, identificadores PID y control mediante API para programación en directo, incluida la que funciona las 24 horas.
Subtitulado, traducción y doblaje con IA para streams HLS, RTMP(S) y SRT
P: ¿Seguirá creciendo la demanda de subtítulos y traducciones en directo?
R: Sí. La cantidad de vídeo en directo continúa creciendo y, con ella, la necesidad de subtítulos y traducciones. Las normas de accesibilidad también exigen que los proveedores conozcan y atiendan las obligaciones que les correspondan. Además, las audiencias esperan experiencias de visualización más inclusivas.
Plataformas como Netflix, Amazon Prime y Hulu han acostumbrado a las audiencias a disponer de varias opciones de subtítulos y audio. Esa expectativa se está trasladando a la programación en directo, por lo que la demanda de localización seguirá creciendo.
