Por que Ash Shah considera que a IA abre uma nova etapa para o vídeo em direto
Ash Shah, diretor executivo de SyncWords, explica como as legendas, a tradução e a dobragem com IA podem alargar ou alcance do vídeo em direto e adaptarse aos novos fluxos FAST e de streaming.
Ashish Shah · 22 de julho de 2024 
Embora existem formas acessíveis de adicionar legendas e dobragem ao vídeo a pedido, fazê-lo em streaming é mais complexo. Os fluxos em direto plantean requisitos técnicos específicos e os métodos tradicionais baseados em codificadores de hardware podem resultar costosos.
SyncWords utiliza IA e processamento audiovisual na cloud para gerar legendas, traduções e dobragem em tempo real e incorporarlos a transmissões em direto. Os protocolos modernos como HLS permitem transportar pistas de legendas em numerosos idiomas. As legendas traduzidas de SyncWords cubren atualmente 163 idiomas de destino e a dobragem com Vocalics, 86 idiomas.
Após obter $2 milhões de financiação inicial, Ash procurava alargar o uso de legendas e traduções em direto para que mais públicos pudessem continuar o vídeo no seu idioma.
Plataforma integral de SyncWords para acessibilidade e inclusão
P: Pode describir a oportunidade de mercado que persigue SyncWords e os problemas que resuelve para seus clientes?
R: Grande parte do streaming em direto de desporto, notícias, videojuegos e eventos ainda se publica sem legendas nem tradução hablada. As pessoas surdas ou com deficiência auditiva precisam legendas, e muitas públicos prefieren continuar o conteúdo em outro idioma. Em Estados Unidos, Canadá, Austrália, a União Europeia e outros territorios existem obrigações de acessibilidade que corresponden aos fornecedores e propietarios do conteúdo. As soluções de SyncWords ajudam a gerar o resultado necessário para apoiar essas obrigações e alargar ou alcance linguístico.
O conteúdo em direto deve subtitularse e ser traduzidas em tempo real, com texto e áudio incorporados ao fluxo de vídeo. A diferença do VOD baseado em ficheiros, o streaming apresenta desafios de ingestiun, processamento e entrega continuos. SyncWords criou uma plataforma na cloud para resolverlos sem depender de um codificador de legendas dedicado.
P: Seu empresa havia alterado de rumbo anteriormente. Que tinha de especial este alteração?
R: na era da IA, cambiar de rumbo com rapidez pode oferecer uma vantagem técnica, mas também existe o risco de entrar em um mercado cheio de produtos similares sem resolver um problema distinto.
Quando creamos SyncWords, o produto se centraba em legendas para vídeo a pedido. Também desarrollamas legendas e traduções em forma de widget para eventos em direto. Em aquele momento não havia dobragem em direto, apenas texto. Durante a pandemia, esse formato ajudou a numerosas organizações a celebrar eventos virtuais.
Não entanto, muitas públicos preferiam ver as legendas e ouvir a dobragem dentro do reproductor. Mis cofundadores Alex Dubinsky e Sam Cartsos chegaram à mesma conclusão, e em 2022 cambiamos o abordagem para criar uma plataforma de legendas e dobragem em direto dentro do reproductor. Lanzamos a plataforma em diciembre de 2023 e depois incorporamos novos clientes. Financiamos grande parte do desenvolvimento com os receitas do produto anterior e obtuvimos $2 milhões de financiação inicial.
Equipa fundador de SyncWords: Ashish Shah, Sam Cartsos e Alex Dubinsky, perto da sede da empresa em New York, UTILIZA
P: Que factores permitiram resolver um problema tecnológico tan exigente?
R: Desenvolver software para streaming em direto exige trabalhar com protocolos continuos muito diferentes do formato baseado em ficheiros do vídeo a pedido. Tuvimos que criar internamente buena parte do processamento necessário para o fluxo em direto.
A arquitetura foi essencial. Adoptamos Kubernetes na cloud parà escalar e prestamos especial atenção à experiência do utilizador e à qualidade das legendas e a dobragem gerada com IA. Os dicionários ASR personalizados preparam nomes e terminologia; os glossários controlam as formulações preferidas em cada idioma. Também integramos fornecedores especializados de reconhecimento do fala e tradução.
A equipa de SyncWords reúne experiência em streaming, vídeo, IA, legendagem e voz. As aportações de Alex foram fundamentales para criar uma oferta centrada em legendas e dobragem em tempo real e nà escalabilidade através de Kubernetes.
P: Quais são as características principais do seu tecnologia?
R: SyncWords se centra em resolver os requisitos técnicos da legendagem, a tradução e a dobragem para streams e eventos em direto.
Protocolos preparados para o streaming atual: SyncWords suporta RTMP(S), HLS e SRT. SRT, ou Secure Reliable Transport, se utiliza cada vez mais entre broadcasters e plataformas OTT.
Cobertura linguística e variedade de vozes: As legendas em direto suportam 90 idiomas de entrada e se traduzem para 163 idiomas de destino. Vocalics oferece dobragem em 86 idiomas com 900+ vozes e opções de acento regional. Todo o processamento se realiza em tempo real.
Integração com o fluxo existente: SyncWords se incorpora aos fluxos de streaming sem exigir alterações no software de produção. A solução também é compatível com AWS Elemental MediaPackage, MediaLive e MediaConnect.
Especificações técnicas para streaming: A solução na cloud suporta HD e 4K, diferentes canais de áudio, identificadores PID e controlo através de API para programação em direto, incluída a que funciona as 24 horas.
Legendagem, tradução e dobragem com IA para streams HLS, RTMP(S) e SRT
P: Seguirá a crescer a procura de legendas e traduções em direto?
R: Sim. A quantidade de vídeo em direto continua a crescer e, com ela, a necessidade de legendas e traduções. As normas de acessibilidade também exigem que os fornecedores conheçam e cumpram as obrigações que lhes correspondam. Além disso, os públicos esperam experiências de visualização mais inclusivas.
Plataformas como Netflix, Amazon Prime e Hulu têm habituado aos públicos a disponer de várias opções de legendas e áudio. Essa expectativa se está trasladando à programação em direto, pelo que a procura de localização seguirá a crescer.
