Fast HEVC-to-VVC video transcoding based on a machine learning approach

Abstract

Durante esta última década, y gracias al desarrollo vertiginoso que ha experimentado el campo de la codificación de vídeo, se han desarrollado una amplia variedad de aplicaciones que han modificado sustancialmente la forma en la que los contenidos audiovisuales son consumidos. El uso de plataformas como Youtube, Netflix o HBO son claros ejemplos de ello, así cómo la creciente demanda de contenido multimedia, que ha significado más del 75 % del total de tráfico de Internet en 2020. Por esta razón, se hace necesario mejorar las prestaciones de los codificadores para comprimir más la señal de vídeo, evitando degradar la calidad de imagen. En 2013, se produjo el lanzamiento del estándar de codificación H.265/High Efficiency Video Coding (HEVC), pretendiendo sustituir a su predecesor, H.264/Advanced Video Coding (AVC), al lograr duplicar su tasa de compresión manteniendo la misma calidad subjetiva. Sin embargo, esta mayor eficiencia de codificación fue penalizada en el elevado coste computacional que requiere el códec de HEVC, especialmente el codificador. Por este motivo, en la industria y el campo científico se centraron en reducir la complejidad computacional del codificador para que la aplicabilidad práctica de este estándar en escenarios reales fuera factible, mediante el uso de técnicas basadas en aprendizaje automático y de aceleración de la codificación, así como del diseño de algoritmos basados en hardware. No obstante, el crecimiento exponencial de la demanda de contenido multimedia de mayor calidad y resolución como 4K, o incluso 8K, hizo prever que HEVC necesitaría ser reemplazado por un nuevo estándar pocos años después. Por esta razón, las organizaciones internacionales encargadas de regular la estandarización de los códecs de vídeo comenzaron el desarrollo del nuevo estándar, inicialmente conocido como H.266, y más tarde como Versatile Video Coding (VVC). Con el objetivo de mejorar la eficiencia de compresión respecto a HEVC, las nuevas herramientas de codificación se implementaron y evaluaron sobre el códec denominado Joint Exploration Model (JEM), incrementando un 30 % la compresión para una misma calidad objetiva. Sin embargo, estas herramientas introdujeron enormes costes computacionales, elevando el tiempo de codificación hasta 12 veces comparado con HEVC en el escenario random access. Por esta razón, la comunidad científica y la industria del sector volcaron sus esfuerzos en conseguir un codificador con un coste computacional aceptable, que redujese el tráfico de vídeo generado en la red y que fuera capaz de dar soporte a la nueva generación de contenidos de vídeo. Así, tras migrar los algoritmos más prometedores a un nuevo y más rápido códec llamado VVC Test Model (VTM) e integrar nuevas herramientas, se produciría la publicación oficial del estándar VVC en 2020. Tradicionalmente, a la vez que se han ido especificando los diferentes códecs de vídeo, siempre ha surgido la necesidad de transformar contenido de vídeo al nuevo formato. Este proceso, denominado transcodificación, convierte una señal de vídeo en otra modificando sus características, como su bit-rate o resolución. De hecho, las plataformas de vídeo anteriormente mencionadas hacen un uso masivo de los transcodificadores de vídeo para poner a disposición de sus usuarios un mismo contenido en diferentes formatos, adaptándose así a las características de la red y de los terminales de los usuarios, lo que provoca una alta demanda computacional y de almacenamiento. Sin embargo, el coste computacional de VVC es tan elevado que un transcodificador tradicional de HEVC a VVC sería inviable. Con el objetivo de reducir el coste computacional, las soluciones basadas en aprendizaje automático han demostrado alcanzar buenos resultados tanto en entornos de aceleración como de transcodificación en estándares anteriores. Estas soluciones involucran un proceso de recopilación de datos y su posterior análisis para la construcción de modelos de predicción precisos que logran ahorros de tiempo significativos. En el caso de la transcodificación, el origen de estos datos se obtiene del flujo de vídeo de origen, y la correlación existente entre esta información y las decisiones tomadas por el codificador del formato de destino, es la clave para diseñar un modelo de predicción que identifique los patrones adecuados para tomar una decisión similar a la óptima que se habría obtenido mediante un esquema de fuerza bruta en un transcodificador tradicional. Por todo lo expuesto anteriormente, la finalidad de esta Tesis Doctoral es proponer diferentes técnicas de transcodificación para un transcodificador heterogéneo de HEVC a VVC, que sea eficiente en términos de compresión y reduzca considerablemente el coste computacional de un transcodificador tradicional. Así, el transcodificador propuesto se compone de dos etapas: el decodificador de HEVC, que permite extraer información del flujo de vídeo original codificado usando HEVC, y el codificador de VVC, donde el uso de técnicas de aprendizaje automático permite acelerar la toma de decisiones gracias a la información de la etapa anterior. En este sentido, los algoritmos propuestos se centran en asistir la toma de decisiones en el particionamiento, dado que encontrar el particionamiento óptimo mediante esquemas de fuerza bruta es la parte computacional más costosa de un transcodificador. En definitiva, el algoritmo consta de un clasificador Naïve-Bayes para el primer nivel de particionamiento en quadtree, seguido de un mapeo de las decisiones tomadas en HEVC para el resto de niveles, reduciendo significativamente el tiempo de transcodificación. La evaluación del transcodificador desarrollado en escenarios random access muestra una reducción del tiempo total de codificación del 57.08 % con respecto al transcodificador tradicional en cascada, con una penalización en términos de BD-rate de tan sólo un 2.40 %. De este modo, esta Tesis Doctoral presenta uno de los algoritmos de transcodificación heterogénea más rápido de la literatura, siendo el primero que involucra la transcodificación de vídeo HEVC al nuevo estándar de codificación de vídeo, VVC.