{rfName}
Pr

Indexado en

Licencia y uso

Icono OpenAccess

Altmetrics

Investigadores/as Institucionales

Garcia, BAutor (correspondencia)Lopez-Fernandez, LAutor o CoautorGortazar, FAutor o CoautorGallego, MAutor o Coautor

Compartir

27 de septiembre de 2022
Publicaciones
>
Artículo

Practical Evaluation of VMAF Perceptual Video Quality for WebRTC Applications

Publicado en: Electronics. 8 (8): 854- - 2019-08-01 8(8), DOI: 10.3390/electronics8080854

Autores: García, B; López-Fernández, L; Gortázar, F; Gallego, M

Afiliaciones

Univ Rey Juan Carlos, Comp Sci Comp Architecture Programming Languages, Mostoles 28933, Spain - Autor o Coautor
Univ Rey Juan Carlos, Theory Signal & Commun & Telemat Syst & Comp, Fuenlabrada 28943, Spain - Autor o Coautor

Resumen

WebRTC is the umbrella term for several emergent technologies aimed to exchange real-time media in the Web. Like other media-related services, the perceived quality of WebRTC communication can be measured using Quality of Experience (QoE) indicators. QoE assessment methods can be classified as subjective (users' evaluation scores) or objective (models computed as a function of different parameters). In this paper, we focus on VMAF (Video Multi-method Assessment Fusion), which is an emergent full-reference objective video quality assessment model developed by Netflix. VMAF is typically used to assess video streaming services. This paper evaluates the use of VMAF in a different type of application: WebRTC. To that aim, we present a practical use case built on the top of well-known open source technologies, such as JUnit, Selenium, Docker, and FFmpeg. In addition to VMAF, we also calculate other objective QoE video metrics such as Visual Information Fidelity in the pixel domain (VIFp), Structural Similarity (SSIM), or Peak Signal-to-Noise Ratio (PSNR) applied to a WebRTC communication in different network conditions in terms of packet loss. Finally, we compare these objective results with a subjective evaluation using a Mean Opinion Score (MOS) scale to the same WebRTC streams. As a result, we found a strong correlation of the subjective video quality perceived in WebRTC video calls with the objective results computed with VMAF and VIFp in comparison with SSIM and PSNR and their variants.

Palabras clave

QoeVideo qualityVmafWebrtc

Indicios de calidad

Impacto bibliométrico. Análisis de la aportación y canal de difusión

El trabajo ha sido publicado en la revista Electronics debido a la progresión y el buen impacto que ha alcanzado en los últimos años, según la agencia WoS (JCR), se ha convertido en una referencia en su campo. En el año de publicación del trabajo, 2019, se encontraba en la posición 125/266, consiguiendo con ello situarse como revista Q2 (Segundo Cuartil), en la categoría Engineering, Electrical & Electronic. Destacable, igualmente, el hecho de que la Revista está posicionada en el Cuartil Q2 para la agencia Scopus (SJR) en la categoría Computer Networks and Communications.

Desde una perspectiva relativa, y atendiendo al indicador del impacto normalizado calculado a partir de las Citas Mundiales proporcionadas por WoS (ESI, Clarivate), arroja un valor para la normalización de citas relativas a la tasa de citación esperada de: 1.32. Esto indica que, de manera comparada con trabajos en la misma disciplina y en el mismo año de publicación, lo ubica como trabajo citado por encima de la media. (fuente consultada: ESI 13 Nov 2025)

Esta información viene reforzada por otros indicadores del mismo tipo, que aunque dinámicos en el tiempo y dependientes del conjunto de citaciones medias mundiales en el momento de su cálculo, coinciden en posicionar en algún momento al trabajo, entre el 50% más citados dentro de su temática:

  • Media Ponderada del Impacto Normalizado de la agencia Scopus: 1.42 (fuente consultada: FECYT Mar 2025)

De manera concreta y atendiendo a las diferentes agencias de indexación, el trabajo ha acumulado, hasta la fecha 2025-12-15, el siguiente número de citas:

  • WoS: 27
  • Scopus: 35
  • Google Scholar: 56

Impacto y visibilidad social

Desde la dimensión de Influencia o adopción social, y tomando como base las métricas asociadas a las menciones e interacciones proporcionadas por agencias especializadas en el cálculo de las denominadas “Métricas Alternativas o Sociales”, podemos destacar a fecha 2025-12-15:

  • El uso, desde el ámbito académico evidenciado por el indicador de la agencia Altmetric referido como agregaciones realizadas por el gestor bibliográfico personal Mendeley, nos da un total de: 33.
  • La utilización de esta aportación en marcadores, bifurcaciones de código, añadidos a listas de favoritos para una lectura recurrente, así como visualizaciones generales, indica que alguien está usando la publicación como base de su trabajo actual. Esto puede ser un indicador destacado de futuras citas más formales y académicas. Tal afirmación es avalada por el resultado del indicador “Capture” que arroja un total de: 32 (PlumX).

Con una intencionalidad más de divulgación y orientada a audiencias más generales podemos observar otras puntuaciones más globales como:

  • El Score total de Altmetric: 2.
  • El número de menciones en la red social X (antes Twitter): 2 (Altmetric).

Es fundamental presentar evidencias que respalden la plena alineación con los principios y directrices institucionales en torno a la Ciencia Abierta y la Conservación y Difusión del Patrimonio Intelectual. Un claro ejemplo de ello es:

  • El trabajo se ha enviado a una revista cuya política editorial permite la publicación en abierto Open Access.

Análisis de liderazgo de los autores institucionales

Existe un liderazgo significativo ya que algunos de los autores pertenecientes a la institución aparecen como primer o último firmante, se puede apreciar en el detalle: Primer Autor (García Sánchez, Beatriz) y Último Autor (Gallego Carrillo, Micael).

el autor responsable de establecer las labores de correspondencia ha sido García Sánchez, Beatriz.

Reconocimientos ligados al ítem

This work has been supported by the European Commission under project ElasTest (H2020-ICT-10-2016, GA-731535); by the Regional Government of Madrid (CM) under project EDGEDATA-CM (P2018/TCS-4499) cofunded by FSE and FEDER; by the Spanish Government under projects LERNIM (RTC-2016-4674-7) and BugBirth (RTI2018-101963-B-I00) cofunded by the Ministry of Economy and Competitiveness, FEDER and AEI.