Evaluación de la calidad de la información en español, en YouTube y Facebook, para pacientes con diabetes tipo 2
Table of Contents
Resumen #
Introducción: Los hispanohablantes recurren a las redes sociales para obtener información sobre salud, con contenidos de distinta calidad. Este estudio evalúa la fiabilidad, integridad y calidad de la información sobre diabetes tipo 2 (DT2) disponible en vídeos en español en YouTube y Facebook. Métodos: Estudio observacional analítico que incluyó vídeos en español sobre DT2 disponibles en Facebook y YouTube. Se describen las características generales, la interacción y las fuentes generadoras. Se utilizaron herramientas estandarizadas para evaluar la fiabilidad, integridad y calidad general. Resultados: Se incluyeron 172 vídeos, 90 de Youtube® y 82 de Facebook®. La media de visualizaciones fue de 1725 (RIC 213–10 000), con una duración media de 5,93 minutos (RIC 3,2–16,8) y un tiempo en internet de 834 días (RIC 407–1477). La mayoría de los vídeos fueron subidos por usuarios independientes (58,72%). La fiabilidad (evaluada con la herramienta DISCERN) tuvo una media de 3 (RIC 2-3), la completitud (puntuación de contenido) tuvo una media de 2 (RIC 1-3) y la calidad global, evaluada con la herramienta Global Quality Score (GQS) tuvo una media de 3 (RIC 3-4). Utilizando una clasificación global de “fiabilidad subjetiva”, el 92,4% de los vídeos se consideraron fiables. Se observó una mayor integridad en los videos de Facebook (p < .001). La confiabilidad fue mayor en los videos de organizaciones gubernamentales o de noticias. Conclusión: Nuestros resultados -indicaron los investigadores- sugieren que los videos sobre DT2 en español en redes sociales como YouTube y Facebook tienen buena confiabilidad y calidad, con mayor exhaustividad en el contenido en los videos de Facebook y mayor confiabilidad en los videos de organizaciones gubernamentales o de noticias.
El equipo científico incluyó: Dra. María Juliana Soto-Chávez, Departamento de Medicina Interna, Pontificia Universidad Javeriana, Bogotá, Colombia; Candida Díaz-Brochero, Departamento de Medicina Interna, Pontificia Universidad Javeriana, Bogotá, Colombia; Departamento de Medicina Interna, Hospital Universitario San Ignacio, Bogotá, Colombia; Ana María Gómez-Medina, Departamento de Medicina Interna, Pontificia Universidad Javeriana, Bogotá, Colombia; Unidad de Endocrinología, Hospital Universitario San Ignacio, Bogotá, Colombia; Diana Cristina Henao, Departamento de Medicina Interna, Pontificia Universidad Javeriana, Bogotá, Colombia; Unidad de Endocrinología, Hospital Universitario San Ignacio, Bogotá, Colombia & Oscar Mauricio Muñoz, Departamento de Medicina Interna, Pontificia Universidad Javeriana, Bogotá, Colombia.
Introducción #
La diabetes tipo 2 (DM2) es la principal
enfermedad metabólica a nivel mundial, que afecta a más de 460 millones de personas en todo el mundo, con una prevalencia esperada del 10% para el año 2045. Su asociación con complicaciones oculares, renales y cardiovasculares ha generado un aumento significativo de la discapacidad y la mortalidad prematura a nivel global, afectando especialmente a la población hispana y a las personas que viven en países de bajos ingresos.
En los últimos años se ha puesto énfasis en brindar una educación adecuada a los pacientes con diabetes tipo 2 para incentivar su automanejo, reducir las complicaciones tanto agudas como a largo plazo, mejorar el control metabólico y reducir los riesgos asociados a la enfermedad. En relación a la educación, los pacientes con enfermedades crónicas como la diabetes tipo 2 han encontrado en Internet y particularmente en las redes sociales una fuente importante de información sobre temas de salud. Según datos del
Pew Research Center, durante el año 2021, siete de cada 10 estadounidenses utilizaron redes sociales. De estos, el 81% utilizó YouTube y el 69% Facebook, siendo las redes sociales más populares en EE. UU. Datos similares se han reportado en América Latina al 2021, entre el 63 y el 70% de la población estaba utilizando redes sociales, siendo las principales Facebook (59%), WhatsApp (40%) y Youtube (32%).
Estudios recientes sugieren que las redes sociales pueden ser una fuente confiable de información para pacientes hispanohablantes con enfermedades crónicas, aunque persisten desafíos, como la frecuente falta de evidencia científica para la información publicada y la ausencia de revisión por pares. En un estudio realizado por Cántaro et al., el 20% de los pacientes con DM2 usaban Internet para buscar información sobre su enfermedad, especialmente si eran menores de 60 años, tenían un nivel de educación más alto, tenían familiares con diabetes y cuando estaban en tratamiento no farmacológico o con medicación antidiabética oral. En una revisión sistemática sobre el uso de las redes sociales para el autocuidado en pacientes con DM2, se observó que la mayoría de los pacientes recurren a herramientas como Facebook y I Seek You y a los blogs de otros pacientes para obtener información sobre su enfermedad. Sin embargo, la calidad de la información obtenida varió considerablemente entre las diferentes fuentes consultadas. Aunque hay avances en cuanto a la investigación sobre la calidad de la información en línea a la que acceden los pacientes, no existe evidencia sobre la calidad de la información obtenida por los pacientes hispanohablantes con diabetes tipo 2 en las redes sociales.
El objetivo de este estudio es evaluar la calidad, confiabilidad e integridad de los videos en español sobre diabetes tipo 2 (DT2) disponibles en las plataformas más populares: YouTube® y Facebook®. Mediante herramientas de evaluación estandarizadas, buscamos evaluar y comparar la información entre diferentes audiencias objetivo y fuentes de información para determinar cualquier variación en la calidad.
Metodología #
Se realizó un estudio de análisis transversal en el que se evaluó el contenido y la calidad de los videos en español sobre diabetes tipo 2 disponibles en las redes sociales YouTube® y Facebook®. Se incluyeron videos que presentaban información sobre epidemiología, síntomas, diagnóstico y tratamiento. Se excluyeron los videos duplicados o sobre diabetes tipo 1, gestacional u otros tipos. El estudio fue aprobado por el comité de ética institucional (FM-ICD-004-20).
Extracción de datos #
Se crearon una cuenta en YouTube y otra en Facebook exclusivamente para el estudio. Realizamos -detallaron los investigadores- la estrategia de búsqueda utilizando el modo incógnito en el navegador web Google Chrome para minimizar el riesgo de sesgo basado en búsquedas anteriores. Para YouTube, la búsqueda se realizó el 8 de mayo de 2023, con el término de búsqueda: “diabetes mellitus tipo 2” y los resultados se organizaron por número de vistas en orden descendente. No se aplicaron filtros. Para Facebook, la búsqueda se realizó el 9 de mayo de 2023, utilizando el mismo término de búsqueda. Los videos se ordenaron en orden descendente según su puntaje de relevancia, una métrica determinada por Facebook que clasifica los videos según el número esperado de interacciones positivas (me gusta, comentarios y compartidos) que indican un alto nivel de participación e interés de los observadores.
Dado que estudios previos han demostrado que el 90% de los usuarios consumen únicamente la información que aparece en las tres primeras páginas de resultados de búsqueda en cada red social, se seleccionaron los primeros 100 videos de cada plataforma. Los criterios de inclusión consistieron en videos sobre diabetes tipo 2 en español. Dentro de los criterios de exclusión, se consideró la eliminación de videos duplicados. La extracción de datos fue realizada de forma manual por uno de los investigadores (MJS) y verificada de forma cruzada por otro revisor (CDB). Esto incluyó información general como la dirección web, fecha de publicación, duración del video, número de vistas, número de me gusta y fuente generadora en la misma fecha en que se realizó la búsqueda. Los datos extraídos se registraron en Microsoft Excel (Versión 16.73).
El tiempo en Internet se definió como el tiempo transcurrido desde la publicación del video hasta la extracción de datos en días. El índice de popularidad se definió como el “número de visitas” dividido por el “tiempo en Internet”. El número de visitas corresponde al número total de veces que los usuarios han accedido o interactuado con una página o sitio en particular, lo que puede incluir o no solo ver un video sino también visitar la página que contiene el video. Los videos se clasificaron según su fuente de origen en función de su nombre de usuario y la información proporcionada en la sección de biografía como 1: usuarios independientes, 2: agencias gubernamentales o de noticias, 3: organizaciones profesionales/canales académicos (p. ej., universidades), 4: sitios web de información sobre salud o 5: anuncios/compañías con fines de lucro (p. ej., farmacéuticas).
Los videos se clasificaron según el público objetivo en función del contenido, los temas, el lenguaje utilizado y el tono general, así como una evaluación general del contenido, siguiendo los métodos de clasificación utilizados en estudios previos, una clasificación que llamamos “confiabilidad subjetiva” en las siguientes categorías: “fiable para el personal de salud”, “engañoso para el personal de salud”, “opinión confiable para el paciente” y “opinión engañosa para el paciente”. Un video “fiable para el personal de salud” indicaba contenido científicamente correcto e información precisa sobre cualquier aspecto de la enfermedad, mientras que un video “engañoso para el personal de salud” contenía información científicamente no probada o inexacta sobre el tratamiento o cualquier aspecto de la enfermedad, como información que carece de evidencia sólida, revisada por pares o aprobada por consensos/directrices internacionales. “Opinión confiable para el paciente” se refería a videos que presentaban puntos de vista personales o experiencias de pacientes que se basaban en información precisa y creíble, a pesar de su naturaleza subjetiva. Por el contrario, la “opinión engañosa para el paciente” describe videos en los que se presentan opiniones o experiencias personales de una manera que podría ser engañosa o basarse en afirmaciones no verificadas o inexactas.
Evaluación de la información #
Los videos seleccionados fueron evaluados por dos investigadores (MJS, CBD) especialistas en medicina interna, de forma independiente. La confiabilidad, integridad y calidad de los videos se evaluaron utilizando herramientas estandarizadas. La confiabilidad se definió como la presentación de datos correctos e información precisa sobre cualquier aspecto de la enfermedad, corroborada la información basada en evidencia científica (estudios clínicos, guías de práctica clínica, etc.). Para este propósito, se utilizó la herramienta DISCERN modificada de 5 puntos, un instrumento validado para evaluar la calidad de la información de salud del consumidor. Consta de cinco preguntas y se califica de 0 a 5 según los criterios de los revisores. La integridad se definió como qué tan completa y exhaustiva fue la información presentada sobre la enfermedad, utilizando una puntuación de contenido que incluye cinco dominios (1. Epidemiología/Factores de riesgo, 2. Patogenia, 3. Características clínicas, 4. Enfoque diagnóstico, 5. Tratamiento) calificados de 0 a 5 según el número de dominios cubiertos en el video (1 punto por cada dominio). La calidad se definió como la utilidad de la información presentada a un paciente, evaluada utilizando la herramienta Global Quality Score (GQS), una herramienta validada que se utiliza para calificar la calidad general de la información de salud, con una puntuación de 1 a 5 para la calificación de calidad global.
Análisis estadístico #
El tamaño de muestra se calculó para identificar diferencias en proporciones de 70% versus 90% en puntajes clasificados como “buenos o superiores” en cada herramienta utilizada, con una potencia del 80% y un error alfa del 5% el tamaño de muestra calculado fue de 124 videos.
Se realizó una prueba piloto del 10% de los videos seleccionados en cada red social para estandarizar la calificación de cada uno de los ítems de los puntajes entre los investigadores, reconociendo la subjetividad de los instrumentos disponibles. Inicialmente, se seleccionaron aleatoriamente 20 videos (10 de Youtube y 10 de Facebook) para ser evaluados por los investigadores de manera pareada e independiente (MJS, CBD). Posteriormente, se realizó una evaluación pareada entre los investigadores para resolver sus diferencias. La concordancia entre evaluadores se determinó dicotomizando los puntajes obtenidos con cada una de las tres herramientas como “bueno o superior” (puntajes de 3 a 5) o “malo” (puntajes de 1 y 2), calculando un coeficiente Kappa de Cohen para cada herramienta, con un buen acuerdo para los puntajes de confiabilidad y completitud (0.79, IC 95% 0.52-1), y un acuerdo casi perfecto para la calidad general (0.83, IC 95% 0.5-1). Los vídeos restantes fueron calificados luego de forma independiente, nuevamente por dos investigadores, y nuevamente se obtuvo un alto acuerdo entre evaluadores, superior a 0,8 para todos los puntajes.
Las variables categóricas se presentan como frecuencias absolutas y relativas. Las variables cuantitativas, incluidas las puntuaciones de fiabilidad (DISCERN), completitud (puntuación de contenido) y calidad (GQS), se presentan como medias y desviación estándar en el caso de tener una distribución normal, o en caso contrario como medianas y rangos intercuartiles. La distribución normal de los datos se evaluó mediante la prueba de Shapiro-Wilk.
La comparación entre grupos se realizó con pruebas de chi-cuadrado o pruebas no paramétricas para variables cuantitativas ( prueba de U Mann-Whitney o prueba de Kruskal-Wallis para comparaciones múltiples). Se consideraron estadísticamente significativos los valores p < 0,05. Para el análisis estadístico se utilizó el programa Stata (16.1, StataCorp LLC, College Station, TX).
Resultados #
Se seleccionaron 100 videos de cada plataforma. Luego de revisar los criterios de selección, se excluyeron 10 videos de YouTube: 6 duplicados en la búsqueda, 4 en inglés. Se excluyeron 18 vídeos de Facebook: 13 duplicados en la búsqueda, 3 en portugués y 2 por tener contenido únicamente sobre diabetes tipo 1. Finalmente, se incluyeron en el análisis 172 vídeos: 82 de Facebook y 90 vídeos de YouTube.
La media del número de visualizaciones fue de 1.725 (RIC 213-10.000), con una duración de 5,93 minutos (RIC 3,2-16,8) y un tiempo de conexión a Internet de 834 días (RIC 407-1477). La mayoría de los vídeos fueron producidos por usuarios independientes (58,72%), y más de la mitad estaban dirigidos a pacientes (57%).
Para la muestra total, la confiabilidad según la puntuación modificada de DISCERN tuvo una media de 3 (RIC 2-3), la integridad (puntuación de contenido) de 2 (RIC 1-3) y la calidad (GQS) de 3 (RIC 3-4). En general, el 92,4 % de los videos evaluados se consideraron confiables.
Facebook versus Youtube #
Al comparar las redes sociales evaluadas, YouTube obtuvo más visualizaciones, por los videos de mayor duración, más tiempo en internet y mayor índice de popularidad, que lo hizo estadísticamente significativo. En términos de la cantidad de me gusta, YouTube tuvo el número más alto (mediana 125, IQR 28–750) en comparación con Facebook (16,5, IQR 5–62) con una diferencia estadísticamente significativa (p < 0,001).
En cuanto a las escalas de evaluación, YouTube tuvo más vídeos calificados como confiables en comparación con Facebook (97,8 vs 86,6%, p = 0,006). Si bien no hubo diferencias entre las calificaciones de DISCERN (YouTube medio 3, RIQ 2-3 vs Facebook medio 3, RIQ 2-3) y GQS (YouTube medio 3, RIQ 3-4 vs Facebook medio 3.5, RIQ 3-4) , se observaron diferencias en las calificaciones de integridad, siendo más altas en Facebook (YouTube medio 1, IQR 1-2 vs Facebook medio 2, IQR 1-4) (p<0,001). Además, más vídeos de Facebook fueron considerados “Buenos” en las puntuaciones de DISCERN (74,4%).
Vídeos por fuente #
En cuanto a las fuentes de información, no hubo diferencias significativas en número de visualizaciones (p = .397), duración de los vídeos (p = .459), tiempo en internet (p = .087) o índice de popularidad (p = .729). Tampoco hubo diferencias entre el número de me gusta (p = 0,119) o el número de no me gusta entre fuentes (p = 0,192). En cuanto a las escalas de evaluación, en la escala DISCERN, los videos de organizaciones gubernamentales o de noticias (“buenos” = 88,89%) y de organizaciones profesionales o canales académicos (“buenos” = 77,78%) (p = 0,048) obtuvieron mejores puntuaciones.
Vídeos según el público objetivo #
Los vídeos con profesionales de la salud como público objetivo tuvieron una mayor duración en comparación con los vídeos dirigidos a pacientes (mediana 12,39minutos, IQR 4,78-35,1 vs 4,31minutos, IQR 2,25-8,81; p < 0,001). Del mismo modo, Los vídeos dirigidos a profesionales de la salud tuvieron un mayor número de no me gusta (p < 0,001). No hubo diferencias significativas entre las fuentes de información (p = 0,062).
En cuanto a la clasificación de la fiabilidad subjetiva, un mayor porcentaje de vídeos dirigidos a profesionales de la salud fueron calificados como fiables (98,65%) respecto a los dirigidos a pacientes (87,76%), con una diferencia estadísticamente significativa (p = 0,007). Sin embargo, no hubo diferencias significativas en las calificaciones de “bueno” en las escalas DISCERN, exhaustividad o GQS entre los videos dirigidos a profesionales de la salud y los dirigidos a pacientes. Para los videos calificados como subjetivamente poco confiables, un tema común fue la presencia de información inexacta, en particular afirmaciones sobre los efectos de los alimentos en la diabetes que carecen de fuentes creíbles.
Se realizó una evaluación exploratoria para establecer las diferencias en función de la popularidad; sin embargo, no se encontraron resultados relevantes.
Discusión #
Hasta donde sabemos -apuntaron los investigadores-, este es el primer estudio que evalúa videos en idioma español como fuente de información para pacientes con diabetes tipo 2 en las redes sociales más populares (Facebook® y YouTube®). Además, es el primer estudio que compara la calidad de la información entre las dos redes sociales más populares en relación a la información sobre diabetes. En general, la mayoría de los vídeos tienen una fiabilidad, integridad y calidad adecuadas. Nuestros resultados sugieren que la fiabilidad de los vídeos es superior en los dirigidos a profesionales sanitarios respecto a los dirigidos a pacientes, sin encontrar diferencias significativas en la valoración de la exhaustividad y la calidad global.
En nuestra búsqueda inicial utilizando el término “diabetes”, identificamos un rango significativamente más amplio de contenido, incluyendo diabetes tipo 1, diabetes gestacional e incluso diabetes en animales, lo que podría impactar a los usuarios que buscan específicamente información sobre diabetes tipo 2. Esto resalta la necesidad de que los pacientes precisen los términos de búsqueda en estas plataformas para mejorar la relevancia y especificidad de la información recuperada. _En consecuencia, enfocamos nuestro estudio en el término de búsqueda “diabetes tipo 2” para analizar contenido específicamente relacionado con diabetes tipo 2. Encontramos que YouTube alberga videos con un mayor número de vistas, mayor duración y mayor tiempo en internet en comparación con Facebook, así como mejores tasas de popularidad y número de me gusta, siendo igualmente más confiable que los videos en Facebook (97.8% vs 86.6%). Esto se puede explicar por características intrínsecas de cada plataforma, dado que YouTube es conocido por ser una red social con videos más largos y contenido educativo, mientras que Facebook se caracteriza por tener contenido más corto y de visualización más rápida sobre temas no académicos en general.
Es importante destacar que la duración o el mayor número de visualizaciones de los vídeos no se correlaciona con su calidad. Encontramos una diferencia estadísticamente significativa en la evaluación DISCERN, donde los videos en Facebook obtuvieron puntuaciones más altas en comparación con YouTube. Este hallazgo contrasta con estudios previos que analizaron la calidad de la información sobre diferentes temas de salud en redes sociales, como prótesis de rodilla o prolapso de órganos pélvicos, donde se observó una mejor calidad de información en YouTube respecto a otras plataformas. Del mismo modo, aunque YouTube mostró resultados más favorables en términos de confiabilidad, los videos encontrados en Facebook obtuvieron puntuaciones más altas en la escala de completitud y en puntuaciones de DISCERN. Esto se puede explicar porque en Facebook los vídeos abordan una mayor variedad de temas relacionados con la diabetes tipo 2, lo que puede resultar beneficioso para los usuarios que quieran obtener información más completa sobre la enfermedad, mientras que en YouTube existen vídeos segmentados (p. ej., un solo vídeo para diagnóstico, otro para tratamiento). En cuanto a las puntuaciones y completitud de DISCERN, aunque los vídeos de Facebook obtuvieron puntuaciones más altas, esto puede parecer contradictorio dada la mayor confiabilidad de YouTube. Esto podría deberse a las diferentes fortalezas de cada plataforma a la hora de presentar diversos tipos de contenido. Los beneficios del uso de la herramienta DISCERN sugieren que, si bien es valiosa para evaluar la calidad de la información, es posible que no capture completamente el contexto en el que se presenta esta información en diferentes plataformas.
Aunque no hubo diferencias en el número de visualizaciones o índice de popularidad entre las fuentes generadoras de información, encontramos mejores calificaciones de confiabilidad para videos de organizaciones gubernamentales y organizaciones profesionales o canales académicos en comparación con otras fuentes de información como usuarios independientes, lo cual es esperado y que ha ocurrido en otros casos. Ha sido hallado en otros estudios relacionados con enfermedades crónicas como el lupus eritematoso sistémico.
Curiosamente encontramos más videos calificados como confiables dirigidos a profesionales de la salud (98,65%) al compararlos con videos dirigidos a pacientes (87,76%) (p = 0,007), sin embargo, al evaluar por escalas de calidad no encontramos diferencias estadísticamente significativas entre videos calificados como “bueno” en las escalas de exhaustividad de DISCERN, o en la escala GQS cuando lo evalúa el público objetivo. Esto demuestra que cada vez hay mejor calidad de información no sólo para los pacientes sino para los profesionales de la salud y que no existen diferencias entre el tipo de público que recibe dicha información, lo que demuestra la variedad de datos que estas redes sociales pueden tener como fuentes, como lo demuestran estudios de América Latina y otras regiones del mundo como Asia.
Nuestro estudio tiene varios fortalezas. En primer lugar, incluimos tanto a YouTube como a Facebook, las dos redes sociales más populares y utilizadas, aportando una visión más completa y representativa de la información en redes sobre diabetes tipo 2. Además, realizamos una prueba piloto previa que garantizó una adecuada concordancia en la calificación de los videos, reduciendo el componente de subjetividad en la evaluación. Asimismo, destacamos el uso de instrumentos estandarizados para la calificación de confiabilidad, completitud y calidad general de los videos utilizados en estudios anteriores, lo que permite un análisis más objetivo de la información encontrada.
Debemos reconocer algunas limitaciones de nuestro estudio. En primer lugar, reconocemos la subjetividad de la interpretación de algunas de las escalas utilizadas en la evaluación, a pesar de contar con herramientas estandarizadas para este fin. Sin embargo, la calificación pareada de los vídeos y el buen acuerdo obtenido en la prueba piloto entre los evaluadores pueden reducir el impacto potencial de esta limitación. En segundo lugar, diferentes escalas diseñadas para evaluar características similares de videos pueden funcionar de manera diferente. Por ejemplo, se encontró una discrepancia significativa en la evaluación de la confiabilidad entre la puntuación DISCERN y la “confiabilidad subjetiva” tal como se define en estudios anteriores. Según la puntuación de “confiabilidad subjetiva”, YouTube tuvo una mayor proporción de videos calificados como confiables, pero según la puntuación DISCERN, una mayor proporción de videos de Facebook fueron calificados como buenos. Estas diferencias pueden explicarse por el hecho de que la confiabilidad subjetiva tiene en cuenta cuestiones adicionales a las incluidas en la puntuación DISCERN. Los estudios futuros deberían trabajar en herramientas estandarizadas para evaluar la calidad y confiabilidad de los videos. Además, no evaluamos videos en plataformas populares como Te busco (plataforma poco utilizada en Iberoamérica), Instagram, Twitter o TikTok, que podrían excluir importantes fuentes de información actualmente utilizadas por los pacientes o sus familiares. Se requerirán estudios adicionales para evaluar la información en tales plataformas. De igual forma, no se evaluaron videos que pudieran estar presentes en páginas especializadas de endocrinología o diabetes y que no estuvieran presentes en YouTube®. Sin embargo, estudios en otras enfermedades crónicas han sugerido que los pacientes no suelen consultar sitios web especializados como fuente de información. Finalmente, realizamos una evaluación de la información desde un punto de vista médico, sin considerar la perspectiva del paciente o el personal médico, lo cual deberá ser evaluado en estudios posteriores.
Nuestros hallazgos sugieren la necesidad de cambios en las políticas públicas y las organizaciones de atención médica para establecer pautas sobre la precisión y credibilidad de la información de salud compartida de forma abierta y gratuita en estas plataformas. Además, los profesionales de la salud deben guiar a los pacientes en la evaluación crítica del contenido disponible en línea.
Conclusiones #
La creación y difusión de contenidos educativos de calidad dirigidos al personal de salud y a pacientes con diabetes tipo 2 es una prioridad. _Nuestros hallazgos sugieren que YouTube es la plataforma preferida para videos relacionados con la diabetes tipo 2, con videos más populares y confiables en general, mientras que los videos en Facebook presentaron una mayor integridad en los datos proporcionados. Fuentes de información como organizaciones gubernamentales o de noticias y organizaciones profesionales también se destacaron en términos de calidad de los datos presentados. Es importante considerar estos resultados al buscar información sobre diabetes tipo 2 en las redes sociales, destacando la importancia de evaluar críticamente la información encontrada en estas plataformas.
- El paper Evaluating the quality of Spanish-language information for patients with type 2 diabetes on YouTube and Facebook, fue publicado en Health Informatics Journals del grupo Sage journals. Autores: María Juliana Soto-Chávez, Candida Díaz-Brochero, Ana María Gómez-Medina, Diana Cristina Henao & Oscar Mauricio Muñoz
Thanks you all, doctors!!! ¡¡Muchas gracias a todos ustedes, doctores, por este material!!
English version #
Evaluating the quality of Spanish-language information for patients with type 2 diabetes on YouTube and Facebook #
Abstract #
The scientific team included: Dra. María Juliana Soto-Chávez, Department of Internal Medicine, Pontificia Universidad Javeriana, Bogotá, Colombia; Candida Díaz-Brochero, Department of Internal Medicine, Pontificia Universidad Javeriana, Bogotá, Colombia; Department of Internal Medicine, Hospital Universitario San Ignacio, Bogotá, Colombia; Ana María Gómez-Medina, Department of Internal Medicine, Pontificia Universidad Javeriana, Bogotá, Colombia; Endocrinology Unit, Hospital Universitario San Ignacio, Bogotá, Colombia; Diana Cristina Henao, Department of Internal Medicine, Pontificia Universidad Javeriana, Bogotá, Colombia; Endocrinology Unit, Hospital Universitario San Ignacio, Bogotá, Colombia & Oscar Mauricio Muñoz, Department of Internal Medicine, Pontificia Universidad Javeriana, Bogotá, Colombia; Department of Internal Medicine, Hospital Universitario San Ignacio, Bogotá, Colombia.
Introduction: Spanish speakers rely on social media for health information, with varying quality of its content. This study evaluates the reliability, completeness, and quality of type 2 diabetes (T2D) information available in Spanish-language videos on YouTube and Facebook. Methods: Analytical observational study that included Spanish-language videos on TD2 available on Facebook and YouTube. General characteristics, interaction and generating sources are described. Standardized tools were used to assess reliability, completeness and overall quality. Results: We included 172 videos, 90 from Youtube® and 82 from Facebook®. The median number of views was 1725 (IQR 213–10,000), with an average duration of 5.93 minutes (IQR 3.2–16.8) and an internet time of 834 days (IQR 407–1477). Most videos were uploaded by independent users (58.72%). Reliability (evaluated with DISCERN tool) had a median of 3 (IQR 2-3), completeness (content score) had a median of 2 (IQR 1-3), and overall quality, evaluated with the Global Quality Score (GQS) tool had a median of 3 (IQR 3-4). Using a global classification of “subjective reliability” 92.4% of the videos were considered reliable. Better completeness was observed in Facebook videos (p < .001). Reliability was better for videos from government or news organizations. Conclusion: Our results suggest that videos about T2D in Spanish on social media such as YouTube and Facebook have good reliability and quality, with greater exhaustiveness in content in Facebook videos and greater reliability for videos from government or news organizations.
The paper authors are: María Juliana Soto-Chávez, corresponding author; Candida Díaz-Brochero, Ana María Gómez-Medina, Diana Cristina Henao, & Oscar Mauricio Muñoz
Soto-Chávez et al. pointed that “Type 2 diabetes (T2DM) is the world’s leading metabolic disease, affecting more than 460 million people worldwide, with an expected prevalence of 10% by 2045. Its association with ocular, renal and cardiovascular complications has generated a significant increase in disability and premature mortality globally, especially affecting Hispanic people and people living in low-income countries.
In recent years, emphasis has been placed on providing adequate education to patients with T2D to encourage their self-management, to reduce both acute and long-term complications, improve metabolic control and reduce the risks associated with the disease. In relation to education, patients with chronic diseases such as T2D have found on the Internet and particularly on social networks an important source of information on health issues. According to data from the
Pew Research Center, during the year 2021, seven out of 10 Americans used social media. Of these, 81% used YouTube and 69% Facebook, being the most popular social networks in the US. Similar data has been reported in Latin America as of 2021, between 63 and 70% of the population was using social networks, the main ones being Facebook (59%), WhatsApp (40%) and Youtube (32%).
Recent studies suggest that social media can be a reliable source of information for Spanish-speaking patients with chronic diseases, although challenges remain, such as the frequent lacking scientific evidence for posted information and the absence of peer review. In a study conducted by Cántaro et al., 20% of patients with T2D used the Internet to search for information about their disease especially if they were younger than 60 years, had a higher level of education, had relatives with diabetes, and when they were on non-pharmacological treatment or with oral antidiabetic medication. In a systematic review on the use of social media for self-management in patients with T2D, it was observed that most patients turn to tools such as Facebook and I Seek You and to other patients’ blogs to obtain information about their disease. However, the quality of the information obtained varied considerably between the different sources consulted. Although there is progress regarding research on the quality of online information accessed by patients, there is no evidence about the quality of information obtained by Spanish-speaking patients with type 2 diabetes on social networks.
The objective of this study is to evaluate the quality, reliability, and completeness of Spanish-language videos about type 2 diabetes (T2D) available on the most popular platforms: YouTube® and Facebook®. Using standardized evaluation tools, we aim to assess and compare the information across different target audiences and sources of information to determine any variations in quality.
Methodology #
A cross-sectional analysis study was conducted evaluating the content and quality of the videos in Spanish on T2D available on YouTube® and Facebook® social networks. The scientists included videos presenting information on epidemiology, symptoms, diagnosis, and treatment. Duplicates or videos about type 1, gestational or other types of diabetes were excluded. The study was approved by the institutional ethics committee (FM-ICD-004-20).
Data extraction #
The team created an account on YouTube and another on Facebook exclusively for the study. They performed the search strategy using incognito mode in the Google Chrome web browser to minimize the risk of bias based on previous searches. For YouTube, the search was conducted on May 8, 2023, with the search term: “diabetes mellitus tipo 2” (“type 2 diabetes mellitus” in spanish) and the results were organized by number of views in a descending order. No filters were applied. For Facebook, the search was conducted on May 9, 2023, using the same search term. Videos were sorted in descending order based on their relevance score, a metric determined by Facebook that ranks videos according to the expected number of positive interactions (likes, comments, and shares) indicating high viewer engagement and interest.
Since previous studies have shown that 90% of users consume only the information displayed on the first three pages of search results on each social network, the first 100 videos from each platform were selected. The inclusion criteria consisted of videos about type 2 diabetes in Spanish. Within the exclusion criteria, the removal of duplicate videos was considered. Data extraction was performed manually by one of the researchers (MJS) and cross-checked by another reviewer (CDB). This included general information such as the web address, publication date, video duration, number of views, number of likes, and generating source on the same date the search was conducted. The extracted data was recorded in Microsoft Excel (Version 16.73).
Internet time was defined as the time from video publication to data extraction in days. The popularity index was defined as the “number of visits” divided by “time on Internet”. Number of visits correspond to the total number of times users have accessed or interacted with a particular page or site, which may or not include just watching a video but also visiting the page containing the video. The videos were categorized according to their source of origin based on its username and the information provided in the biography section as 1: independent users, 2 government or news agencies, 3 professional organizations/academic channels (e.g., universities), 4 health information websites, or 5 advertisements/for-profit companies (e.g., pharmaceuticals).
The videos were classified according to the target audience based on content, themes, language used, and the overall tone, as well as an overall assessment of the content, following classification methods used in previous studies, a classification that the scientists called “subjective reliability” in the following categories: “reliable for health personnel,” “misleading for health personnel,” “reliable opinion for the patient,” and “misleading opinion for the patient.” A “reliable for health personnel” video indicated scientifically correct content and accurate information about any aspect of the disease, while a “misleading for health personnel” video contained scientifically unproven or inaccurate information about treatment or any aspect of the disease, such as information that lack of robust, peer-reviewed evidence or approved by international consensus/guidelines. “Reliable opinion for the patient” referred to videos that presented personal viewpoints or experiences from patients which were based in accurate and credible information, despite its subjective nature. In contrast, “misleading opinion for the patient” described videos where personal opinions or experiences were presented in a way that could be misleading or based on unverified or inaccurate claims.
Evaluation of information #
The selected videos were evaluated by two researchers (MJS, CBD) specialists in internal medicine, independently. The reliability, completeness, and quality of the videos were assessed using standardized tools. Reliability was defined as the presentation of correct data and accurate information on any aspect of the disease, corroborated the information based on scientific evidence (clinical studies, clinical practice guidelines, etc. For this purpose, the modified 5-point DISCERN tool, a validated instrument to assess quality of consumer health information, was used. It consists of five questions and is scored from 0 to 5 based on the criteria of the reviewers. Completeness was defined as how thorough and complete the information presented about the disease was, using a content score including five domains (1. Epidemiology/Risk factors, 2. Pathogenesis, 3. Clinical features, 4. Diagnostic approach, 5. Treatment) scored from 0 to 5 based on the number of domains covered in the video (1 point for each domain). Quality was defined as the usefulness of the information presented to a patient, assessed using the Global Quality Score (GQS) tool, a validated tool used to rate overall quality of health information, with a score of 1 to 5 for global quality rating.
Statistical analysis #
The sample size was calculated to identify differences in proportions of 70% versus 90% in scores classified as “good or superior” in each used tool, with a power of 80% and alfa error of 5% the calculated sample size was 124 videos. A pilot test of 10% of the selected videos in each social network was carried out to standardize the qualification of each of the items of the scores among the researchers, recognizing the subjectivity of the available instruments. Initially, 20 videos (10 from Youtube and 10 from Facebook) were randomly selected to be evaluated by the researchers in a paired and independent manner (MJS, CBD). Subsequently, a paired evaluation was performed among the researchers to resolve their differences. Concordance between raters was determined by dichotomizing the scores obtained with each of the three tools as “good or superior” (scores of 3 to 5) or “bad” (scores of 1 and 2), calculating a
Cohen’s Kappa coefficient for each tool, with good agreement for reliability and completeness scores (0.79, 95% CI 0.52-1), and near-perfect agreement for overall quality (0.83, 95% CI 0.5–1). The remaining videos were then rated independently, again for two researchers, and again high inter-rater agreement was obtained, higher than 0.8 for all scores.
Categorical variables are presented as absolute and relative frequencies. Quantitative variables, including reliability (DISCERN), completeness (content score), and quality (GQS) scores, are presented as means and standard deviation in the case of having a normal distribution, or otherwise as medians and interquartile ranges. The normal distribution of data was assessed using the
Shapiro-Wilktest.
Comparison between groups was performed with chi-square tests or nonparametric tests for quantitative variables ( Mann-Whitney U or Kruskal-Wallis test for multiple comparisons). p values <0.05 were considered statistically significant. The Stata program (16.1, StataCorp LLC, College Station, TX) was used for statistical analysis.
Results #
100 videos from each platform were selected. After reviewing the selection criteria, 10 YouTube videos were excluded: 6 duplicates in the search, 4 in English. 18 Facebook videos were excluded: 13 duplicates in the search, 3 in Portuguese, and 2 for having content about type 1 diabetes only. Finally, 172 videos were included in the analysis: 82 from Facebook and 90 videos from YouTube.
The median number of views was 1725 (IQR 213–10,000), with a duration of 5.93 minutes (IQR 3.2–16.8) and an internet time of 834 days (IQR 407–1477). Most of the videos were produced by independent users (58.72%), with more than half targeted at patients (57%). For the total sample, reliability by DISCERN modified score had a median of 3 (IQR 2-3), completeness (content score) of 2 (IQR 1–3), and quality (GQS) of 3 (IQR 3-4). Overall, 92.4% of the videos evaluated were considered subjectable reliable.
Facebook versus Youtube #
When comparing evaluated social media, YouTube obtained more views, with videos of longer duration, more time on the internet and higher popularity index, being statistically significant. In terms of the number of likes, YouTube had the highest number (Median 125, IQR 28–750) when compared to Facebook (16.5, IQR 5–62) with a statistically significant difference (p < .001).
As for the evaluation scales, YouTube had more videos rated as reliable when compared to Facebook (97.8 vs 86.6%, p = .006). While there were no differences between the ratings of DISCERN (YouTube medium 3, IQR 2-3 vs Facebook medium 3, IQR 2-3) and GQS (YouTube medium 3, IQR 3-4 vs Facebook medium 3.5, IQR 3-4), differences were seen in the completeness ratings, being higher on Facebook (YouTube medium 1, IQR 1-2 vs Facebook medium 2, IQR 1–4) (p < .001). Also, more Facebook videos were considered “Good” in DISCERN scores (74.4%).
Videos by source #
Regarding sources of information, there were no significant differences in number of views (p = .397), duration of videos (p = .459), time on the internet (p = .087) or popularity index (p = .729). There were also no differences between the number of likes (p = .119) or the number of non-likes between sources (p = .192). Regarding evaluation scales, on the DISCERN scale, videos from government or news organizations (“good” = 88.89%) and from professional organizations or academic channels (“good” = 77.78%) (p = .048) scored better.
Videos according to the target audience #
Videos with health professionals as target audience had a longer duration when compared to videos aimed at patients (median 12.39 minutes, IQR 4.78–35.1 vs 4.31 minutes, IQR 2.25–8.81; p < .001). Similarly, videos aimed at health professionals had a higher number of no likes (p < .001). There were no significant differences between sources of information (p = .062).
Regarding the classification of subjective reliability, a higher percentage of videos aimed at health professionals were rated as reliable (98.65%) compared to those aimed at patients (87.76%), with a statistically significant difference (p = .007). However, there were no significant differences in the ratings of “good” on the DISCERN, completeness, or GQS scales between videos targeted at health professionals and those aimed at patients. For videos rated as subjectively unreliable, a common theme was the presence of inaccurate information, particularly claims about the effects of foods on diabetes lacking credible sources.
An exploratory evaluation was conducted to assess differences based on popularity; however, no relevant results were found.
Discussion #
To our knowledge -stated the scientists-, this is the first study to evaluate videos in Spanish language as a source of information for patients with T2D on the most popular social networks (Facebook® and YouTube®). Additionally, it is the first study to compare the quality of information between the two most popular social networks in relation to information about diabetes. In general, most videos have adequate reliability, completeness, and quality. Our results suggest that the reliability of the videos is superior for those aimed at health professionals compared to those aimed at patients, without finding significant differences in the evaluation of completeness and overall quality.
In our initial search using the term “diabetes,” we identified a significantly broader range of content, including Type 1 diabetes, gestational diabetes, and even diabetes in animals, which could impact users specifically seeking for T2D information. This highlights the need for patients to precise search terms in these platforms to enhance the relevance and specificity of the information retrieved. Consequently, we focused our study on the search term “Type 2 diabetes” to analyze content specifically related to T2D. We found that YouTube hosts videos with a higher number of views, longer duration and longer time on the internet compared to Facebook, as well as better popularity rates and number of likes, being equally more reliable than videos on Facebook (97.8% vs 86.6%). This can be explained by intrinsic characteristics of each platform, given that YouTube is known for being a social network with longer videos and educational content, while Facebook is characterized by having shorter and faster viewing content on non-academic topics in general.
Importantly, the length or higher number of views of videos does not correlate with their quality. We found a statistically significant difference in the DISCERN assessment, where videos on Facebook scored higher compared to YouTube. This finding contrasts with previous studies that analyzed the quality of information on different health topics on social networks, such as knee replacement or pelvic organ prolapse, where a better quality of information was observed on YouTube compared to other platforms.26,27 Similarly, although YouTube showed more favorable results in terms of reliability, the videos found on Facebook obtained higher scores on the completeness scale and in DISCERN scores. This can be explained by the fact that videos on Facebook address a wider variety of topics related to type 2 diabetes which can be beneficial for users who want to obtain more complete information about the disease, while on YouTube there are segmented videos (e.g., a single video for diagnosis, another for treatment). Regarding the DISCERN and completeness scores, although Facebook videos scored higher, this may seem contradictory given YouTube’s greater reliability. This could be due to the different strengths of each platform in presenting diverse content types. The benefits of the use of the DISCERN tool suggest that while it is valuable for assessing information quality, it may not fully capture the context in which this information is presented across different platforms.
Although there were no differences between number of views or popularity index between information-generating sources, we found better reliability ratings for videos from government organizations and professional organizations or academic channels when compared with other sources of information as independent users, which is expected and has been found in other studies related to chronic diseases such as systemic lupus erythematosus.
Interestingly, we found more videos rated as reliable aimed at health professionals (98.65%) when compared with videos aimed at patients (87.76%) (p = .007), however, when evaluating by quality scales we found no statistically significant differences between videos rated as “good” in the DISCERN scales, completeness, or in the GQS scale when evaluated by target audience. This shows that there is an increasingly better quality of information not only for patients but for health professionals and that there are no differences between the type of public that receives such information, which demonstrates the variety of information that these social networks can have as sources of information as demonstrated in studies from Latin America and other regions of the world such as Asia.
Our studio has several strengths. First, we included both YouTube and Facebook, the two most popular and widely used social networks, providing a more complete and representative view of the information on networks about type 2 diabetes. In addition, we carried out a previous pilot test which guaranteed an adequate concordance in the qualification of the videos, reducing the subjectivity component in the evaluation. Likewise, we highlight the use of standardized instruments for the qualification of reliability, completeness and overall quality of the videos used in previous studies, which allows a more objective analysis of the information found.
We must acknowledge some limitations of our study. First, we acknowledge the subjectivity of the interpretation of some of the scales used in the evaluation, despite having standardized tools for this purpose. However, the paired rating of the videos and the good agreement obtained in the pilot test among the raters may reduce the potential impact of this limitation. Second, different scales designed to assess similar videos characteristics may perform differently. For example, a significant discrepancy was found in the assessment of reliability between the DISCERN score and “subjective reliability” as defined in previous studies. Based on the “subjective reliability” score, YouTube had a higher proportion of videos rated as reliable, but based on the DISCERN score, a higher proportion of FB videos were rated as good. These differences may be explained by the fact that subjective reliability takes into account additional issues to those included in the DISCERN score. Future studies should work on standardized tools to evaluate the quality and reliability of videos. In addition, we did not evaluate videos on popular platforms such as I seek you (a platform not widely used in Iberoamérica), Instagram, Twitter or TikTok, which could exclude important sources of information currently used by patients or their families. Additional studies will be required to evaluate the information on such platforms. Similarly, videos that could be present in specialized pages of endocrinology or diabetes and that were not present on YouTube® were not evaluated. However, studies in other chronic diseases have suggested that patients do not often consult specialized websites as a source of information. Finally, we performed an evaluation of the information from a medical point of view, without considering the perspective of the patient or non-medical personnel, which should be evaluated in subsequent studies.
Our findings suggest the need for changes in public policy and healthcare organizations to establish guidelines on the accuracy and credibility of health information shared openly and freely on these platforms. In addition, health professionals should guide patients in critically evaluating the content available online.
Conclusions #
Creation and dissemination of quality educational content aimed at health personnel and patients with type 2 diabetes is a priority. Our findings suggest that YouTube is the preferred platform for videos related to type 2 diabetes, with more popular and reliable videos overall, while videos on Facebook presented greater completeness in the provided data. Information sources such as government or news organizations and professional organizations also stood out in terms of data quality presented. It is important to consider these results when searching for information about type 2 diabetes on social media, highlighting the importance of critically evaluating the information found on these platforms.
- The paper Evaluating the quality of Spanish-language information for patients with type 2 diabetes on YouTube and Facebook, was published in Health Informatics Journals by Sage journals group. Authors: María Juliana Soto-Chávez, Candida Díaz-Brochero, Ana María Gómez-Medina, Diana Cristina Henao & Oscar Mauricio Muñoz
