Español
English
Volumen 17, N° 2
Edición 2018
ISSN 1684-0933
E-ISSN 2227-1465
Artículo
Metodología de análisis y evaluación de sitios web 2.0. El caso de las Diócesis Andaluzas
Recibido: 2-05-2018 – Aceptado: 20-06-2018
Leer Resumen
1. Introducción
Desde la eclosión de la World Wide Web, numerosos autores han intentado establecer un modelo teórico para calibrar tanto la calidad de un website como la adecuación del mensaje a la comunicación digital. El primer modelo teórico puede atribuirse a Boyd Collins (1995), quien propuso un sistema para que las bibliotecas realizaran una adecuada clasificación y revisión de los recursos en Internet, analizando la autoridad, el contenido, la actualización, el diseño gráfico y el uso innovador del nuevo medio. También en 1995 Jakob Nielsen comenzó a estudiar la usabilidad de los sitios webs en su popular newsletter Alertbox.
Otros antecedentes remotos son el SOSIG (Social Science Information Gateway, actualmente Social Sciences Institute), que constituyó una metodología de evaluación de sitios webs. Codina (2008a) también destaca los esfuerzos desarrollados por el CSIC en esta materia, que en el año 2004 creó, junto con la Fundación Española para la Ciencia y la Tecnología (FECYT) un portal –Tecnociencia– que incluía un apartado de recursos de calidad en ciencia y tecnología. En España también ha habido iniciativas en el ámbito universitario, como Darwin (de la Universidad de Salamanca), o de ámbito privado, como Cercador.
En las dos últimas décadas autores e instituciones han propuesto modelos para analizar y evaluar aspectos particulares del contenido y diseño de un sitio web, de su efectividad o de las expectativas de los usuarios. Algunos de estos estudios se aplican al análisis de cibermedios, poniendo el énfasis en el diseño y en la usabilidad. Otros modelos están más centrados en la evaluación de la calidad de la información del sitio web, como aquellos utilizados en sitios de ámbito científico. Uno de ellos es el BRACARD, propuesto por Marina Jiménez y Virginia Ortiz-Repiso (2007). Estas siglas se corresponden con el nombre de los cinco criterios básicos utilizados en el modelo: Búsqueda y recuperación de información, Autoridad, Contenido, Administración y Diseño.
El objetivo de estas metodologías es analizar e investigar cómo se ajustan los sitios a los objetivos de las instituciones y a las necesidades y características de los usuarios para, así, evaluar la validez de un website. Como explica Juan Narbona (2013: 114), “el análisis puede abordarse desde distintos ángulos: una página puede ser considerada una herramienta tecnológica, un espacio estético, un conjunto de aplicaciones, o una combinación de contenidos encaminados al establecimiento de una relación. Sin embargo, reducir el estudio a uno de estos campos no asegura la certeza sobre la calidad global del web”. Es necesario, por tanto, establecer un modelo que aborde el website desde una perspectiva global, que abarque las diferentes facetas y asegure la inclusión de todos los elementos. Para comprobar que sea un modelo válido, debe comprender las características básicas de la comunicación en la Red.
Barroso Huertas (2007: 146) señala cuatro conceptos básicos en el diseño web, que articulan tanto contenidos como características técnicas y enlazan las expectativas de los emisores con las de los visitantes: arquitectura de la información, navegabilidad, usabilidad y diseño de la información. Por su parte, Ramón Salaverría (2005: 28) fija las principales características de la comunicación digital en Internet: hipertextualidad, multimedialidad e interactividad. A las que Parra y Álvarez (2004) agregan la universalidad o trasnacionalidad de la información y, finalmente, la acumulabilidad de los datos.
López García (2005) y otros autores hacen una clasificación según lo que entienden como “nivel de dinamismo de los medios en línea”, lo cual explican de esta manera: “El concepto de dinamismo, inherente a los elementos definitorios del periodismo digital, alude al grado de aprovechamiento que los nuevos medios hacen de las posibilidades que ofrece el soporte en línea –aplicación de técnicas hipertextuales, multimedia e interactivas y frecuente actualización”. Resulta operativo, pues, determinar el nivel de dinamismo de un cibermedio –algo que se puede hacer extensivo a todos los sitios webs– a partir del grado de adecuación que alcanzan estos cuatro indicadores: hipertextualidad, multimedialidad, interactividad y frecuencia de actualización.
2. Objetivos
Pensamos que la Iglesia, como organización social destacada en la actualidad en España y en Andalucía, debería moverse por los mismos parámetros comunicativos que otras organizaciones sociales, políticas o económicas. En concreto, debería hacer un uso de Internet similar al que realizan otras organizaciones para establecer una comunicación fluida con sus públicos y utilizarlo también como una herramienta de comunicación interna.
Sin embargo, nuestra hipótesis de partida es que la Iglesia no es una institución de vanguardia en el uso de Internet en España. Al contrario, se sitúa más bien en la retaguardia a pesar de su relevancia social, porque posiblemente no dediquen los recursos humanos y económicos necesarios, o falta ingenio e innovación.
Nuestro estudio lo circunscribimos a la Iglesia Católica en Andalucía (España), dividida en diez diócesis o delimitaciones administrativas, para comprobar cómo se materializan las relaciones entre Iglesia e Internet. Para ello hicimos un análisis detallado de los sitios webs de los 10 obispados andaluces, deteniéndonos en iniciativas destacadas como los canales multimedia y las redes sociales.
Nuestra investigación persigue los siguientes objetivos:
1. Proponer un modelo de análisis válido para las herramientas cibernéticas diocesanas, que tenga en cuenta las relaciones entre el entorno corporativo (website) y el entorno público (medios sociales).
2. Establecer las dimensiones de la relación entre Iglesia e Internet, observando las diferencias de la Iglesia respecto a otros actores en el panorama comunicacional.
3. Estudiar la composición, tareas y rutinas de trabajo de las delegaciones diocesanas de medios de Andalucía.
4. Hacer un análisis de los sitios webs institucionales de las diócesis andaluzas y de la presencia en medios sociales, para llegar a tener una visión descriptiva de la situación del uso de esta herramienta, comprobando las virtualidades y las carencias.
5. Establecer un ranking de los sitios webs diocesanas de Andalucía en función de parámetros cuantificables.
3. Metodología
Utilizamos la metodología del estudio de casos múltiples, basándonos en las experiencias y recomendaciones de autores como Yin (1998), Coller (2000), Caro González (2002), Stake (2010) y Grandon Gill (2011). El estudio de casos tiene una amplia tradición en las ciencias sociales, desde que Le Play publicara su investigación Les Ouvries Europeenns en 1855, considerado el primer trabajo sociológico genuinamente científico. La metodología que empleó fue denominada, a posteriori, estudio de casos. Este método, como nos recuerda Coller (2000: 22-23) fue relevante en el proceso de configuración de la Sociología como disciplina científica, tal y como se aprecia en la obra de dos de sus padres fundadores: Max Weber, en La ética protestante y el espíritu del capitalismo (1904/5) y Durkheim, en Las formas elementales de la vida religiosa (1912).
Para algunos autores, como Fernández Cano (2002), el método del caso es una aportación de los jesuitas, que ya lo empleaban en el siglo XVI. A veces, el maestro de casos los compilaba y agrupaba formando lo que se vino a llamar Collationes casuum (Casos comparados). Un concepto semejante al de casos múltiples, que utilizamos en nuestra investigación.
Según Yin (1998: 23), “un estudio de casos es una investigación empírica que investiga un fenómeno contemporáneo en su contexto real, donde los límites entre el fenómeno y el contexto no se muestran de forma precisa, y en el que múltiples fuentes de evidencia son usadas”. Coller (2000: 29) define ‘caso’ de la siguiente manera: “Un caso es un objeto de estudio con unas fronteras más o menos claras que se analiza en su contexto y que se considera relevante bien sea para comprobar, ilustrar o construir una teoría o una parte de ella, bien sea por su valor intrínseco. (…) Cualquier objeto de naturaleza social puede construirse como caso”.
El estudio de casos se basa en el razonamiento inductivo. Las generalizaciones y teorías surgen a partir del examen minucioso de los datos. Se parte del análisis cualitativo de uno (caso único) o de distintos casos (casos múltiples) para hacer más adelante una generalización y una interpretación de la que se obtengan conclusiones. Aunque también se cuenta con un componente deductivo al beber de leyes o teorías generales existentes sobre la materia.
Según Caro González (2002: 32), “en el diseño de casos múltiples se utilizan varios casos únicos a la vez para estudiar la realidad que se desea explorar, describir, explicar, evaluar o modificar”. Este método permite comparar y contrastar las respuestas que se obtienen de forma parcial con cada caso que se analiza. Es lo que Yin (1998: 23) denomina “replicación lógica”: los casos son tratados como una serie de experimentos y cada caso sirve para confirmar o negar las inferencias aportadas por los demás o las perspectivas conceptuales emergentes. El estudio de casos múltiples puede ofrecer una visión más completa y contrastada de la realidad.
En cuanto al número de casos que deben estudiarse para llegar a conclusiones óptimas y válidas desde el punto de vista científico, Eisenhardt (1989: 545) recomienda seleccionar entre cuatro y diez casos. Un número inferior a cuatro dificultaría la generación de conclusiones globales y con más de diez se excedería la función de réplica que pide el método, dando en algunos casos información redundante.
Trabajamos con 10 casos semejantes o “paralelos” (por utilizar la terminología de Coller), relativos a cada una de las diócesis de la comunidad española de Andalucía: Almería, Cádiz y Ceuta, Córdoba, Granada, Guadix-Baza, Huelva, Jaén, Asidonia-Jerez, Málaga y Sevilla. La principal contribución de nuestro trabajo de investigación (Jiménez Carreira, 2016) fue la elaboración de una metodología de análisis válida para sitios webs diocesanos, pero también para sitios de cualquier ámbito. Para ello, nos basamos de entrada en el Website Communication Model (WCM), desarrollado por Daniel Arasa (2008). Este autor analiza los sitios webs utilizando cuatro pilares: contenidos y servicios (1), instrumentos técnicos (2), promotores (3) y visitantes (4).
Dicho modelo lo completamos con las propuestas de la red de investigación hispano-brasileña liderada por los profesores Marcos Palacios y Javier Díaz Noci (2009). Ambos autores hicieron una propuesta de análisis de cibermedios, basándose en cuatro elementos definitorios de la comunicación digital: la hipertextualidad, la multimedialidad, la interactividad y la frecuencia de actualización.
Establecieron tres metodologías para el análisis de los cibermedios: la primera es descriptiva, mediante una ficha de análisis (con cuatro pilares: contenidos, accesibilidad e investigación, disposición de elementos y análisis de elementos); la segunda interroga al grupo de expertos que rodean la web; la tercera se compone de estudios centrados en la audiencia. De la fusión entre ambos modelos, elaboramos una ficha de análisis que fue la guía en nuestra investigación.
Años después Juan Narbona (2013) desarrolló el Online Communication Model, (OCM), que añade un quinto pilar para contemplar el acercamiento a los medios sociales. Este nuevo pilar relaciona la comunicación en el entorno institucional (sitio web) con la del entorno público (medios sociales: redes sociales, blogs y comunidades de contenido). Esta era la base de nuestro estudio. El OCM es fruto de su tesis doctoral, Comunicación online de las organizaciones humanitarias sin ánimo de lucro, dirigida por el profesor Daniel Arasa y defendida en la Facultad de Comunicación Social Institucional de la Universidad de la Santa Cruz (Roma).
Para completar el modelo de Narbona y Arasa (2015) con un sistema de medición cuantitativo, nos apoyamos también en el método introducido por el grupo de investigación de Documentación Digital DigiDoc, de la Pompeu Fabra. Este método, diseñado por Linares, Codina y Pedraza (2014) se denomina Sistema Articulado de Análisis de Cibermedios (SAAC). “Consiste en un grupo de conceptos, presentados a través de una propuesta terminológica concreta, y por un grupo de elementos articulados que nos permiten llegar a lo que llamamos el qué (parámetros) y el cómo (indicadores) de cualquier futuro estudio sobre cibermedios”.
Los parámetros, según los creadores del SACC, responden a la pregunta sobre qué queremos estudiar y son el marco que garantiza la coherencia de un estudio. Constituyen la dimensión de un cibermedio sobre la que deseamos realizar algún tipo de análisis o de medición. Los parámetros presentan una característica eminentemente conceptual.
Por su parte, los indicadores responden a la pregunta sobre cómo vamos a medir los parámetros. Son, por tanto, elementos de análisis y de toma de decisión que facilitan la recogida de datos sobre la instanciación y la calidad de un parámetro.
El análisis de cibermedios, desde la delimitación de parámetros e indicadores, permite un estudio más o menos neutro de un único website y también realizar comparaciones entre varios cibermedios. Este método nos valió para identificar y fijar los elementos de análisis en los sitios webs diocesanos y para establecer pautas contrastables de evaluación.
Las ventajas que nos ofrecía el SAAC en nuestra investigación eran la de plasmar las pautas del OCM en una tabla de análisis (donde los parámetros se corresponden con los cinco pilares del modelo), y también su perfecto encaje con las disposiciones del estudio de casos múltiples.
Además, la tabla de protocolo de análisis del SAAC contempla una valoración cuantitativa. Así, en cada website analizado se pueden puntuar –siguiendo unas directrices concretas– todos los indicadores y parámetros, de manera que es posible otorgarle una puntuación global a cada caso. De este modo, llegamos a un ranking comparativo de todos los casos.
4. Del Website Communication Model (WCM) al Online Communication Model (OCM)
El Website Communication Model (WCM) es un marco de trabajo comprensivo para analizar la comunicación a través de sitios webs. Este modelo parte de unas intuiciones básicas sobre la construcción y el uso de un portal web, donde se aúnan: contenidos y servicios (1), instrumentos técnicos que permitan usar esos contenidos y servicios (2), promotores y encargados de realizar y mantener el website (3) y visitantes (4). Nos encontramos, por tanto, con elementos físicos (1 y 2) y humanos (3 y 4). Este modelo se corresponde con el sugerido por Jakobson (2002) para la comunicación en general, en aplicación a la comunicación cibernética.
Estas cuatro dimensiones tienen que ser estudiadas por separado, dada su complejidad, y también desde las relaciones que se establecen entre unas y otras. Según Van der Geest (2001), conseguir calidad en Internet requiere un profundo conocimiento del medio y una gran habilidad en aspectos técnicos y no técnicos de la comunicación, es decir, un conocimiento natural de las diferentes dimensiones de la Web. Estas dimensiones se corresponden con cada uno de los pilares del WCM.
Sin embargo, el WCM quedó ligado a un tipo de comunicación web 1.0, unidireccional, que no se corresponde con el desarrollo actual de la web. Así lo afirma Narbona, quien ha desarrollado el Online Communication Model a partir del Website Communication Model: “El modelo fue propuesto en el contexto tecnológico conocido como web 1.0, en el que, aunque los websites utilizaban un lenguaje multimedia, la comunicación era principalmente unidireccional. Si el concepto de red (internet) exige el entretejimiento de una relación recíproca entre agentes, podemos afirmar que en esta etapa inicial la World Wide Web no respetaba su propia naturaleza, ya que no existía esa reciprocidad” (2015: 115).
Desde que se propuso el WCM, Internet ha sufrido una rápida evolución, especialmente en interactividad y multimedialidad. Dejado atrás el modelo unidireccional de Web 1.0, se ha consagrado el de la Web 2.0, donde los protagonistas son los usuarios y las relaciones que se establecen entre ellos. Las webs institucionales se han trasladado a otros entornos 2.0, donde los canales de comunicación se han multiplicado. Por este motivo, el OCM tiene en cuenta no solo el entorno corporativo, sino también el público, el de los medios sociales (redes sociales, blogs y comunidades de contenido). De este modo, a los cuatro pilares del WCM se les ha añadido un quinto, que comprende el entorno público. A continuación nos adentramos en cada uno de estos pilares.
PILAR I. Contenidos y servicios
Se entiende por contenido el conjunto de textos, fotografías, videos y otros elementos que pueden ser interpretados por el usuario en un sitio web. Los servicios, en cambio, lo asisten en su navegación, facilitándole el acceso a los diferentes contenidos o permitiéndole llevar a cabo una acción determinada. Muchos servicios son ya un contenido interpretable, por lo que ambos elementos se pueden presentar entrelazados.
De los contenidos y servicios depende, en gran parte, la calidad del sitio web. Alexander y Tate (1999) distinguen cinco claves para evaluar el contenido y los servicios: autoridad, precisión, objetividad, actualidad y cobertura.
1. Autoridad. Se refiere a la cualidad que tiene el material creado por una persona u organización que es reconocida con conocimiento en un área determinada.
2. Precisión. Se refiere a la medida en que la información es de confianza y está libre de errores.
3. Objetividad. La información no es tendenciosa ni expresa intereses personales.
4. Actualidad. En Internet es básico este criterio.
5. Cobertura. Depende de qué se quiere comunicar, a quién y cómo.
PILAR II. Herramientas de accesibilidad. Instrumentos técnicos que permiten el acceso a estos contenidos y servicios
Técnicamente, un sitio web es el resultado de combinar aplicaciones de software. Muchos elementos pueden ser incluidos en el pilar de los instrumentos técnicos, desde los elementos del hardware (como las conexiones necesarias para acceder a los sitios web) a los elementos que dependen de la programación, como los gráficos, diseño, etc.
Según los creadores del OCM, hay que tener en cuenta cuatro herramientas de accesibilidad en un sitio web: hardware, software, conexiones de red e interfaz visual. Aquí es relevante el concepto de usabilidad, que debe estudiarse desde todos los grupos de personas que se relacionan con un sitio web. La usabilidad, en el marco del OCM, se define como una correcta relación entre los contenidos y servicios (pilar I), los instrumentos técnicos (pilar II) y los objetivos de los stakeholders (promotores, pilar III y usuarios, pilar IV).
Pilar III. Grupo de personas que promueve, produce y actualiza la página web (promotores y gestores)
Después de estudiar en los dos primeros pilares los elementos físicos del proceso comunicativo, en el III y en el IV nos detenemos en los elementos humanos o stakeholders que interaccionan en este proceso. Hay dos tipos de stakeholders en un website: aquellos que usan los servicios y contenidos (visitantes) y los que pueden influir en las decisiones de un proyecto web (directores/técnicos).
En el tercer pilar, el modelo de estudio sitúa al grupo de personas responsable de un portal web, que “planifica, crea, mantiene, actualiza, dirige, promueve e interactúa con los visitantes” (Arasa, 2008; 189). Representan a los stakeholders que tienen responsabilidad, de los que se pueden identificar varios tipos:
1. Clientes. Son los stakeholders que toman la iniciativa de desarrollar el sitio y financiar su desarrollo, promoción y mantenimiento.
2. Stakeholders que toman decisiones. A ellos les corresponde la toma de decisiones sobre la política comunicativa de la institución y, en concreto, sobre el website.
3. Expertos. Son los stakeholders cuyo trabajo está relacionado con la producción de contenidos, servicios y el contexto del portal. En ocasiones se contratan sus servicios.
4. Equipo de desarrollo. Son los stakeholders envueltos directamente en el análisis, proyecto, diseño, evaluación y mantenimiento de la web. Se llaman también webmasters.
PILAR IV. Grupo de personas que accede al website (usuarios)
Las personas que visitan un portal web, que interactúan con sus contenidos y servicios, forman también parte del mismo. Hay que identificar dos cuestiones:
a) ¿Quién es el público objetivo? ¿A quién va dirigida la comunicación?
b) ¿Quién puede tener interés en visitar el sitio?
Estas preguntas delimitan los dos tipos de usuarios: el público a quien la entidad se quiere dirigir y el público interesado en comunicarse con la entidad. Los públicos del website pueden ser internos (ligados al organigrama de la institución) o externos.
La analítica web ofrece herramientas, como Google Analytics, para comprobar el uso que los visitantes hacen de los contenidos y servicios de Internet: número de páginas vistas, número de visitas, número de visitantes únicos, páginas de origen que han remitido a la web, palabras clave usadas en los motores de búsqueda para acceder a la página web, tiempo de permanencia, áreas geográficas de procedencia, etc.
PILAR V. Entorno público (Social Media)
En el entorno público hay que analizar los principales canales de información de la Web 2.0: redes sociales, blogs y comunidades de contenido. En estos canales, consideramos aquellos que tienen un respaldo institucional, y los analizamos según el modelo propuesto.
Según Juan Narbona (2013; 189), las instituciones utilizan estas herramientas con tres objetivos: persuasión, usabilidad e interactividad. Cada uno de estos niveles se corresponde con uno de los pilares del modelo de análisis OCM: persuasión (I), usabilidad (II) e interactividad (III).
El primer pilar se refiere a la capacidad persuasiva de los contenidos y servicios. Los promotores deben adaptar los contenidos y los servicios al nuevo entorno de comunicación 2.0, que no se guía por los mismos patrones que la comunicación 1.0. El segundo pilar contempla la usabilidad de las herramientas de acceso. En el siguiente nivel se unifican los pilares III y IV del OCM para conocer el alcance de la interactividad que mantienen los dos agentes, ya que, en el entorno público, los promotores y los usuarios son, a la vez, tanto productores como consumidores de la información.
5. Tabla de protocolo de análisis
Los cinco pilares del OCM los concretamos y adaptamos en una tabla ajustada a las necesidades de nuestra investigación. Para la creación de nuestra tabla de protocolo recurrimos también, como indicamos anteriormente, el Sistema Articulado de Análisis de Cibermedios (SAAC).
Este método es el que nos permitió la creación de una ficha sistemática, denominada por sus creadores tabla de protocolo de análisis: “Es el instrumento principal de trabajo del SAAC. Consiste en una tabla en la cual cada fila corresponde a un indicador. Mediante las columnas, se asignará un comentario y una puntuación a cada indicador, previéndose también la toma de datos u observaciones para cada indicador” (Linares, Codina, y Pedraza, 2015: 12).
Para el SAAC corresponde al investigador la tarea de fijar los indicadores dentro de los parámetros que quiere estudiar, algunos de los cuales serán comunes a otros ámbitos temáticos cibernéticos, mientras que otros serán específicos para la evaluación que se está realizando.
Los parámetros responden a la pregunta ¿qué queremos evaluar? Los sitios webs representan una amplia variedad de géneros (cibermedios, sitios de empresa, publicaciones en línea, directorios, bases de datos, portales institucionales…), cada uno de los cuales, para ser evaluado, requiere parámetros específicos. Nosotros tomamos como parámetros de la ficha de análisis los cinco pilares del Online Communication Model. Una vez definida la lista de parámetros, tenemos que saber cómo medirlos, cómo comprobar su eficiencia en el sitio web considerado. Aquí intervienen los indicadores.
Los indicadores responden a la pregunta ¿cómo evaluamos ese parámetro? En la delimitación de la ficha hay que realizar una identificación y selección de indicadores. Habitualmente, cada parámetro genera varios indicadores. Para cada uno de ellos, según Lluís Codina (2008), hay que delimitar los siguientes elementos:
· Definición: presentación del indicador.
· Examen: pregunta o preguntas que debe hacerse el analista para adoptar decisiones sobre la calidad del indicador.
· Ejemplos: aclaraciones o ejemplos de recursos digitales que ayuden a entender cómo evaluar el indicador.
· Procedimiento y evaluación del indicador y puntuación.
Para la identificación y selección de indicadores, Lluís Codina propone una sencilla metodología, que seguimos para confeccionar nuestra tabla de protocolo de análisis, y que resumimos a continuación en la siguiente tabla:
Tabla 1. Metodología para la identificación y selección de indicadores según el SAAC
Fases de desarrollo de parámetros e indicadores |
Actividades |
Resultado |
1. Análisis |
1. Determinación de las características intrínsecas de los sitios que van a ser evaluados y los objetivos de los sitios. 2. Estudio de los aspectos más característicos del tipo de sitio que se pretende evaluar. |
1. Lista de parámetros evaluables. Pilares tomados del OCM. |
2. Diseño inicial de la tabla de análisis |
1. Determinación de los componentes más significativos de cada uno de los parámetros. 2. Determinación del título, enunciado, modo de examen, procedimiento y escala de puntuación de cada indicador. |
1. Lista de indicadores de cada parámetro. 2. Ficha completa de cada indicador. |
3. Test |
Realización de análisis inicial a los sitios. |
1. Tabla de resultados de evaluación. |
4. Refinamiento |
Estudio de la adecuación de los indicadores y parámetros a los objetivos perseguidos a la vista de los primeros resultados. Propuestas de mejora o modificación de los indicadores. |
1. Lista refinada de parámetros e indicadores. |
Fuente: elaboración propia
Comprobamos que la identificación y selección de indicadores se basa, fundamentalmente, en la observación del investigador, que se apoya en los parámetros globales de análisis dados y en las aportaciones de otros autores que ya han hecho un recorrido en esta materia. Estos son los pasos que hemos seguido en nuestra investigación, y que han dado como resultado la tabla de protocolo de análisis que resumimos a continuación. En dicha tabla (que es fundamentalmente descriptiva) aún no se contemplan los procedimientos de evaluación, que detallamos de forma más precisa en una tabla de valoración, en la que se seleccionan los indicadores evaluables y se indica la forma de puntuación.
Tabla 2. Elementos para el Protocolo de análisis
Datos Institucionales |
|
1. Pilar I: Contenidos y servicios |
a. Secciones del menú principal b. Contenidos (Información institucional) c. Noticias d. Servicios e. Otros recursos informativos f. Recursos informáticos g. Enlaces externos |
2. Pilar II. Herramientas de accesibilidad |
a. Gestores de contenidos b. Compatibilidad navegadores web c. Diseño interfaz d. Herramientas de usabilidad e. Formatos multimedia |
3. Pilar III. Promotores y gestores |
a. Responsables b. Presupuesto web c. Mantenimiento y alojamiento |
4. Pilar IV. Usuarios |
a. Fuentes del tráfico b. Usuarios externos 1. Estadísticas 2. Interactividad c. Usuarios internos d. Recursos para medios informativos |
5. Pilar V. Análisis del entorno público (Social Media) |
a. Relación entre entorno público y corporativo b. Community Manager c. Conectividad entre redes sociales d. Redes sociales y microblogs. e. Comunidades de contenido (Presencia). |
Fuente: elaboración propia
6. Valoración cuantitativa
El modelo de análisis desarrollado se completa con una valoración cuantitativa de los parámetros e indicadores, siguiendo las directrices del Sistema Articulado de Análisis de Cibermedios (SAAC). La tabla de protocolo de análisis confeccionada desde el Online Communication Model (OCM) contempla también, para cada indicador, una puntuación –junto con la explicación del procedimiento de puntuación seguido–, que nosotros hemos querido desligar para crear una nueva tabla, denominada tabla de valoración cuantitativa.
Siguiendo las directrices de Lluís Codina y su grupo de investigación, cada indicador tiene en la tabla una puntuación; de la suma de las puntuaciones se obtiene la puntuación global de cada parámetro (los parámetros se corresponden con los pilares del OCM); de la suma de las puntuaciones de cada parámetro se obtiene la puntuación global de cada website. El SAAC permite el estudio de un solo medio cibernético, pero también el estudio comparado de varios casos, estableciendo un ranking que identifica cuáles son los websites con mejor y con peor puntuación (Linares, Codina y Pedraza, 2015; 22). Nuestra metodología se ajusta a esta segunda posibilidad, ya que la diseñamos para un estudio de casos múltiples.
El SAAC delimita cómo calcular la puntuación de cada indicador, según este sea molecular o binario (Codina, 2008b; 22):
· Los indicadores moleculares son aquellos cuya evaluación se hace mediante una escala, que puede tener una puntuación de 0 a 3. Según los creadores de este sistema, el 0 se correspondería con “error grave en el indicador”, el 1 con un “error”, el 2 con “correcto, pero mejorable” y el 3 con “excelente”. En esta valoración se deja en manos del investigador, en el que influye su experiencia como usuario.
· Los indicadores binarios son aquellos que se corresponden únicamente con una respuesta de sí o no. La puntuación en estos casos es de 0 a 1, donde el 0 representa el incumplimiento del indicador y el 1 el cumplimiento.
La suma de las puntuaciones máximas de los indicadores muestra la puntuación máxima de cada parámetro, que nos dará una idea de la importancia que cada pilar tiene en el OCM. La suma de las puntuaciones de los parámetros indica la puntuación máxima que puede alcanzar un website, y que nos lleva a establecer la puntuación global. Esta se obtiene dividiendo el total de puntos entre el número de indicadores que se han implicado en la tabla de valoración. Así, en nuestra tabla, la puntuación total (de todos los parámetros) es de 140. Al contar con 70 indicadores, la puntuación global es de 2.
En cada website hemos hecho la suma de las puntuaciones de los indicadores y de los parámetros, que nos ha dado la puntuación total. Al dividirla entre 70, obtenemos la puntuación global para cada website, que nos permite establecer el ranking entre los diez casos analizados. Una puntuación global por encima de 1 indica que se está haciendo un trabajo correcto en el website (haciendo una comparación académica, tendría una nota de aprobado); por el contrario, una puntuación por debajo de 1 indica que el sitio debería someterse a una renovación (estaría suspenso). Por encima de la puntuación 1,5 estamos ante sitios sobresalientes.
Hechas estas indicaciones, recogemos a continuación la tabla de valoración que elaboramos desde la tabla de protocolo de análisis. En ella no están presentes los datos institucionales o informativos, y se han simplificado los indicadores de cada pilar unificándolos en varios grupos. Hay también ciertos indicadores que no aparecen en esta tabla, ya que se cumplen de igual forma en todos los websites, y no cabe hacer una valoración sobre ellos. Otros también se han omitido, en el caso de que no haya herramientas para su valoración en todos los websites. El tipo de puntuación (molecular o binaria) se señala junto a cada indicador (0-3; 0-1); también se especifica la puntuación máxima de cada parámetro.
Tabla 3. Valoración cuantitativa
Parámetros e indicadores |
Puntuación |
Observaciones |
Pilar I. Contenidos y Servicios (26) |
26 |
|
Información institucional: presencia de los pilares básicos de la ficha de análisis |
0-3 |
Valoración de la inclusión de los pilares básicos en la ficha de análisis. |
Plan pastoral, descargable o consulta online |
0-1 |
¿Se puede consultar el plan pastoral? |
Revista diocesana, descargable o consulta online |
0-1 |
¿Hay revista diocesana? |
Noticias: Ámbito extradiocesano |
0-1 |
¿Se publican noticias de ámbito extradiocesano? |
Actualización |
0-3 |
Valoración del ritmo de actualización de las noticias. |
Valoración de la actualización general del sitio |
0-3 |
Ritmo de actualización de secciones institucionales y de noticias. |
Otros géneros periodísticos (reportajes, entrevistas…) |
0-3 |
Publicación de otros géneros más allá de noticias. |
Servicios diocesanos básicos (horario de misas, agenda, oficina virtual, sala de prensa, donaciones) |
0-3 |
Valoración de la inclusión de estos servicios, en función de su número y de su calidad. |
Otros recursos: santoral, evangelio del día, materiales… |
0-3 |
Valoración de la publicación de recursos de oración, en función de su número y calidad. |
Recursos informáticos: programas, correo electrónico… |
0-1 |
¿Se ofrecen recursos informáticos a usuarios externos e internos? |
Newsletter/sindicación |
0-1 |
¿Hay servicio de newsletter o sindicación? |
Enlaces (variedad, facilidad de acceso; diocesanos y extradiocesanos) |
0-3 |
Valoración de la variedad de enlaces externos, si hay sección específica, facilidad de acceso… |
Pilar II. Herramientas de accesibilidad (21) |
21 |
|
Diseño adaptativo |
0-3 |
¿Tiene diseño adaptativo? Valoración de su comportamiento, número de media queries. |
Menú flotante |
0-1 |
¿Hay menú flotante? |
Valoración del diseño de la homepage: facilita la navegación, cuidado |
0-3 |
Valoración de estos indicadores. |
Colores institucionales |
0-1 |
¿Se utilizan colores institucionales en la homepage, especialmente en la cabecera? |
Tipografía: legibilidad, tipo, diseño |
0-3 |
Valoración de la originalidad de la fuente, su legibilidad, uniformidad en el diseño, etc. |
Buscador |
0-1 |
¿Hay buscador? |
Permite búsqueda avanzada |
0-1 |
¿Permite búsqueda avanzada? |
Mapa del sitio |
0-1 |
¿Hay mapa del sitio? |
Imprimir artículos, pdf, enviar por correo electrónico |
0-1 |
¿Se pueden imprimir los artículos, enviar por correo electrónico y convertir a formato pdf? |
Multimedia: Audio |
0-1 |
¿Hay archivos o reproductores de audio? |
Vídeo |
0-1 |
¿Hay archivos o reproductores de vídeo? |
Álbumes de fotografías |
0-1 |
¿Hay álbumes fotográficos? |
Archivos para descarga (pdf, Word) |
0-1 |
¿Hay archivos de utilidad para su descarga? |
Canal de audio |
0-1 |
¿Hay canal de audio diocesano? |
Canal de televisión |
0-1 |
¿Hay canal de televisión diocesano? |
Pilar III. Promotores y gestores (11) |
11 |
|
Delegación de medios. Valoración del número de personas encargadas del sitio web y formación específica |
0-3 |
¿Cuántas personas son las responsables directas del website? ¿Tienen formación específica para ello? |
Profesionales externos (mantenimiento…), tanto del obispado como de empresa externa |
0-1 |
¿Hay personas de otros departamentos del obispado o de empresa externa que colaboren en la actualización y mantenimiento del website? |
Valoración del presupuesto para el sitio web en el conjunto del presupuesto de la delegación |
0-3 |
Si disponemos de los datos del presupuesto para el website, valoración del mismo en función del presupuesto de la delegación. |
Presencia de la imagen institucional en el sitio web: logotipo, colores, URL, favicon… |
0-3 |
Valoración de la presencia de la imagen institucional en el website desde los elementos señalados. |
Datos de contacto offline |
0-1 |
¿Se ofrecen datos de contacto offline? |
Pilar IV. Usuarios (22) |
22 |
|
Utilización de herramientas de analítica web |
0-1 |
¿Los promotores utilizan herramientas de analítica web? |
Trabajo en SEO |
0-1 |
¿Se trabaja en posicionamiento SEO? |
Page Rank 0: 0-1 1: 2-4 2: 5-7 3: 8-10 |
0-3 |
Valoración del Page Rank (mínimo 0, máximo 10) según estos parámetros. |
PR Quality 0: - 1: weak 2: moderate 3: strong |
0-3 |
Valoración del PR Quality (weak, moderate, strong) según estos parámetros. |
Número de visitantes únicos diarios 0: <100 1: 100-499 2: 500-999 3: ≥1.000 |
0-3 |
Valoración del número de visitantes únicos diarios, donde la excelencia está en superar los 1.000. Estos rangos los hemos establecido comparando las estadísticas de los distintos websites (la mayoría se sitúa por debajo de las 1.000 visitas). |
Tiempo de permanencia en el sitio 0: 0-1 minuto 1: 1-2 minutos 2: 2-3 minutos 3: >3 minutos |
0-3 |
Valoración del tiempo de permanencia en el sitio, desde estos rangos establecidos comparando los datos de los distintos websites (la mayoría se sitúa por debajo de los 3 minutos). |
Global Rank Alexa 0: >10 millones 1: 5 millones-10 millones 2: 1 millon-5 millones 3: <1 millón |
0-3 |
En este Rank es positivo tener un número bajo. Los rangos los hemos establecido comparando las cifras de los distintos websites (la mayoría supera el millón). |
Valoración del nivel de interactividad |
0-3 |
¿Cuántos elementos del website facilitan la interactividad? |
Intranet, áreas para usuarios internos |
0-1 |
¿Hay intranet con acceso desde el website? |
Área para medios de comunicación |
0-1 |
¿Hay área para medios de comunicación? |
Pilar V. Medios sociales (60) |
60 |
|
Nivel gráfico: logotipos, colores, imágenes… |
0-3 |
Valoración de la relación gráfica entre los distintos medios (imágenes y logotipos, colores…). |
Nivel temático |
0-3 |
Valoración de la relación temática de los artículos en los distintos medios, del contenido original, etc. |
Nivel relacional (presencia de redes en el sitio web, enlaces al sitio web en las redes) |
0-3 |
Valoración del nivel relacional entre los canales: si hay presencia de medios sociales en el website (widgets, botones, enlaces) y del website en las redes (enlaces, etc.). |
Índice Klout 0: - 1: <40 2: 40-60 3: >60 |
0-3 |
Valoración de la presencia o no en Klout y del índice, desde estos rangos establecidos por la observación de los medios diocesanos andaluces (todos se sitúan entre 40 y 60). |
Herramientas gestión de contenidos |
0-1 |
¿Se utiliza alguna herramienta de gestión de contenidos? |
Facebook (presencia activa) |
0-1 |
¿Hay presencia activa en Facebook? |
Fanpage |
0-1 |
¿Hay fanpage en lugar de perfil de amistad? |
Número de posts de media al día |
0-3 |
Valoración del número de posts al día de media. Si son más de dos, puntuamos con un 3; si son menos de dos, con un 2; si son menos de uno, con un 1. |
Contenido original |
0-1 |
¿Se produce contenido original para Facebook? |
Seguidores 0: - 1: <1.000 2: 1.000-2.000 3: >2.000 |
0-3 |
Los rangos los hemos establecido contrastando el número de seguidores en las cuentas diocesanas. Solamente tres superan los 2.000. La mayoría se sitúa por debajo de 1.000 o por encima de 1.000. |
Engagement 0: - 1: <5% 2: 5-10% 3: >10% |
0-3 |
Los porcentajes de engagement de Facebook oscilan entre 0 y 10, por lo que la puntuación 0-3 la hemos dividido en esos rangos. |
Diálogo |
0-1 |
¿Hay respuesta de los promotores a los comentarios? |
Twitter (presencia activa) |
0-1 |
¿Hay presencia activa en Twitter? |
Número de tweets de media al día |
0-3 |
Valoración de la media de tweets al día. Por encima de dos, hemos puntuado con un 3; por encima de uno, con un 2; por encima de cero, con un 1. |
Contenido original |
0-1 |
¿Se produce contenido original para Twitter? |
Seguidores 0: no presencia 1: <1000 2: 1.000-2.000 3: >2.000 |
0-3 |
Los rangos los hemos establecido contrastando el número de seguidores en los perfiles diocesanos. Solamente tres superan los 2.000. La mayoría se sitúa por debajo de 1.000 o por encima de 1.000. |
Engagement 0: - 1: <5% 2: 5-10% 3: >10% |
0-3 |
Hemos tomado los mismos rangos que en Facebook, aunque en Twitter el engagement suele ser menor. |
Diálogo |
0-1 |
¿Hay respuesta de los promotores a los replies? |
Presencia en otra redes sociales de forma activa |
0-3 |
Hemos otorgado un punto extra en este indicador por cada red social en la que esté presente la diócesis aparte de Facebook y Twitter. |
Blogs (presencia en el website de forma activa) |
0-1 |
¿Se cuenta con algún blog activo presente en el website? |
Valoración de actualización |
0-3 |
Valoración de la media de posts al día. Aquí no hemos podido establecer rangos comunes, debido a las grandes diferencias de los blogs diocesanos. |
Participación de usuarios/respuesta |
0-3 |
¿Se permite la participación de los usuarios? ¿Hay respuesta por parte de los promotores? |
YouTube (presencia activa) |
0-1 |
¿Hay canal activo en YouTube? |
Número de vídeos subidos 0: - 1: 1-99 2: 100-999 3: ≥1.000 |
0-3 |
Valoración del número total de vídeos subidos (aquí no tomamos las medias de publicaciones diarias porque son muy bajas). Solamente una cuenta diocesana supera los 1.000. La mayoría se sitúa por debajo de 100. |
Contenido original |
0-1 |
¿Se produce contenido original para YouTube? |
Número de impactos por vídeo 0: - 1: 1-99 2: 100-999 3: ≥1.000 |
0-3 |
La mayoría de las cuentas analizadas tiene un número de impactos de entre 100 y 1.000. Con los rangos propuestos diferenciamos las que superan los 1.000 y las que no llegan a 100. |
Comentarios de usuarios |
0-1 |
¿Se permiten los comentarios de usuarios en YouTube? |
Presencia en otras comunidades de contenido de forma activa |
0-3 |
Hemos otorgado un punto extra en este indicador por cada comunidad de contenido en la que esté presente la diócesis aparte de YouTube. |
Total puntuación |
140 |
|
Total indicadores |
70 |
|
Puntuación global máxima |
2 |
|
Fuente: elaboración propia
7. Resultados
Completadas las tablas de valoración de las 10 diócesis andaluzas, siguiendo la forma de puntuación propuesta, elaboramos la siguiente tabla de valoración final, que recoge las puntuaciones por parámetros, totales y globales registradas en enero de 2016.
Tabla 4. Valoración final
Parámetros |
Pilar I (26) |
Pilar II (21) |
Pilar III (11) |
Pilar IV (22) |
Pilar V (60) |
Total (140) |
Puntuación global (2) |
Almería |
15 |
12 |
4 |
8 |
28 |
67 |
0,96 |
Cádiz |
16 |
11 |
8 |
11 |
37 |
83 |
1,19 |
Córdoba |
23 |
15 |
11 |
13 |
38 |
100 |
1,43 |
Granada |
17 |
10 |
6 |
12 |
29 |
74 |
1,06 |
Guadix |
13 |
7 |
5 |
7 |
21 |
53 |
0,76 |
Huelva |
13 |
7 |
6 |
11 |
21 |
58 |
0,83 |
Jaén |
15 |
8 |
6 |
12 |
18 |
59 |
0,84 |
Jerez |
9 |
6 |
6 |
6 |
27 |
54 |
0,77 |
Málaga |
25 |
19 |
9 |
16 |
39 |
108 |
1,54 |
Sevilla |
20 |
17 |
11 |
14 |
41 |
103 |
1,47 |
Fuente: elaboración propia
Comprobamos que en la puntuación global hay cinco diócesis que se sitúan por encima del 1 (estarían aprobadas), mientras que otras cinco están por debajo del 1 (suspensas). Las tres mejores puntuaciones corresponden a Málaga (1.54), Sevilla (1.47) y Córdoba (1.43).
Tras estas tres diócesis, las siguientes se sitúan a bastante distancia. Aprobadas solamente hay dos más: Cádiz (1.19) y Granada (1.06). Almería roza el 1 (0,96). Jaén (0,84) y Huelva (0,83) tienen puntuaciones similares, al igual que las dos diócesis en la cola del ranking: Jerez (0,77) y Guadix (0,76).
Esta metodología de análisis, válida para cualquier conjunto de sitios web y cibermedios, podría completarse con un estudio de madurez digital de las instituciones o corporaciones responsables de estos canales de comunicación. Para ello, Martin Gill (2016) nos propone una serie de herramientas interactivas que miden las dimensiones que configuran dicha madurez, como la Intensidad Digital y la Intensidad en la gestión de la transformación. La Intensidad Digital es la inversión en iniciativas de corte tecnológico, con el objetivo de cambiar la forma de trabajar de la institución o empresa. Mientras que la Intensidad de la gestión de la transformación, consiste en crear capacidades de liderazgo para llevar a cabo la transformación digital de la organización.
8. Conclusiones
Los principales documentos eclesiales de los últimos años sobre la comunicación en la Iglesia han enfatizado mucho la necesidad del uso de las herramientas cibernéticas 1.0 y 2.0 por parte de todos los organismos eclesiales, aunque estas indicaciones no siempre se llevan a la práctica. Quizá, el ámbito de la comunicación sea uno de los más atendidos por la Iglesia en su Magisterio. Sin embargo, esta relevancia teórica no se corresponde con una realización práctica esperable.
En el caso del uso de Internet, habiendo tomado los casos representativos de las diócesis andaluzas, comprobamos cómo hay un atraso destacado a la hora de poner en marcha iniciativas que ya han pretendido impulsar el Papa Francisco (por ejemplo, en la comunicación vaticana) o los obispos, y que de hecho se utilizan con normalidad en otros ámbitos institucionales (sociales, políticos, económicos, etc.).
En general, detectamos una falta de medios económicos y humanos en las delegaciones de medios de Andalucía. Un 40 por ciento no cuenta con el presupuesto ni con el número de profesionales adecuado (aunque hay diferencias según las diócesis). Solamente seis delegaciones contemplan una partida anual fija en los presupuestos diocesanos (Cádiz y Ceuta, Córdoba, Guadix, Huelva, Málaga y Sevilla), y esta suele ser baja. Hay tres casos en los que no hay ningún trabajador externo en la delegación aparte del delegado (Almería, Guadix y Asidonia-Jerez). En la mitad de ellas (Almería, Córdoba, Guadix, Jaén y Sevilla), el delegado es un sacerdote que tiene que compaginar este puesto con otras muchas tareas pastorales. Podemos decir que sólo la mitad de las diócesis (Córdoba, Granada, Jaén, Málaga y Sevilla) dispone de un equipo de trabajo consolidado, de tres o más profesionales en la delegación.
Hay diferencias significativas en el funcionamiento y composición entre las distintas delegaciones de medios de Andalucía, que se corresponden con el volumen poblacional de las diócesis y su dotación de recursos. Las cinco diócesis más pobladas de Andalucía son, por este orden: Sevilla, Málaga, Córdoba, Granada y Cádiz. Málaga y Córdoba son las que cuentan con un equipo más numeroso en la delegación de medios, y también, junto con Sevilla, son las que más iniciativas cibernéticas llevan adelante. Por el contrario, las cinco diócesis menos pobladas –que tienen, por tanto, menos recursos– son las que tienen unas delegaciones más pequeñas, con menos medios económicos y humanos.
Según el ranking obtenido tras la aplicación de la tabla de valoración cuantitativa (tablas 3 y 4), las cinco diócesis en cabeza (las que han conseguido una calificación de aprobado) son las que tienen un mayor volumen de población y recursos, mientras que las cinco diócesis que se sitúan en la parte baja de la clasificación (las suspensas) son las más pequeñas. El podio (al que se han subido Málaga, Sevilla y Córdoba) está ocupado por las tres diócesis más grandes.
Las diferencias son importantes, de hasta casi un punto entre el caso mejor valorado (Málaga: 1,54 puntos) y el peor (Guadix: 0,76 puntos). Sin embargo, no podemos absolutizar los datos de tamaño de las diócesis y de sus recursos como motivo determinante de las variaciones. Las que más puntuación han recibido son aquellas que más trabajan los aspectos de actualización.
Aunque la mayoría de las diócesis estudiadas está presente en los canales más usuales (Facebook, Twitter y YouTube), los perfiles no están actualizados en muchos casos a un ritmo deseable, ni guardan una relación estrecha a nivel gráfico, temático o relacional con el website (falta unidad en cuanto a imagen institucional, hay poca presencia de enlaces o widgets en el sitio, unidad de contenido guardando la especificidad comunicativa de cada canal –generalmente, solo se publican enlaces a artículos del sitio–, etc.).
Por lo general, el nivel de interactividad que hemos detectado en nuestro análisis es muy básico: la mayoría de los sitios webs permite únicamente recibir feedback de los usuarios mediante correo electrónico; en ninguno de los casos hay posibilidad para foros, chats o encuestas (solamente Málaga permite comentarios de los lectores a los artículos).
Por tanto, es imprescindible para la Iglesia por su identidad y por su misión, potenciar el uso de Internet. Un ámbito idóneo para hacerlo lo conforman las delegaciones diocesanas de medios, a través de sus portales institucionales y a través de otras iniciativas cibernéticas que en la Iglesia andaluza han comenzado a ponerse en marcha, teniendo aún por delante con un camino largo que recorrer.
A pesar de esta carencia de recursos económicos y humanos, hay diócesis que están dando los pasos adecuados para usar las herramientas cibernéticas como plataformas evangelizadoras. Lo desarrollan desde la creación de equipos de voluntarios, que hacen de la comunicación una pastoral diocesana más, como pueden serlo la atención a los más necesitados o a los enfermos. En este sentido, concluida nuestra investigación, la Archidiócesis de Sevilla presentó a principios de 2018 una nueva plataforma online con un inequívoco carácter pastoral. Archisevilla Siempre Adelante es el nombre de esta herramienta evangelizadora que consiste en una moderna web con perfiles de redes sociales vinculados y que se actualiza a diario. Es este un ejemplo de cómo se pueden dar los pasos adecuados para situar a la Iglesia andaluza en la vanguardia según marcan los documentos y las directrices indicadas por otros ámbitos eclesiales, superando las carencias existentes.
Bibliografía
Alexander, J.E. Y Tate, M.A. (1999). Web wisdom. How to evaluate and create information quality on the web. Mahwah (NJ): Lawrence Erlbaum Associates
Arasa, Daniel (2008). Church communications through diocesan websites.Roma: Edusc.
Barroso Huertas, O. (2007). Nuevas tendencias en el diseño de sitios web corporativos. Madrid: Universitas.
Caro González, F.J. (2002). Cambio en innovación en la empresa informativa. Universidad de Sevilla.
Codina, Lluis (2008a). Evaluación de calidad en sitios web: metodología de proyectos de análisis sectoriales y de realización de auditorías. Barcelona: UPF.
Codina, Lluis (2008b). Sistema general de análisis y evaluación de sitios web. Parámetros e indicadores. Barcelona: UPF. Recuperado: http://www.lluiscodina.com/wp-content/uploads/2014/04/indicadores_2008.pdf.
Codina Ll, Díaz Noci, J. y otros (2014). Sistema Articulado de Análisis de Cibermedios (SAAC). Una propuesta sobre el qué y el cómo para estudiar medios de comunicación digitales. Hipertext.net [online], 2014, Núm. 12. DOI: 10.2436/20.8050.01.13
Sistema Articulado de Análisis de Cibermedios (SAAC). Una propuesta sobre el qué y el cómo para estudiar medios de comunicación digitales. Hipertext.net. Recuperado: http://raco.cat/index.php/Hipertext/article/view/275560/364530.
Coller, X: (2000). Estudio de casos. (Cuadernos metodológicos, 30). Madrid: CIS.
Boyd R. Collins y Eileen Flick (2009). Infofilter: Making sense of the internet. New Review of Information Networking, 1:1, 203-207, DOI: 10.1080/13614579509516861
Fernández Cano, Antonio (2002). La casuística: Un ensayo histórico-metodológico en busca de los antecedentes del estudio de caso. Arbor CLXXI, 675 (marzo), pp. 489-511.
Eisenhardt, K. (1989). Building theories from case study research. The Academy of Management Rewiew [en línea]. Vol. 14, núm. 4, pp. 532-550.
Gill, Martin (2016). The Digital Maturity Model 4.0 Interactive Tool. Recuperado de: https://www.forrester.com/report/The+Digital+Maturity+Model+40+Interactive+Tool/-/E-RES117661
Grandon Gill, T. (2011). Informing with the Case Method. Santa Rosa (CA): Informing Science Press.
Jakobson, R. (2002). Saggi di linguistica generale. Milano: Feltrinelli
Jiménez, M., y Ortiz-Repiso, V. (2007). Evaluación y calidad de sedes web. Gijón: Trea.
Jiménez Carreira (2016). El uso de Internet en las diócesis andaluzas. (Tesis doctoral). Universidad de Sevilla. Disponible en: https://idus.us.es/xmlui/handle/11441/39455.
Linares, J., Codina, Ll. y Pedraza, R. (2015). Interactividad en cibermedios. Propuesta nuclear de protocolo de análisis. Barcelona: Grupo de Investigación DigiDoc. Recuperado de: http://www.upf.edu/digidoc/_pdf/protocolo_interactividad_2015.pdf.
López García, X (2005). Tipología de los cibermedios. En Salaverría, R. (coord.). Cibermedios. El impacto de Internet en los medios de comunicación en España (pp. 39-81). Sevilla: Comunicación Social.
Narbona, J. (2013). Comunicación online de las organizaciones humanitarias sin ánimo de lucro. (Tesis doctoral). Facultad de Comunicación Social de la Universidad de la Santa Cruz, Roma.
Narbona, J. y Arasa, D (2015). The Online Communication Model: A theoretical framework to analyze the Institutional Communication on the Internet. En Cheruvallil-Contractor, S. y Shakkour, S. (eds.). Digital Methodologies in the Sociology of Religion (pp. 109-136). Derby: Bloomsbury Academic.
Nielsen, J. (2002). Usabilidad. Diseño de sitios web. Madrid: Pearson Educación.
Palacios, Marcos y Díaz Noci, Javier. (eds.) (2009). Ciberperiodismo: métodos de investigación. Una aproximación multidisciplinar en perspectiva comparada. Bilbao: Servicio de Publicaciones de la Universidad del País Vasco.
Parra Valcarce, David y Álvarez Marcos, José (2004). Ciberperiodismo. Madrid: Síntesis.
Salaverría, R (2005). Redacción periodística en Internet. Pamplona: Eunsa.
Stake R.E. (2005). Investigación con estudios de casos. V edición. Madrid: Morata.
Yin, R.K (1998). Case study research. Design and methods. Newbury Park (CA). Sage Publications.
Van der Geest, T.M (2001). Web Site Design is Communication Design. Amsterdam: John Benjamins Publishing Company.