La evaluación de la calidad en Instituciones de Educación Superior (IES) cubanas se realiza según establece el Sistema de Evaluación y Acreditación de Instituciones de la Educación Superior de la República de Cuba (SEA-IES). Los documentos básicos del sistema son: el patrón de calidad, la guía de evaluación y el reglamento de evaluación.

Estos documentos contienen la descripción de un conjunto de cualidades del objeto de estudio o estándares previamente establecidos y que deberán ser satisfechos para garantizar la acreditación de la IES, las variables e indicadores preestablecidos y los procedimientos de la Junta de Acreditación Nacional (JAN) a sus efectos (2015).

La evaluación de la calidad es un tema cuestionado por su subjetividad, que se reduce con los procesos de evaluación externa según Carrasco Loyola (2015). La realizan personas a partir de criterios cualitativos que dependen en gran medida del juicio de los evaluadores y su experticia, y cuando de la gestión universitaria se trata, se agudiza esta subjetividad por la complejidad de los procesos universitarios y su integración como sistema de acuerdo a González (2014) y Ortiz (2014).

En tanto, algunos indicadores y criterios de evaluación del Patrón de Calidad quedan abiertos y no siempre se declara explícitamente cómo debe ser evaluado, por lo que constituye una demanda del Comité Técnico de Evaluación de IES la elaboración de instrumentos que aporten a su estandarización forma tal, que independientemente del evaluador que los utilice, sus resultados sean similares. Estos instrumentos facilitarían el proceso de evaluación externa, y además servirían de pauta para la autoevaluación, independientemente que podrían utilizarse para perfilar los estándares de calidad establecidos y establecer con mayor claridad las categorías de acreditación de las IES.

Así, la situación problemática de la investigación original se enmarca en la necesidad de diseñar instrumentos que aseguren la aplicación estandarizada y eficaz de los criterios de evaluación establecidos en el patrón de calidad de la JAN para IES y tiene como antecedentes los trabajos de las universidades para agilizar el proceso de evaluación, muchas veces engorroso por la falta de seguimiento sistemático de los indicadores establecidos y otras porque los criterios de evaluación de los indicadores no son suficientemente explícitos y cada IES hace su interpretación al respecto.

A tal efecto en la Universidad Central “Marta Abreu” de Las Villas se diseñaron instrumentos en la variable cinco de la evaluación institucional, relacionada con la infraestructura y gestión de los recursos, utilizando la Cualimetría como disciplina para su elaboración, expuesto por González Cruz, Ledesma Martínez y Rodríguez Marín, (2015) y generalizado por las autoras del artículo.

El presente trabajo tiene por objetivo describir el procedimiento general para la aplicación de la Cualimetría en las IES y los resultados obtenidos de su aplicación en el caso de la infraestructura y gestión de recursos. Constituye un reporte parcial de la investigación original.

Los métodos utilizados consisten en el estudio y la aplicación de los presupuestos de la Cualimetría como ciencia, para el diseño del procedimiento, en tanto para evaluar la factibilidad del procedimiento se utiliza la experimentación con la variable-caso de estudio, demostrando la posibilidad de elaborar módulos cualiméticos que pueden ser utilizados como instrumentos, tanto de evaluaciones internas como externas.

Finalmente se exponen las ventajas del uso de los módulos cualimétricos utilizados en procesos de evaluación por distintas universidades cubanas.

Cualimetría

El desarrollo científico y tecnológico está marcado por un constante crecimiento en el uso de técnicas cuantitativas para racionalizar la toma de decisiones. La historia la humanidad evidencia la utilización de técnicas para la medición en diferentes ramas del saber, a las que se le adiciona el sufijo “metría” (proveniente del latín metīri, que significa “medir”), así, se conocen distintas disciplinas específicas, tales como la Hidrometría (medición del volumen del agua de la Hidrología), la Econometría (rama de la Economía para analizar, interpretar y hacer predicciones sobre sistemas económicos), entre otras, dedicadas a la medición.

La Cualimetría se creó en 1968 por G. G. Azgaldov como una disciplina científica, encargada de estudiar la metodología y los problemas de evaluación cuantitativa de la calidad como solución al problema metodológico y aplicativo de la calidad en general (Azgaldov & Kostin, 2011). Aunque fue originalmente desarrollada para estudiar y medir la calidad de los productos y procesos productivos, su aplicación se ha ido extendiendo gradualmente a los servicios, entre ellos la Educación (Padilla, 2013).

Según G. G. Azgaldov, las leyes de la Cualimetría permiten asegurar un balance apropiado entre lo objetivo, de carácter cuantitativo y cuantificable, y lo subjetivo, de carácter cualitativo y difícil de cuantificar, y la comparabilidad para facilitar el desarrollo de estándares. Sus relaciones esenciales se producen entre lo cualitativo-cuantitativo, objetivo-subjetivo, planificado-logrado, aseguramiento de la calidad y gestión y rendición de cuentas (accountability) lo que demuestra la complementación dialéctica de las mediciones cualitativas y cuantitativas en diferentes contextos. Este autor alerta que para una evaluación confiable de la calidad es necesario: (1) establecer las características de calidad en términos claros y precisos, clarificando la terminología; (2) definir la situación de evaluación, y (3) construir un árbol de características de calidad. Además propone una forma de cálculo para evaluar la calidad integral de un producto o servicio.

Una característica de calidad es el rasgo diferenciador e inherente del objeto de evaluación (NC ISO 9000:2015), que existe especialmente de forma permanente y no es asignada, como pudiera asignarse el precio de un producto o servicio. Existen varias clasificaciones de las características pero una que resulta útil es la que trata el grado de complejidad, donde se identifican dos grupos: (1) características complejas, aquellas que se descomponen en otras menos complejas y (2) características elementales, referidas a aquellas que no pueden ser descompuestas. Las características elementales son aquellas que pueden ser medidas en unidades de medición especificadas, independientemente del tipo de sensor utilizado al efecto.

Es preciso aclarar que las características elementales pueden ser medidas por métodos de metrología, métodos de psicología experimental, tales como la medición de expertos, algunas características ergonómicas y ecológicas y métodos analíticos, cuando se conoce la relación funcional entre el índice absoluto de una característica compleja y las características que lo componen, menos complejas o elementales (en algunos casos, puede ser denominada propiedad “cuasi-elemental”).

La situación de evaluación se define previo a la evaluación de la calidad de la característica y depende de las condiciones de la aplicación del objeto de medición, las escalas a utilizar y el método a utilizar en la evaluación de la característica de calidad.

Un árbol de características de calidad es la representación ordenada por jerarquía, desde un nivel más general y complejo hasta un nivel de características elementales o cuasi-elementales; en este último nivel se encuentran las características de calidad que serán evaluadas. Y se aclara que deben incluirse todas las características capaces de agregar valor en términos de calidad, al criterio de evaluación.

Características de calidad en el SEA-IES y la Cualimetría

El objetivo de la evaluación del SEA-IES es comprobar la calidad de la gestión y de los resultados para promover la mejora de las IES, en correspondencia con su misión social, como resultado de esta evaluación externa se establece el nivel de acreditación.

En los documentos básicos del SEA-IES se identifican seis variables de calidad: (1) Contexto institucional, (2) Gestión de los recursos humanos, (3)

Formación del profesional de pregrado, (4) Interacción social, (5) Infraestructura y gestión de recursos y (6) Impacto. Cada variable precisa un grupo de indicadores y criterios de evaluación que la caracterizan de forma principal, procurando su generalización y sistematización.

Un indicador es un referente y aporta significado de calidad de la variable de cada IES. A su vez, una variable tiene varios indicadores, que pueden ser cuantitativos o cualitativos, aunque no se descarta que aquellos que son medibles numéricamente puede implicar también el análisis cualitativo de su significado y relevancia (JAN, 2015). Los criterios de evaluación expresan las relaciones más importantes que se establecen dentro del indicador y facilita la formulación de juicio por parte del evaluador, para su análisis integrador.

Es decir, en términos de jerarquía de calidad, las variables del sistema se identifican con un primer nivel, complejo y desplegado en indicadores, jerárquicamente en un segundo nivel. Así, cada indicador se despliega a su vez en criterios de evaluación en un tercer nivel. Son estos criterios de evaluación que precisan de una normalización para su evaluación de forma similar, independientemente de la persona que la realice, como señalan González, Fernández & Hernández (2014).

El patrón de calidad del SEA-IES describe el conjunto de cualidades de cada variable y se identifican con el “deber ser” al que debe aproximarse la calidad, en correspondencia con el nivel de desarrollo educacional del país, la experiencia y la exigencia característica de los procesos evaluativos, de esta forma, la guía de evaluación resulta un instrumento evaluativo tanto para procesos de evaluación interna como externas.

Sin embargo, no siempre son fácilmente comprensibles los criterios de evaluación, por lo que se necesita la clarificación de cada uno para proceder a una evaluación efectiva.

A tal efecto se decidió estudiar y utilizar las leyes de la Cualimetría para diseñar el procedimiento general expuesto en la Figura 1.

Figura 1 Procedimiento general para aplicar Cualimetría en IES

El procedimiento se inicia con la selección y capacitación del grupo de trabajo. Este grupo debe estar integrado por personas de diferentes áreas funcionales para facilitar la comprensión de “lo que se hace” en distintas unidades de la IES y favorecer el compromiso del personal involucrado con la calidad. La capacitación del grupo de trabajo se concibe para que sus integrantes puedan asegurar que la evaluación de la calidad no necesite de un personal especializado en su mantenimiento y lograr que la clarificación de los conceptos sea asumida y aceptada por todos. A continuación se selecciona el criterio de evaluación y se analiza el contexto, para proceder a descomponerlo hasta los parámetros esenciales. Para cada criterio de evaluación se construye un árbol de características de calidad, desplegado en los parámetros esenciales identificados. Se introduce la alternativa de revisar si cada parámetro tiene indicadores asociados y establecidos en el sistema estadístico de las IES, para evitar duplicidad de evaluaciones. Cuando es un parámetro no concebido dentro de este sistema, el grupo de trabajo se encarga de asignar la unidad de medida y su escala de medición.

Es importante definir la escala de medición para cada parámetro, de forma tal que no sea ambigua y que cualquier individuo que la utilice pueda llegar a conclusiones acertadas. Cuando las características no son cuantificables por indicadores establecidos en el sistema estadístico, para las IES resulta conveniente utilizar la escala acumulativa de Guttman o escalograma, que consiste en un conjunto de afirmaciones pertinentes al objeto de medición, variables en intensidad de forma acumulativa, tal como proponen Hernández Sampieri, Fernández & Baptista (2010), en este caso de cuatro valores entre 2 y 5, a semejanza de la escala de evaluación tradicional en IES cubanas, descrita en González (2014). Se puede complementar con ponderaciones a cada característica de nivel superior que dependerán del contexto en que se realice la evaluación y las políticas declaradas por las autoridades correspondientes, además debe tenerse en cuenta el juicio de expertos para ponderar las características de calidad de cada indicador, por lo que resulta imprescindible que los evaluadores posean las competencias necesarias, relacionadas con el conocimiento y habilidades en la gestión de los procesos universitarios, según la variable que se trate, lo que facilitaría la utilización de los instrumentos.

Continuando la aplicación del procedimiento, se procede a analizar el comportamiento del parámetro para su registro. Finalmente, debe mantenerse un monitoreo sobre el parámetro evaluado y comparar el resultado obtenido sistemáticamente con el valor máximo a alcanzar según la escala. Esta actividad minimiza los errores de la evaluación por la complejidad de la calidad, como alertan Sanabria, Romero & Flórez (2014), asegura el seguimiento de la característica de calidad y la toma de decisiones respecto a sus desviaciones.

Nótese el lazo de retroalimentación dirigido a la actividad de analizar el contexto posterior al monitoreo. Este lazo permite identificar otros parámetros esenciales no cubiertos en una evaluación precedente, pero evidenciados ante cambios que puedan presentarse e inciden, en alguna medida, en la caracterización de la calidad de la variable, confiriéndole al procedimiento la necesaria proactividad y la posibilidad de ser utilizado no solo como instrumento de control de la calidad, sino para la planificación de la mejora por su carácter preventivo, como proponen López, García, Batte & Cobas (2015).

En el procedimiento para aplicar la Cualimetría en IES se obvia el cálculo de un indicador integral para los criterios de evaluación y consecuentemente para cada variable, por el necesario análisis cualitativo que corresponde a cada uno de ellos y también en cada una de las evaluaciones sucesivas donde puede ampliarse con el estudio de la interrelación entre lo planificado y lo logrado propuesto por Gómez, Comas, González & García (2017).

Este procedimiento general fue aplicado en el 2014 por las autoras de la investigación en la infraestructura y gestión de recursos del SEA-IES, que incluye variables e indicadores concebidos en el Sistema de Evaluación y Acreditación de la Gestión Económica-Financiera (SEAGEF) de las IES adscriptas al Ministerio de Educación Superior cubano (MES).

La infraestructura y gestión de recursos en IES

La gestión económica financiera de las IES del sistema del MES se ha desarrollado de una forma ascendente y coherente con su paradigma funcional: “garantizar un aseguramiento material y financiero a las actividades sustantivas con adecuada suficiencia, eficiencia, eficacia y calidad, dentro de un marco de riguroso control y exigencia” declarado en el Sistema de Evaluación y Acreditación de la Gestión Económica Financiera (MES, 2009, Pág. 7) dentro del proceso ininterrumpido de perfeccionamiento de la actividad económica (Ricardo & Velázquez, 2015). No constituye un proceso sustantivo, como declaran Alonso-Becerra, Michelena-Fernández y Alfonso-Robaina (2013), pero está obligada a lograr determinados estándares de calidad por su directa implicación en los requisitos para alcanzar la excelencia que pretenda cada institución (Viña & León, 2011 y González, 2016). En algunos contextos la calidad de la enseñanza superior se asocia a la eficiencia en la utilización de recursos (Barrenetxea et al., 2015).

La gestión económico financiera de una IES no se debe identificar únicamente con el trabajo de las unidades organizativas y de los dispositivos de las áreas especializadas, sino que se trata del desempeño de la institución en su conjunto y sus actores son todos aquellos que intervienen en el hecho económico, como son los estudiantes, los profesores y los trabajadores en general. Téngase en cuenta que esta gestión sostiene además otros productos y servicios de apoyo institucionales incluidos los contratados a terceros, por todos los cuales no siempre responde administrativamente.

Es necesario destacar que la obtención de recursos materiales y financieros, independientemente de la vía por la que se obtenga, no debe conducir a obviar requisito alguno de los establecidos, restar objetividad a las evaluaciones correspondientes ni a justificar las deficiencias detectadas.

Desde el año 2009 se realizaron evaluaciones a la gestión económica financiera de distintas entidades del sistema MES corroborando la objetividad y factibilidad de aplicación del SEAGEF para la identificación de las fortalezas y debilidades que permitieron establecer un plan de mejora, no solo a nivel de IES sino al propio aparato central del MES relacionado con esta gestión (Viña, 2011).

El proceso de acreditación de la gestión económica financiera evalúa los resultados por medio de: (1) la verificación de la precisión en el cálculo de las necesidades materiales y financieras y sus prioridades, así como su adecuada fundamentación, (2) la comprobación de la aplicación consecuente de los recursos materiales y financieros disponibles, según los destinos previstos y argumentados, (3) el examen del grado de exigencia y de contrapartida ejercido en los procesos administrativos y de servicios en la ejecución de los recursos materiales y financieros a ellos asignados o pagados, y (4) la evaluación de los indicadores de ahorro y eficiencia resultantes

Las actividades o esferas objeto de la acreditación por medio de la gestión económico-financiera se agrupan en los conceptos siguientes: (1) las actividades sustantivas de las universidades: la formación de pregrado, el posgrado, la investigación científica y la extensión universitaria, (2) la beca universitaria, y (3) las funciones que garantizan la vitalidad de la institución (MES, 2009).

A ello se agregaban, para completar los factores involucrados en la evaluación y la acreditación de la gestión económica financiera, los recursos disponibles para el desarrollo de la propia gestión, su desempeño, así como las referencias del entorno especializado (MES, 2009).

La inclusión de la beca universitaria, dentro de las actividades o esferas objeto de la acreditación se debe a una de las particularidades de la educación superior en Cuba, donde se adquiere el derecho automático a este servicio por parte del estudiante que lo necesite, al obtener su ingreso al curso regular diurno, confiriéndole una prioridad en el aseguramiento material similar al de las actividades sustantivas. La beca se concibe dentro de las gratuidades de la educación superior cubana e incluye el alojamiento, manutención, servicios primarios de salud y aseguramiento de material gastable normado para el proceso de formación (libretas, lápices, hojas) y medios de enseñanza (libros, en concepto de préstamos).

Los criterios para evaluar la variable de infraestructura y gestión de los recursos se muestran en la tabla 1.

Las variables 5.1, 5.3, 5.4 y 5.5 de la tabla 1 se corresponden casi en la totalidad de sus criterios de evaluación con las variables del SEAGEF, enunciadas anteriormente.

Por tanto para la elaboración de los instrumentos de evaluación de la calidad de la variable cinco del SEA-IES resulta conveniente utilizar las establecidas en el patrón del SEAGEF, que contienen el lenguaje técnico y común asumido por las IES y los diferentes documentos del SEAGEF e incluir otras relacionadas con la variable 5.2 correspondiente a recursos informáticos.

Fuente: JAN, 2015. Sistema de evaluación y acreditación de instituciones educación superior (SEA-IES)

Módulos cualimétricos para la infraestructura y gestión de los recursos.

El objetivo final del empleo de la Cualimetría es desarrollar instrumentos que faciliten los métodos para la estimación de la calidad de la infraestructura y la gestión de los recursos en las IES cubanas, que puede ser expresada numéricamente para caracterizar el grado de satisfacción de este proceso a nivel de cada IES, teniendo en cuenta la dependencia de la calidad de la gestión de estos procesos de apoyo.

El módulo cualimétrico para la infraestructura y gestión de los recursos se concibe como un grupo de instrumentos capaces de recopilar la información de las características de calidad de cada uno de los indicadores que la conforman en base, esencialmente, a la clarificación de los criterios de evaluación.

A continuación se ejemplifica para el criterio de evaluación: condiciones y actualización de los laboratorios su árbol de las características de calidad (ver Figura 2).

Las características de calidad desplegadas a la derecha de la figura son las que el grupo de trabajo identificó como parámetros esenciales para poder evaluar la calidad de las condiciones y actualización de los laboratorios. Además son indicadores que se establecían en el SEAGEF y evaluables en valores entre 5 (excelente) y 2 (deficiente).

Figura 2.- Árbol de características de calidad de las condiciones y actualización de los laboratorios (nivel jerárquico de izquierda a derecha).

Los instrumentos aportados por el SEAGEF se revisaron y algunos resultaron actualizados puntualmente, pero fueron aprovechados en su generalidad.

Durante la aplicación del procedimiento se agregaron criterios de evaluación relacionados con la informatización como soporte de los procesos sustantivos y que dependen en gran medida de la gestión económica y financiera de la IES y la cultura que al respecto llega a desarrollarse tanto entre profesores, que gestionan financiamiento para la adquisición de equipamiento de este tipo, como estudiantes, con posibilidades de tener medios propios para la utilización en su formación como profesionales. En lo relacionado con los recursos informáticos también se utilizan informes estadísticos como el aseguramiento de los medios didácticos por carreras, que contiene la cantidad de materiales en la red, tanto de medios audiovisuales como informáticos (software, laboratorios virtuales, ebook, multimedia o cursos soportados en distintas plataformas).

Así, el grupo de trabajo desarrolló un módulo cualimético para cada uno de los criterios de evaluación de la variable, listados en la Tabla 1, en total de veintitrés (23). Los módulos elaborados se soportan en hojas de un libro Excel del paquete del Microsoft Office y se han utilizado en los procesos de evaluación externa de la Universidad de las Ciencias Pedagógicas “Félix Varela” de Villa Clara (integrada actualmente a la UCLV), Universidad de Ciencias Médicas “Serafín Ruiz de Zárate” de Villa Clara, la Universidad de Holguín “Oscar Lucero Moya” y la Universidad de Ciego de Ávila “Máximo Gómez”.

Además se reporta su utilización en procesos de autoevaluación de la Universidad Central “Marta Abreu” de Las Villas, la Universidad de Holguín “Oscar Lucero Moya”, la Universidad Agraria de la Habana y la Universidad de Ciego de Ávila “Máximo Gómez”.

Los instrumentos elaborados se acompañan de las indicaciones para su llenado por las unidades organizativas de la IES que se trate, sea las áreas administrativas o las facultades y sedes universitarias. Además, se facilitaron al Comité Técnico Evaluador de IES de la JAN para su utilización en los procesos de evaluación a universidades, lo que ha permitido su perfeccionamiento y generalización.

Todos los expertos que han utilizado los módulos cualimétricos para la infraestructura y gestión de los recursos han manifestado su utilidad en la optimización del tiempo, como guía para la evaluación, en la elaboración de los informes y el plan de medidas correspondientes a la variable, al aportar elementos medibles relacionados con la infraestructura y la gestión de los recursos, además de facilitar el intercambio con los evaluados por la normalización de los parámetros de cada criterio de evaluación. De igual forma han colaborado enriqueciendo los instrumentos diseñados.