INTRODUCCIÓN

La globalización y el uso intensivo de las tecnologías de información y Comunicación (TIC) en la Educación Superior, suponen la utilización de nuevos paradigmas en la labor docente en esta sociedad llamada “del conocimiento” (Parra, et al., 2015). Dentro de las acciones orientadas en México, en el Proyecto de Modernización en la década de los noventa (Moreno, 2017), se distinguen entre otras: El Cambio de planes y programas orientados al aprendizaje autónomo y la creación de Universidades Tecnológicas y posteriormente las Politécnicas, que buscan responder a las necesidades sociales de formar profesionistas de manera integral, dotándolos de competencias necesarias para integrarse a cualquier ambiente de trabajo (SEP, 2009). Este mismo modelo busca que los alumnos adquieran capacidades generales para aprender y actualizarse; para identificar y resolver problemas, para formular y gestionar proyectos y para comunicarse efectivamente en español e inglés (Lozano et al., 2012).    Las Universidades Politécnicas según su marco de creación, buscan permanentemente nuevas formas de aprendizaje (SEP 2009), sin embargo, a quince años de creación del Subsistema, no existe certeza del grado de implementación de su modelo educativo y su búsqueda hacia las nuevas formas de aprendizaje, es por ello, que se requiere conocer el grado en que los profesores y alumnos perciben la aplicación del modelo educativo institucional actual, así como la disposición al cambio hacia un enfoque que contemple los retos de la sociedad del conocimiento.  
Acorde a Tobón et al (2015) la Sociedad del Conocimiento (SC) es considerada como comunidades que, a través del trabajo colaborativo, resuelven problemas reales de sus contextos, con una visión global mediante el apoyo de la tecnología y con compromiso ético y sustentabilidad. En la SC se espera que las prácticas docentes se enfoquen en la resolución de problemas, proyectos colaborativos, la innovación, y el compromiso con el medio ambiente.  Por lo tanto, los retos a considerar son el cómo plantear y resolver problemas del contexto, promover el trabajo colaborativo, formar para el emprendimiento, desarrollar el análisis crítico, desarrollar el pensamiento analítico, sistémico, creativo y la aplicación de los valores universales (Tobón, 2013; Tobón, 2008).
Los desafíos presentados para la transición hacia nuevos enfoques educativos han sido históricamente complicados, derivado a diferentes factores, como la resistencia al cambio y de paradigmas de los diferentes actores involucrados, la falta de interés de los directivos, la rotación y cambios en las administraciones de las Instituciones de Educación Superior (IES), entre otros (Flores y Alcalá, 2017; Santacruz, 2016; Lozano et al., 2012).  Por otra parte, lo que ha motivado e impulsado la implantación de los nuevos modelos y enfoques educativos, han sido las exigencias de los organismos acreditadores para dar cumplimiento a los criterios establecidos en sus marcos de referencia sustentados en las recomendaciones internacionales (Martínez et al., 2018), a quienes las IES recurren con la intención de obtener un reconocimiento formal que dé garantía de que sus procesos educativos son de calidad ante la sociedad, así como tener la posibilidad de participar por recursos extraordinarios en convocatorias diseñadas específicamente por el Gobierno Federal para las Instituciones que  cuentan con dichas acreditaciones, dejando de lado lo primordial de la calidad educativa y el sentido académico (Martínez et al., 2017; Santacruz, 2016).

METODOLOGÍA Y MÉTODOS

Tipo de Estudio. Se realizó un estudio instrumental, el cual consiste en el desarrollo de pruebas y aparatos, incluyendo tanto el diseño o adaptación, como el análisis de las propiedades psicométricas de los mismos (Montero y León, 2007).
Instrumentos. “Diagnóstico general sobre el modelo educativo”. Este instrumento se diseñó con nueve ítems considerando aspectos tales como conocimiento del modelo educativo actual, elementos diferenciadores, fortalezas, nivel de implementación en cuanto a aspectos didácticos como resolución de problemas del entorno, colaboración, proyectos e innovación, así como el grado de disposición a implementar nuevas estratégicas didácticas y de evaluación. (Tabla 1).  Su diseño se concretó como cuestionario de cinco preguntas (A1 - A5) evaluadas con una escala tipo Likert (1-Muy Poco, 2-Poco, 3-Regular, 4-Suficiente, 5-Excelente) y tres preguntas abiertas para obtener información cualitativa (A6 - A9).  Este instrumento se dirigió a docentes que evalúan su práctica docente acorde al modelo educativo actual.

Tabla 1. Instrumento “Diagnóstico general sobre el modelo educativo”

Fuente: Elaboración propia.

El segundo instrumento empleado en el presente estudio se denomina “rúbrica para evaluar el grado de avance del modelo educativo hacia la sociedad del conocimiento”. (CIFE, 2018). Este instrumento considera aspectos claves que caracterizan a la sociedad del conocimiento y a la socioformación: Resolución del problema del contexto, trabajo colaborativo, aplicación de los valores y pensamiento sistémico, analítico y creativo de acuerdo con lo propuesto por Tobón (2015). El instrumento está diseñado como rúbrica analítica, con los niveles de desempeño propuestos desde la taxonomía socioformativa (Tobón, 2017; Hernández-Mosqueda et al., 2016). Este instrumento se dirigió a los profesores que autoevaluaron su práctica docente en relación con las características de la sociedad del conocimiento y la socioformación, así como a estudiantes que evalúan la práctica de sus profesores.
Revisión por expertos. Ambos instrumentos se sometieron a la revisión por tres expertos con la finalidad de que indicaran y verificaran la propuesta de las categorías e ítems y su relevancia, así como de proponer la pertenencia de los ítems respecto a la categoría, y en aspectos relacionados con la redacción. Para su selección se tomaron criterios como nivel académico (mínimo maestría), experiencia en el área de investigación (mínima de cinco años). 
Estudio de la validez de contenido.  Posterior a la revisión de expertos, se realizó un juicio de expertos a los instrumentos, el cual se constituyó de 10 jueces (Tabla 2), los cuales se eligieron bajo los mismos lineamientos de los expertos El juicio fue cualitativo y cuantitativo para la evaluación de los criterios de pertinencia y relevancia de los ítems y descriptores de los niveles de desempeño, para este fin se empleó el instrumento juicio de expertos, que contempla la evaluación cualitativa y cuantitativa (CIFE, 2019). En la evaluación cualitativa los expertos podían efectuar sugerencia en extenso, así como proponer la eliminación de ítems, y para la evaluación cuantitativa los expertos evaluaron mediante una escala Likert (constituida de uno a cuatro, valor más bajo al más alto respectivamente) los criterios anteriormente descritos. El análisis de esta evaluación se realizó mediante el coeficiente de validez de contenido V de Aiken y sus intervalos de confianza al 95% (Penfield y Giacobbi, 2004), y se consideró como válido un ítem si el valor del coeficiente era superior 0.80 (Bulger y Housner, 2007; Penfield y Giacobbi, 2004), y el valor inferior del intervalo mayor a 0.50. Ítems con valores menores a los indicados fueron sujetos a una revisión a detalle, considerándose su eliminación o bien su mejora.

Tabla 2. Datos de la Competencia de los Jueces

Fuente: CIFE (2018).

 Aplicación a grupos pilotos. Posterior a la ponderación de observaciones y sugerencias de los jueces expertos, el cuestionario se aplicó a 10 docentes, y la rúbrica se aplicó al mismo grupo de docentes y a 15 estudiantes. Ambos grupos pertenecen a la Universidad Politécnica de Chihuahua (Tabla 3). Los objetivos de esta etapa fueron en primer orden determinar el grado de comprensión de las instrucciones, ítems y descriptores, así como el grado de satisfacción con el instrumento mediante la encuesta de satisfacción con el instrumento y evaluar el tiempo promedio de resolución del instrumento (CIFE, 2018b). El segundo objetivo fue efectuar un análisis inicial de confiabilidad a la rúbrica mediante el coeficiente Alfa de Cronbach, considerando los valores propuestos para este coeficiente (Hernández-Sampieri et al., 2014).
Tabla 3. Datos Sociodemográficos de docentes y estudiantes

RESULTADOS Y DISCUSIÓN

Revisión por expertos. Para el cuestionario, los expertos no efectuaron señalamientos de mejora con relación a la pertenencia de los ítems, se indicó la relevancia y pertinencia de las dimensiones e ítems propuestos. Para la rúbrica, los expertos señalaron pertenencia de los ítems propuestos y sugirieron brindar mayor claridad a la sintaxis y redacción de los descriptores. Estas mejoras fueron realizadas
Estudio de Validez de Contenido. En su mayoría los ítems del cuestionario fueron validados en términos de pertinencia (V >0.80; VIC>0.60), sin embargo, el ítem nueve no alcanzó el valor mínimo aceptable. Este ítem solicita señalar el principal factor que incide para que las clases no cambien acorde con lo esperado en la sociedad del conocimiento. De acuerdo con la evaluación cualitativa, se refiere una mejora en el orden de los elementos que integran la pregunta. Respecto a redacción, más del 95% de los ítems fueron validados (V>0.80; VIC>0.60), solamente el ítem dos y nueve presentaron un coeficiente de validez menor al indicado como aceptable (Tabla 4), por lo cual estos ítems fueron revisados y mejorados de acuerdo con las sugerencias de los jueces. La mejora en el ítem dos fue que se cambió la redacción eliminando la confusión que presentó el término “elementos diferenciadores” por “características” del modelo educativo actual, mientras que para el ítem nueve se eliminó el supuesto de que las clases no cambian acorde con lo esperado en la sociedad del conocimiento. Para la rúbrica, los resultados fueron satisfactorios ya que todos los ítems en términos de pertinencia y redacción fueron validados (V de Aiken>0.80; VIC>0.70) (Tabla 5).

Tabla 4. Análisis cuantitativo mediante la V de Aiken para los criterios de pertinencia y redacción de los ítems del instrumento “Diagnóstico general sobre el modelo educativo”

Fuente: Elaboración propia

Tabla 5. Análisis cuantitativo mediante la V de Aiken para los criterios de pertinencia y redacción de los ítems del instrumento ““Rúbrica para evaluar el grado de avance del modelo educativo hacia la sociedad del conocimiento”.”

Fuente: Elaboración propia.

Aplicación a un grupo piloto.  Para el cuestionario, el 60% de los docentes indicaron un alto grado de satisfacción con el instrumento, así como con la comprensión de los ítems; mientras que un 40 % indicaron un buen grado de la pertinencia de las preguntas. La confiabilidad obtenida fue óptima (Alfa de Cronbach: 0.815). Para la rúbrica, más del 60% de los docentes manifestaron un buen grado de comprensión de los ítems y satisfacción con el instrumento, por su parte más del 60% denotaron un excelente grado de instrucciones y relevancia de los ítems. El tiempo de resolución del cuestionario fue de 12 minutos (+ 9.48).  Los docentes realizaron sugerencias, siendo estas que se incluyeran definiciones de cada uno de los conceptos de pensamiento (sistémico, analítico y creativo). La confiabilidad mostro un valor apropiado (Alfa de Cronbach: 0.824).  Para el grupo de estudiantes, más del 45% indicaron un buen grado de comprensión de instrucciones y preguntas; y más del 50% indicó como excelente el grado de satisfacción con el instrumento y relevancia de los ítems.  El tiempo promedio para completar la rúbrica fue de 7.4 minutos (+ 2.6403). En cuanto a la consistencia interna del instrumento aplicado a estudiantes también se obtuvieron valores apropiados (Alfa de Cronbach: 0.874). En este grupo, los participantes indicaron que las preguntas sean más breves para facilitar su comprensión.
La sociedad del conocimiento desde una perspectiva humanista y compleja se ha conceptualizado como aquella enfocada a la resolución de problemas de diferentes campos con base en la colaboración, las TIC y los valores universales (Tobón, 2015), por lo que considerar su influencia en la educación y/o modelos educativos es una necesidad imperante si se desea una verdadera reforma en la educación que impacte en la mejora continua de la preparación de los estudiantes universitarios.  Por lo anterior, determinar la percepción por parte de los docentes referentes al modelo educativo y su disposición para implementar nuevas estrategias didácticas resulta fundamental.   A este respecto, para evaluar el grado de implementación del modelo educativo institucional en torno a los retos de  la Sociedad del Conocimiento, se diseñó  el cuestionario  “Diagnóstico general sobre el modelo educativo”, el cual  incluye aspectos  necesarios para conocer el grado de conocimiento de los docentes del modelo actual y actividades relevantes de su práctica docente en relación a los retos de la SC, lo que permitirá determinar en qué grado los docentes ya aplican estrategias que permiten a sus estudiantes enfrentar los retos de la SC, así como la disposición de los docentes para implementar nuevas estratégicas didácticas y de evaluación.
Por su parte, la “Rúbrica para evaluar el grado de avance del modelo educativo hacia la sociedad del conocimiento” (CIFE, 2018), tiene su fundamento en lo propuesto por Tobón et al. (2015) en la cual se incluyen los aspectos de resolución del problema del contexto, trabajo colaborativo, aplicación de los valores, pensamiento sistémico, analítico y creativo. Estos aspectos se consideran los elementos centrales que le dan identidad al concepto de sociedad del conocimiento (Tobón, 2015, Tobón et al., 2015). De este instrumento se enfatiza que por su naturaleza (rúbrica analítica socioformativa) permite reconocer los avances y aspectos a mejorar en el desempeño, generar una evaluación integral y determinar el grado de calidad con el que se realiza el desempeño (Hernández-Mosqueda et al., 2016).
Un aspecto de consideración en la creación de instrumentos de evaluación o investigación es el análisis de sus propiedades psicométricas aunado al análisis de adecuación a la población objetivo (Carvajal et al., 2011). En este sentido, la propuesta metodológica empleada en el presente se fundamentó bajo estos supuestos y similar a lo que se ha propuesto en otros estudios de diseño y validación de instrumentos (Berlanga-Ramírez y Juárez-Hernández, 2020; Fernández-Gómez et al., 2020; Valdez- Penagos et al., 2020) que se denotan con el objetivo de la mejora continua a través de las fases realizadas. A este respecto, la revisión de expertos fue fundamental para verificar la pertenencia de los ítems al constructo y su relevancia, así como la forma en que fueron elaborados (redacción). Acorde a Aiken (2003), esta fase tiene por objetivo determinar el grado en que una prueba aparenta o da la impresión de que mide lo que pretende.
Por su parte la validez de contenido es una de las propiedades psicométricas de mayor relevancia ya que permite determinar la representatividad en la definición del constructo o concepto y pertenencia del grupo de ítems (Koller et al., 2017). En este orden, el juicio de expertos es referido como la vía más usual para determinar la validez de contenido de un instrumento y del juicio se hace énfasis en los procesos de selección del panel de expertos y el tipo de evaluación que se efectúa (Rubio et al., 2003). A este respecto, el análisis de evaluación cualitativa permitió identificar de manera precisa si los ítems eran válidos en términos de contenido e identificar los aspectos de mejora acorde a la evaluación cualitativa. 

CONCLUSIONES

Contar con instrumentos que permitan evaluar la percepción por parte de los docentes referente al modelo educativo institucional, y la manera en que se aborda en las clases los retos de la sociedad del conocimiento resulta fundamental, ya que mediante esta información se podrán determinar lineamientos que guíen a las instituciones a establecer estrategias didácticas que conduzcan a la mejora de la implementación de clases encaminadas a enfrentar los retos de la sociedad del conocimiento. Acorde a lo anterior, se proponen dos instrumentos que permiten evaluar estos aspectos, enfatizando que estos poseen validez de contenido, significando que se logró determinar la representatividad en la definición del concepto. Se recomienda proseguir con el análisis de sus propiedades psicométricas, con el fin de determinar la calidad de su medición y de esta forma adquieran un carácter óptimo.

REFERENCIAS BIBLIOGRÁFICAS

Aguilar-Esteva, V., Tobón, S. & Juárez-Hernández, L.G. (2019). Construcción y validación de instrumento para evaluar el avance del enfoque socioformativo y adopción de nuevos modelos educativos en el nivel superior en México. Revista Espacios, 40(31). https://bit.ly/3jDRchV 

Aiken, L.R. (2003). Tests psicológicos y evaluación. Pearson Educación.

Berlanga-Ramírez, Ma. L. y Juárez-Hernández, L.G. (2020). Diseño y validación de un instrumento para evaluar la retroalimentación asertiva en educación normal. IE Revista de Investigación Educativa de la REDIECH, 11, e791. https://doi.org/10.33010/ie_rie_rediech.v11i0.791 

Bulger, S. M. y Housner, L. D. (2007). Modified Delphi investigation of exercise science in physical education teacher education. Journal of Teaching in Physical Education, 26(1), 57-80. https://doi.org/10.1123/jtpe.26.1.57

Carvajal, A., Centeno, C., Watson, R., Martínez, M., y Sanz-Rubiales, Á. (2011). ¿Cómo validar un instrumento de medida de la salud? Anales Sistema Sanitario de Navarra, 34(12), 63-72.  https://bit.ly/3atVhkx

Carlos-Guzmán, J. (2016). ¿Qué y cómo evaluar el desempeño docente? Una propuesta basada en los factores que favorecen el aprendizaje. Propósitos y Representaciones, 4(2), 285-358. http://dx.doi.org/10.20511/pyr2016.v4n2.124

CIFE.  (2018). Rúbrica para evaluar el grado de avance del modelo educativo hacia la sociedad del conocimiento. [plantilla] Centro Universitario CIFE. https://www.cife.edu.mx/2018/09/28/instrumentos-de-evaluacion-y-diagnostico/ 

CIFE.  (2018b). Cuestionario de satisfacción con el instrumento. [plantilla]. Centro Universitario CIFE: México. https://docs.google.com/forms/d/e/1FAIpQLSc8-jOiWYwG64QbnhRyGAg1ElTggq2aP1XiSg45pyN9XLbXNQ/viewform

CIFE.  (2019). Escala Jueces Expertos. [plantilla] Centro Universitario CIFE. https://www.cife.edu.mx/2020/05/27/escala-juicio-de-expertos/

Charter, R. A. (2003). A breakdown of reliability coefficients by test type and reliability method and the clinical implications of low reliability. The Journal of General Psychology, 130(3), 290-304.  https://doi.org/10.1080/00221300309601160  

Fernández-Gómez, E., Martín-Salvador, A., Luque-Vara, T., Sánchez-Ojeda, M. A., Navarro-Prado, S., y Enrique-Mirón, C. (2020). Content validation through expert judgement of an instrument on the nutritional knowledge, beliefs, and habits of pregnant women. Nutrients, 12(4), 1136. https://doi.org/10.3390/nu12041136

Flores, V. y Alcalá, N. (2017). Evaluación del modelo educativo para la formación por competencias laborales en los alumnos de la división de ingenierías de la universidad de Guanajuato. Revista Electrónica sobre Tecnología, Educación y Sociedad 4(7), 1-20. www.ctes.org.mx/index.php/ctes/article/view/640/700 

Hernández-Mosqueda, J., Tobón, S., y Guerrero-Rosas, G. (2016). Hacia una Evaluación Integral del Desempeño: Las Rúbricas Socioformativas. Ra Ximhai, 12 (6), 359-376.  http://www.redalyc.org/pdf/461/46148194025.pdf

Hernández-Mosqueda, J. S., Tobón-Tobón, S., y Vázquez-Antonio, J. M. (2014). Estudio conceptual de la docencia socioformativa. Ra Ximhai, 10(5), 89-101.  http://www.redalyc.org/pdf/461/46132134006.pdf

Hernández-Sampieri R., Fernández-Collado C., y Baptista-Lucio M., (2014) Metodología de la Investigación. 6ta Ed. McGRAW-HILL

Koller, I., Levenson, M. R., y Glück, J. (2017). What do you think you are measuring? A mixed-methods procedure for assessing the content validity of test items and theory-based scaling. Frontiers in Psychology, 8, 126. https://doi.org/10.3389/fpsyg.2017.00126

Lozano, R., Castillo, A. y Cerecedo, M. (2012). Modelo educativo basado en competencias en universidades politécnicas en México: Percepción de su personal docente-administrativo. Revista Electrónica Actualidades Investigativas en Educación 12(2). 1-19. https://www.redalyc.org/articulo.oa?id=44723437008

Martínez, J. Tobón, S. y López, E. (2018). Acreditación de la Calidad en Instituciones de Educación Superior: retos pendientes en América Latina. Dilemas contemporáneos: Educación, Política y Valores, 5(2), 1-19. https://goo.gl/hXHYS3

Martínez, J. Tobón, S. y Romero, A. (2017). Problemáticas relacionadas con la acreditación de la calidad de la educación superior en América Latina. Innovación Educativa, 17(73) 79-96.  https://www.redalyc.org/articulo.oa?id=179450594005

Moreno, C. (2017). Las reformas en la educación superior pública en México: rupturas y continuidades. Revista de la Educación Superior, 46(182) 27–44. https://doi.org/10.1016/j.resu.2017.03.001

Montero, I. y León, O. (2007).  A guide for naming research studies in Psychology. International Journal of Clinical and Health Psychology, 7(3) 847-862.  http://www.aepc.es/ijchp/GNEIP07_es.pdf

Parra, H., Tobón, S., y López, J.  (2015). Docencia Socioformativa y Desempeño Académico en la Educación Superior. Paradigma 36 (1), 42 – 55. http://www.scielo.org.ve/pdf/pdg/v36n1/art04.pdf

Penfield, R. D., y Giacobbi, Jr, P. R. (2004). Applying a score confidence interval to Aiken´s item content-relevance index. Measurement in Physical Education and Exercise Science, 8(4), 213-225. https://doi.org/10.1207/s15327841mpee0804_3 

Ponce, I., Juárez L. y Tobón, S. (2020). Construcción y validación de un instrumento para evaluar el abordaje de la sociedad del conocimiento en docentes. Apuntes Universitarios, 10(1), 40-65. https://doi.org/10.17162/au.v10i1.417

Rubio, D. M., Berg-Weger, M., Tebb, S. S., Lee, E. S. y Rauch, S. (2003). Objectifying Content Validity: Conducting a Content Validity Study in Social Work Research. Social Work Research, 27(2), 94-104. https://bit.ly/3oUscUF

Santacruz, L. (2016, octubre), Los retos de la implementación de los modelos educativos universitarios. Coloquio nacional sobre modelos educativos universitarios. Congreso conducido por la Universidad de Veracruz, Xalapa, México. https://goo.gl/959Pr7

Secretaría de Educación Pública SEP (2009). Modelo de Gestión por Competencias.  http://www.upjr.edu.mx/descargas/gestion_por_competencias.pdf

Tobón, S. (2008). Formación Basada en Competencias. Pensamiento complejo, diseño curricular y didáctica.  https://bit.ly/3tpIgRx

Tobón, S. (2013). Los proyectos formativos: transversalidad y desarrollo de competencias para la sociedad del conocimiento. CIFE. http://issuu.com/cife/docs/e-book_proyectos_y_transformaci__n_ 

Tobón, S. (2015). La socioformación: avances y retos en la sociedad del conocimiento. [Conferencias Magistrales del Congreso Nacional de Investigación Educativa, 2015]. Consejo Mexicano de Investigación Educativa. https://bit.ly/2YHmB9p

Tobón, S. (2017). Evaluación Socioformativa. Estrategias e Instrumentos. Kresearch. https://bit.ly/2LDQZi4

Tobón S., Guzmán C., Hernández J. y Cardona, S. (2015). Sociedad del Conocimiento: Estudio documental desde una perspectiva humanista y compleja. Revista Paradigma, 36 (2). https://bit.ly/3oLJlQ4

Tobón, S., Guzmán, C. y Tobón, B. (2018). Evaluación del Desempeño Docente en México: del Proyecto de Enseñanza al Proyecto Formativo. Atenas, 1(41), 18-33. https://atenas.reduniv.edu.cu/index.php/atenas/article/view/347

Valdez-Penagos, R. G., Juárez-Hernández L. G. y Tobón, S. (2020). Diseño de una rúbrica analítica socioformativa para evaluar promoción de salud bucal. Revista Habanera de Ciencias Médicas, 19(3): e2890.  https://bit.ly/3gPSFSU

Datos del (los) autor (es)

¹Ingeniera en Sistemas Computacionales. Maestra en Tecnologías de la Información y Maestra en Administración. Coordinadora de acreditación de programas académicos, docente de tiempo completo Universidad Tecnológica de Chihuahua. ID ORCID: https://orcid.org/0000-0002-9186-4562.

²Doctor en Ciencias Biológicas y de la Salud. Profesor-Investigador. Centro Universitario CIFE. ID ORCID: https://orcid.org/0000-0003-0658-6818.

Recibido: 27 de enero de 2021
Evaluado: 3 de marzo de 2021
Aceptado para su publicación: 15 de abril de 2021