Apertura

Si bien se han realizado diversos estudios de aceptación de tecnología en el campo de la educación, la mayoría se ha enfocado en la aceptación del e-learning. Gran parte de estos trabajos utilizaron el TAM como el modelo base, y aunque se amplió con otros constructos, son pocas las investigaciones que lo han utilizado sin extenderlo (Imtiaz & Maarop, 2014). El TAM se desarrolló en específico para modelar la aceptación de las tecnologías relacionadas con la informática por parte de los usuarios (Davis, 1989). Además, este modelo sugiere que la aceptación del uso de una nueva aplicación TIC está significativamente determinada por dos factores: la utilidad percibida (PU) y la facilidad de uso percibida (PEOU).

En cuanto a los instrumentos sobre la aceptación de la evaluación basada en computadora, se han realizado pocas investigaciones. La mayoría de estos estudios han sido llevados a cabo por Terzis et al. (2012a, 2012b, 2013) y Terzis y Economides (2011), así como por Nikou y Economides (2017). Específicamente, Terzis y Economides (2011) construyeron el modelo de aceptación de evaluación basado en computadora (computer based assessment acceptance model, CBAAM), con una escala de 30 ítems, para investigar la intención de los estudiantes de utilizar la CBA. El objetivo de este trabajo fue adaptar el instrumento CBAAM a un contexto y época diferentes para analizar su aplicación en la CBA.

Cabe destacar que al revisar la literatura no se encontraron instrumentos con reportes de confiabilidad y validez para medir la aceptación y la intención de uso por parte de estudiantes universitarios mexicanos de un sistema de evaluación basada en computadora (EBC).

Moon y Kim (2001) ampliaron el TAM al añadir el constructo percepción lúdica, que se define por tres dimensiones:

Concentración: determina si el usuario está concentrado en la actividad.

Aunque estas dimensiones son interdependientes y están vinculadas, cada una de ellas por sí sola no refleja la interacción total de los usuarios con el sistema. Una implementación exitosa de una EBC es capaz de mantener la concentración de los usuarios, la curiosidad y el disfrute, por lo tanto, el CBAAM asumió que la intención de uso se ve afectada positivamente por la percepción lúdica, como se indica en la siguiente hipótesis:

H1: La percepción lúdica tendrá un efecto positivo en la intención de utilizar la EBC.

Como se mencionó, la utilidad percibida se emplea para evaluar en qué medida una persona cree que su desempeño laboral aumentará al utilizar un sistema informático en particular. Numerosos investigadores han proporcionado evidencias sobre el impacto de la utilidad percibida en la intención de uso por parte de los usuarios al recurrir a un sistema de aprendizaje. El CBAAM también supone que la concentración, la curiosidad y el disfrute del alumno aumentarán como resultado del uso de un sistema útil, lo que conduce a las siguientes hipótesis:

H2: La utilidad percibida tendrá un efecto positivo en la intención de utilizar la EBC.

De igual forma, se discutió que la facilidad de uso percibida se utiliza para medir la creencia de la persona de que usar un sistema informático no requiere esfuerzo. Investigaciones anteriores demostraron que la facilidad de uso percibida tiene un efecto directo en la utilidad percibida y en la intención de uso (Venkatesh & Davis, 1996). Asimismo, el CBAAM supone que la facilidad de uso percibida tendrá un impacto positivo en la percepción lúdica, debido a que un sistema que se puede utilizar sin mucho esfuerzo permitirá a los usuarios emplearlo sin ningún tipo de molestia. Para los efectos anteriores de la facilidad de uso percibida, se establecieron las siguientes hipótesis:

H4: La facilidad de uso percibida tendrá un efecto positivo en la intención de utilizar la EBC.

La autoeficacia informática se define, según Compeau y Higgins (1995), como las percepciones que el individuo tiene sobre su capacidad para utilizar las computadoras. Ya que trabajos anteriores han demostrado un vínculo significativo entre la autoeficacia informática y la facilidad de uso percibida, se observa que la autoeficacia informática no solo influye directamente en la facilidad de uso percibida, sino que también ejerce un impacto indirecto en la intención de uso. Con base en estos hallazgos, se planteó la siguiente hipótesis:

H7: La autoeficacia informática tendrá un efecto positivo en la facilidad de uso percibida.

La influencia social se puede definir como el efecto de la opinión de las personas, la influencia de los superiores y de los compañeros. Esta se compone de tres elementos: norma subjetiva (SN), imagen y voluntariedad. Para su medición, modelos previos (como TRA, TPB, C-TAM-TPB y TAM2)¹ han empleado constructos como factores sociales (MPCU),² imagen (IDT)³ y norma subjetiva (Venkatesh et al., 2003). TAM2 indica que la norma subjetiva y la imagen influyen en cómo los usuarios perciben la utilidad de un sistema; sin embargo, la norma subjetiva no impacta en la intención de uso si el uso del sistema es voluntario. UTAUT, por su parte, considera la influencia social como uno de los cuatro constructos principales que afectan directamente la intención de uso.

En el modelo CBAAM se asume que la influencia social impacta en la utilidad percibida. Esta conclusión se fundamenta en la observación de que los estudiantes, al sentirse inseguros al usar una EBC, son influenciados por las opiniones de sus amigos y colegas. De igual forma, a menudo discuten la utilidad percibida y su valor agregado como un tema principal. Debido a que la EBC en CBAAM es voluntaria, TAM2 sugiere que no tiene impacto en la intención de uso, razón por la cual el CBAAM no investigó su efecto en este aspecto. Por lo tanto, la única hipótesis planteada sobre la influencia social es:

H8: La influencia social tendrá un efecto positivo en la utilidad percibida.

Las condiciones facilitadoras (CF) se definen como el conjunto de factores que influyen en la creencia de una persona para llevar a cabo un procedimiento. Estos factores incluyen varios aspectos, como el soporte técnico o en línea, señalado por Terzis y Economides (2011), y recursos como el tiempo y el dinero. En el contexto del modelo CBAAM, las CF se conciben como el apoyo proporcionado durante el uso de una evaluación basada en computadora. Esto implica que si los usuarios encuentran dificultades al utilizar una EBC deben recibir el apoyo necesario para superar estos obstáculos, el cual puede incluir la asistencia de un experto para responder preguntas y dudas de los estudiantes, especialmente en un entorno universitario. Por las razones anteriores, se planteó la siguiente hipótesis:

H9: Las condiciones facilitadoras tendrán un efecto positivo en la facilidad de uso percibida.

En el ámbito de la enseñanza a distancia, varios estudios, como los de Smith et al. (2003), han subrayado la importancia de la autodirección y la orientación hacia los objetivos. Se ha propuesto que la autogestión del aprendizaje refleja el grado en que una persona se considera capaz de participar en el aprendizaje autónomo y mantener la autodisciplina. Respecto a la aceptación de la tecnología, la orientación de los objetivos de aprendizaje ha sido identificada como un constructo influyente en la aceptación del aprendizaje. En el modelo CBAAM se introdujo un nuevo concepto denominado expectativa de meta (EM), inspirado en los estudios mencionados.

La EM representa la creencia de una persona en su propia preparación para utilizar una EBC y se divide en dos aspectos: las evaluaciones sumativas y formativas. En el caso de la evaluación sumativa, la primera dimensión evalúa la satisfacción del estudiante con su nivel de preparación, sin enfocarse en aspectos cualitativos o cuantitativos. La segunda dimensión contempla el nivel de éxito deseado por cada estudiante, basándose en sus expectativas previas al examen sobre el rendimiento en función de su estudio y la dificultad percibida de la evaluación. Así, cada estudiante establece una meta relacionada con un porcentaje específico de respuestas correctas que considera satisfactorio.

Se considera que la EM ejerce una influencia significativa en la utilidad percibida, aunque esta relación varía según el tipo de evaluación. En el caso de la evaluación sumativa, impacta de manera positiva en la utilidad percibida, ya que permite a los estudiantes comprender y responder las preguntas de manera efectiva. En contraste, en la evaluación formativa el valor principal reside en la retroalimentación que ofrece la EBC para facilitar el aprendizaje de los estudiantes. En este contexto, la EM puede tener un impacto negativo en la utilidad percibida, puesto que los estudiantes se enfocan más en aprender que en evaluar sus conocimientos. Además, el modelo CBAAM postula que una EM alta conduce a una mayor concentración y disfrute durante la interacción con la EBC, lo que mejora la percepción lúdica. Si los estudiantes están preparados de forma adecuada y confían en su desempeño, es probable que se involucren más profundamente con el sistema y disfruten la experiencia. Con base en estos conceptos, se formulan las siguientes hipótesis:

H10: La expectativa de meta tendrá un efecto positivo en la utilidad percibida.

El último constructo del modelo CBAAM es el contenido, considerado por Wang (2003) como un factor crucial en la satisfacción de los alumnos. Este concepto examina si el contenido está actualizado, si es suficiente y útil y si satisface las necesidades de los usuarios. En CBAAM se contemplan dos dimensiones del contenido: el contenido del curso y el contenido de las preguntas. Se entiende que el contenido del curso influye significativamente en la utilidad percibida y en la percepción lúdica de la EBC, determinando su utilidad, interés y nivel de dificultad. Asimismo, el contenido de las preguntas se analiza en términos de claridad, facilidad de comprensión y relación con el contenido del curso. Estas dimensiones son específicas de este modelo y difieren de cómo otros han tratado el contenido. Por lo tanto, el modelo CBAAM asume que el contenido influirá en la utilidad percibida, la percepción lúdica, la expectativa de meta y la intención de uso, lo que se refleja en las siguientes hipótesis:

H12: El contenido tendrá un efecto positivo en la utilidad percibida.

En resumen, la figura 1 muestra el marco conceptual del modelo CBAAM y las relaciones hipotéticas entre los constructos adoptados.

El uso del sistema de evaluación basado en preguntas de opción múltiple con evaluación automática fue simple pues el estudiante únicamente debía elegir la respuesta correcta. El examen se sustentó en el inventario de conceptos de fuerza (force concept inventory, FCI) propuesto por Hestenes et al. (1992) y tuvo una duración de 30 minutos, además de constar de 27 preguntas, cada una con cuatro respuestas posibles. Al finalizar el examen, los participantes respondieron el cuestionario CBAAM, que se describe en la siguiente fase.

El CBAAM fue desarrollado en inglés por lo que se tradujo al español, donde la adaptación y validación intercultural del instrumento requirió de un proceso metodológico riguroso con el objetivo de lograr la equivalencia entre el original y la versión traducida (Muñiz et al., 2013; Sousa & Rojjanasrirat, 2011), por ello, la traducción fue realizada por expertos en el área de adopción tecnológica y por el centro de idiomas de la universidad en cuestión.

Antes de implementar el instrumento CBAAM se realizó un estudio piloto con 55 estudiantes de ingeniería que cursaban el primer año, con el propósito de conocer su opinión acerca de la claridad de los reactivos y corregir los aspectos que, de forma o fondo, dificultaban la comprensión. A estos participantes se les informó el motivo de la prueba y se les solicitó su consentimiento informado a través de un formulario electrónico.

El instrumento final se aplicó con Formularios de Google para que estuviera disponible una vez que los alumnos terminaran de usar el sistema de evaluación basado en preguntas de opción múltiple con evaluación automática. El instrumento contenía 30 ítems con siete opciones de respuesta: 1 = absolutamente en desacuerdo, 2 = fuertemente en desacuerdo, 3 = en desacuerdo, 4 = ni en acuerdo ni desacuerdo, 5 = de acuerdo, 6 = fuertemente de acuerdo y 7 = absolutamente de acuerdo (ver tabla 1).

Para analizar el modelo de adopción de la evaluación basada en computadora, en este trabajo se utilizó el enfoque de modelado de ecuaciones estructurales (SEM) basado en mínimos cuadrados parciales (PLS). Este enfoque es particularmente adecuado para modelos exploratorios y complejos donde las relaciones entre variables latentes son de interés primordial. La implementación de PLS-SEM se realizó siguiendo un conjunto de reglas y pautas establecidas para garantizar la precisión en la estimación estadística del modelo, según lo sugieren Hair et al. (2016). En cuanto al tamaño de la muestra, el valor mínimo recomendado está definido por las dos pautas siguientes: a) diez veces mayor que el número de elementos para el constructo más complejo, y b) diez veces el mayor número de variables independientes que impactan una variable dependiente (Chin, 1998). Debido a que el modelo en cuestión tiene cuatro variables independientes que afectan a una dependiente (utilidad percibida), la muestra de 84 participantes excede el mínimo recomendado de 40.

Tabla 1

Al seguir las directrices de Sarstedt et al. (2014), la evaluación del PLS-SEM en este estudio se dividió en dos etapas principales. En la primera se examinó la teoría de la medición y se evaluó la fiabilidad y validez de las escalas, incluyendo la fiabilidad compuesta, la varianza extraída media (AVE) para evaluar la validez convergente, y la correlación de las variables latentes para la validez discriminante. Además, se aseguró que cada ítem reflexivo tuviera cargas significativas en su constructo correspondiente. Una vez validado el modelo de medición, se procedió a la segunda etapa, enfocada en el modelo estructural, donde se evaluó la fuerza y significancia de las relaciones estructurales utilizando el coeficiente de determinación (R²) para las variables endógenas, los valores de los efectos de las rutas y sus significancias estadísticas. Asimismo, se realizó un análisis de los efectos indirectos y totales para comprender mejor las interrelaciones entre las variables latentes.

Para el análisis del modelo, este estudio empleó el software SmartPLS 4.0. La validez convergente es el grado en que los indicadores utilizados para medir una misma variable latente concuerdan (Bagozzi & Yi, 1988; Garson, 2016) y se puede demostrar mediante tres medidas: 1) confiabilidad del ítem de cada medida mediante el uso de carga factorial (> 0,7), 2) confiabilidad compuesta de cada constructo (> 0,7) y 3) la varianza extraída media (> 0,5). La tabla 2 muestra evidencias de la validez convergente. Las cargas factoriales de los elementos del modelo de medición indican niveles aceptables y, de manera similar, la confiabilidad compuesta y la varianza extraída media presentan valores adecuados.

Para evaluar la validez discriminante se aplicó el criterio de Fornell y Larcker (1981), considerada una de las medidas más relevantes en este ámbito. En este método se evalúa la raíz cuadrada de la varianza extraída media (AVE) para cada variable latente. La pauta recomendada es que la raíz cuadrada del AVE para cada variable latente debe ser mayor que su correlación con cualquier otra variable latente (Garson, 2016). El texto en negrita en la diagonal de la tabla 3 representa la raíz cuadrada del AVE de cada una de las variables latentes. Los resultados muestran que, en todas las variables latentes, la raíz cuadrada del AVE es mayor que las correlaciones con otras variables (los números debajo de la diagonal), lo que confirma que la validez discriminante está adecuadamente establecida en el estudio.

Para examinar el modelo estructural es esencial investigar la significancia estadística de las relaciones en el modelo (valor t) de las hipótesis de investigación (las estimaciones de la trayectoria) a un nivel de 0,05, así como el coeficiente de determinación (R²) para las variables endógenas de la investigación. El modelo manifiesta 47% de variación en la intención de uso. Los efectos totales de PL (0.389), FDUP (0.543) y C (0.141) son importantes para la explicación de la intención de uso. Además, EM (0.403), AI (0.303), FDUP (0.579) y UP (0.225) representan 47% de la varianza en la percepción lúdica. Por otro lado, FDUP (0.468), AI (0.245), IS (0.366) y EM (0.100) explican 44% de la varianza en la utilidad percibida. AI (0.524) y CF (0.166) representan 38% de la variación en la facilidad de uso percibida. Finalmente, el contenido (0.72) explica 51% de la variación en la expectativa de meta. En la figura 2 y la tabla 4 se resumen los resultados de las hipótesis.

Tabla 2