Vol. 11, núm. 2 /
octubre 2019 - marzo 2020/ e-ISSN 2007-1094
El efecto de usar YouTube como apoyo
didáctico en calificaciones de microeconomía
The effect of using YouTube as a didactic
support on microeconomy's grades
José Alberto Pérez Gómez
Alfredo Cuecuecha Mendoza
Resumen
Investigaciones
recientes han mostrado que la utilización de videos de YouTube como material
didáctico mejora las calificaciones en programas de maestría en línea. En este
artículo se demuestra que el uso de videos de YouTube para estudiantes de
licenciatura en modalidad presencial mejora en 3.54% la calificación promedio
de los estudiantes tratados. En el estudio se siguió el procedimiento de
experimentos controlados aleatorizados, en el cual se controla por distintas
características observables acerca de la educación a nivel preparatoria de los
estudiantes, su calificación en exámenes de admisión a la universidad, su
acceso a conexión de internet y sus hábitos de estudio. Estos resultados
confirman la importancia de la aplicación de nuevas tecnologías en modalidad
presencial para programas de licenciatura.
Palabras clave
Educación, videos
educativos, recursos didácticos en línea, evaluación de impacto, econometría
Abstract
Recent research has
shown that using YouTube videos as teaching material improves student’s grades
in online master programs. This article shows that the use of videos for
undergraduate students in face-to-face programs improves by 3.54% the average
grade of students treated. A procedure based on Randomized Controlled
Experiments (RCT) was followed, where the treatment is controlled by different
observable characteristics about the high school education of the students,
their scores university admission tests, their access to internet connection
and their study habits. These results confirm the importance of the use of new
technologies in face-to-face learning at undergraduate programs.
Keywords
Education, YouTube,
online didactic resources, impact evaluation, econometry
Recepción del artículo:
30/3/2019 | Aceptación para publicación: 18/6/2019 | Publicación: 30/9/2019
http://dx.doi.org/10.32870/Ap.v11n2.1650
Fuente:
elaboración propia.
(1) YP,D = β0 + β1D + β2Pi + δPiDi
+ μi (2) DD = E(Y11 – Y01 ) – (Y10
– Y00 )=ATE + E(Y11 – Y10
) – E(Y01 – Y00) ·
Vecino más cercano (ATTND): se elige un estudiante
no tratado j para ser el contractual del estudiante i, de tal modo que:P0,j
=minj | Pi –
Pj | donde el estudiante control j elegido del grupo no
tratado es el que minimiza la diferencia entre su propensity score (PS) y el del estudiante tratado. ·
Estimador de Kernel (ATTK), según el cual los
estudiantes tratados son emparejados con un promedio ponderado de todos los
estudiantes de control con ponderaciones que son inversamente proporcionales a
la distancia entre el propensity score matching (PSM) de
los estudiantes tratados y los no tratados. ·
Estratificación (ATTS) permite realizar un
emparejamiento entre tratados y no tratados basado en una variable que contiene
el número de bloque (estrato) al que pertenece el registro de la zona de
soporte común. La región de soporte común implica considerar en la estimación
del efecto promedio del tratamiento en los tratados (ATT) a los estudiantes que
pertenecen al rango delimitado por los propensity
scores mínimo y máximo de los estudiantes del grupo de tratamiento. Si bien estos son los
métodos estadísticos más usados, cabe aclarar que la literatura sobre el tema
es aún más extensa; sin embargo, contamos con los elementos necesarios para
describir el modelo empírico que relaciona el desempeño escolar con las
características observables en el experimento. (3) Finali = Φ(β1Xedad + β2Xprivada
+ β3XPrepaconpase + β4Xpuntaj1i+ β5Xpuntaj2i + β6XTiempoEstudio1 + β7XTiempoEstudio2 (4) dtesti
= β0 + β1Xedad + β2Xprivada
+ β3Xprepaconpase + β4Xpuntaje1 + β5Xpuntaje2 + β6Xmaterial + β7Xmaterialb
+ β8Xhorasestudio + β9Xhorasestudio
+ β10P + μ
0.19
* Significativo al 1%
A simple
vista, existe una diferencia en la calificación final entre la población tratada
y no tratada. El promedio del primer parcial para el grupo no tratado fue de
6.65, mientras que para el tratado fue de 8.3; el promedio del segundo
parcial para el grupo no tratado fue de 7.1 y para los tratados, 8.9. Cabe
mencionar que no estudiamos la significancia estadística de estas diferencias
hasta la siguiente sección, debido a que debe ser controlada por las
características observables de los estudiantes.
(5)
Pr(Y=1│Xi) = φ(β0
+ β1Xedad + β2Xprivada + β3Xprepaconpase
+ β4Xpuntaje1 + β5Xpuntaje2 + β6Xmateriala +
β7Xmaterialb + μ) * Significativo al 5% En la tabla 4 incluimos la estimación de un modelo de probabilidad para
determinar la aleatoriedad del tratamiento. Esto se hizo incluyendo en la estimación
a alumnos que no pertenecen a la LRI, pero que sí forman parte de la facultad a
la que esta pertenece. El modelo (6) presenta la ecuación estimada cuya
variable dependiente es la participación en el tratamiento y las variables
independientes son las mismas mostradas antes:
(6) Pr(P = 1│Xi
) = φ(β0 + β1Xedad + β2Xprivada
+ β3Xprepaconpase + β4Xpuntaje1 + β5Xpuntaje2 + β6Xmateriala + β7Xmaterialb
+ ε)
Fuente: elaboración propia.
Resultados
del ECA 1.532827** -.140493*
.3076795
-.1098169
-.086287
-.215147
.602009**
1.000012** 7.293339** -.0920688
[.0730705] .2627439
[.2139701]
.1101264
[.2110114] .3728703**
[.1657878]
.5702511*
[.32893] -.2639009
[.2806984]
.3063502
[.2680088]
-.13 38628
[.2341151]
-.0627404
[.2001688]
-.1966032
[.1988149]
-.0132961
[.2253785] .3149593
[.2110734] .3016632**
[.1593557] -1.359175***
[.1529444]
.6591457***
[.1232337]
-.7000297***
[.1252032]
1.220483***
[.1488297]
-.7758477***
[.1229608]
.4446357***
[.1144328]
1.907058
[1.547121] -.7235157
[1.693993] 1.183542
[1.254534]
Introducción
La
educación es un tema en constante transformación, ya que las instituciones
buscan servicios de calidad educativa óptimos, con mejores aprendizajes para
los estudiantes.
Diversos
autores (Coll, 2004; Cabero, 1996, 2008, 2010; Colina, 2008) destacan las
tecnologías de la información y la comunicación (TIC)
como un recurso que contribuye con eficiencia al mejoramiento de la calidad
educativa, incluyendo infraestructura y formación docente (Lugo, 2010). En este
sentido, se considera que la incorporación de las TIC en las aulas proporciona
las oportunidades para crear entornos de formación basados en un diseño de
calidad, centrados en el estudiante, atractivos, interactivos, económicos,
eficientes, accesibles, flexibles y significativos (Coll 2004; Cabero y Colina,
2008; Lugo, 2010).
Fandos,
Jiménez y González (2002) señalan que las TIC permiten crear nuevos
espacios en línea que ayudan a superar las barreras referidas a la coincidencia
de espacio y tiempo que hasta ahora era indispensable entre profesores y
estudiantes inmersos en el proceso de enseñanza-aprendizaje. Por su parte, Wagner (2001) y Garza (2001) observan que los
ambientes de aprendizaje tecnológicos, además de eficaces, cómodos y
motivantes, promueven el desarrollo de conocimientos y habilidades de los
estudiantes en un contexto virtual, que pueden tomar lugar en plataformas de
internet donde interactúan alumnos y profesores, además de emular la interacción que se
tiene en el aula presencial; en ambos casos se busca la generación de
aprendizajes, entendido “como un cambio en el significado de sus
experiencias”.
Recientemente, Rodríguez y Fernández (2017) demuestraron que la
implementación de videos en YouTube como material de apoyo en
un curso de estadística para estudiantes latinoamericanos de una maestría en
línea generó un impacto positivo sobre las calificaciones de los alumnos,
resultado que los autores atribuyen a que los alumnos mejoraron la comprensión
del contenido de la materia. Los resultados anteriores son muy particulares
debido a que los programas en línea pueden atraer estudiantes con un mejor uso
de las TIC, o bien, los estudiantes de posgrado pueden tener mayor motivación que otro
tipo de estudiantes, lo que hace cuestionar si la aplicación de videos en
YouTube para alumnos en otras modalidades de aprendizaje o niveles de
educación obtendría resultados similares.
El objetivo
de este artículo es estudiar el uso de videos en YouTube como material de
aprendizaje en estudiantes de nivel licenciatura, en modalidad presencial, de
la materia de Microeconomía, en una universidad ubicada en Puebla,
México. En particular, medimos el efecto causal de usar materiales didácticos
basados en la plataforma YouTube sobre las calificaciones obtenidas en la
materia mencionada. El estudio es diferente al de Rodríguez y Fernández (2017) porque en este se analizan
alumnos de licenciatura, los cuales podrían contar con menor motivación que los de
maestría, así como estudiantes de modalidad presencial, los cuales podrían
tener un conocimiento inferior del uso de las TIC comparado con quienes realizan
estudios en línea.
En este estudio hacemos un control más estricto sobre la comparabilidad
de los estudiantes, pues todos pertenecen a una misma generación escolar y
enfrentan las mismas condiciones de infraestructura en su
universidad, a diferencia de Rodríguez y Fernández
(2017), en cuya investigación los estudiantes pueden estar incluso en
distintos países y, por lo tanto, enfrentar condiciones de infraestructura
diferentes dependiendo de la región desde donde se conecten a sus plataformas
en línea.
Para
encontrar el efecto causal, seguimos la metodología de experimentos controlados
aleatorizados (ECA) (Lazcano, Salazar y
Gutiérrez, 2004; García, 2011; Baker, 2000; Gertle et al., 2011; Navarro, 2005; Moral-Arce, 2014). Encontramos
que el uso de videos como materiales didácticos mejoró las calificaciones de
los alumnos tratados en un 36%, a un nivel de confianza de 1%.
El artículo se divide de la siguiente forma: en la
primera sección, revisamos la literatura sobre la relación del proceso de
enseñanza-aprendizaje y las TIC, así como investigaciones empíricas cuantitativas. En la segunda,
abordamos la teoría de los ECA y las razones por las cuales ese efecto causal
se identifica. En la tercera, describimos el ECA estimado y el modelo empírico
en el que se formula una ecuación que relaciona el desempeño escolar con las
características observables y su participación en el ECA. En la cuarta,
especificamos las características de la población observada tanto para el grupo
de control como para el de tratamiento, lo cual es importante para determinar si los
supuestos necesarios para la aplicación de un ECA se cumplen en la población
estudiada. En la quinta sección, presentamos los resultados del ECA y, en la
sexta, las conclusiones.
Consideraciones teóricas
Determinar el impacto de usar las TIC en el proceso de
enseñanza-aprendizaje no es una tarea sencilla, debido a la existencia de al
menos tres problemas estadísticos: en primer lugar, el problema de selección en
características observables y no observables en estudiantes, que se da en
virtud de que el éxito de las TIC depende de las capacidades individuales de
cada estudiante (López, 2013), las cuales
pueden estar asociadas a los recursos que el individuo tuvo disponibles durante
su formación académica, el estilo parental con el cual se desarrolló, la educación y
condición de actividad laboral de sus padres, entre otras
El segundo problema es la selección en
características observables y no observables de escuelas, ya que la adopción de
tecnologías entre escuelas diferentes tampoco ocurre de manera aleatoria, por
ejemplo, puede haber escuelas que cuenten con mayores recursos para invertir en las
TIC e incorporarlas en sus procesos de enseñanza-aprendizaje. El tercer
problema es que la heterogeneidad en tecnologías de información puede generar
dificultades de medición: si se desconoce la naturaleza específica de la
tecnología de información utilizada se podría medir con error el verdadero
impacto de las TIC.
Por lo anterior, el ECA únicamente
utiliza videos de YouTube y se aplica en estudiantes de una universidad, de una
misma facultad, de una misma licenciatura y de una misma generación. Para
controlar las características no observables de los estudiantes, seguimos
dos estrategias: primero, la aplicación de una encuesta entre la comunidad que
integra la facultad a la cual pertenece la licenciatura estudiada con el fin de
determinar la existencia de selección de estudiantes en función de la carrera
preferida dentro de la facultad estudiada; con esa encuesta estimamos la
probabilidad de elegir la licenciatura en cuestión.
La segunda estrategia consistió en una metodología
de diferencias en diferencias para analizar el impacto del tratamiento únicamente
sobre el cambio observado en calificaciones antes y después del tratamiento.
Participaron 89 alumnos, de los cuales 41 pertenecen al grupo al que se hace referencia. El
tratamiento se dividió en tres etapas: en la primera, todos los estudiantes
recibieron materiales tradicionales; en la segunda, el grupo tratado recibió
materiales basados en videos de YouTube; en la tercera y última, todos
regresaron a utilizar materiales tradicionales. Al final de cada etapa aplicamos
exámenes para medir el desempeño de los alumnos. En el estudio, estos no podían
elegir al profesor ni la sección de la materia en la que se empleó la
intervención.
Ante la evidencia de que la selección en no
observables es mínima, en el estudio decidimos utilizar técnicas de
emparejamiento aleatorizado de datos (RMS, por sus siglas en inglés), las
cuales permiten encontrar el impacto de la intervención no solo en el promedio,
sino a lo largo de toda la distribución.
A pesar de las metodologías seguidas para la
obtención del efecto causal, hay elementos no observables que podrían generar
sesgos en la estimación; por ejemplo, si los alumnos modifican su entusiasmo
para estudiar la materia, quizás a consecuencia de usar YouTube, podríamos
asignar el impacto al uso de la TIC, cuando de hecho solo varió el entusiasmo
de los alumnos para dedicar horas de estudio. Esta investigación se guió por las horas que los alumnos reportaron en la encuesta que dedicaban a
estudiar, pero si hubieran variaciones no observadas dentro del momento del
experimento en el nivel de entusiasmo, podríamos notar sesgos. Esto hace que
las posibilidades de extrapolar los resultados del experimento a otros
ambientes sean limitadas. Lo recomendable sería aplicar ECA en otros
niveles de educación y en otras materias con el propósito de validar los
resultados alcanzados en nuestro estudio.
Relación con la literatura
Existen
diversos estudios que buscan evidencia empírica de los logros académicos
obtenidos a partir del uso eficiente de las TIC durante el proceso
enseñanza-aprendizaje. En primer lugar, destacamos los estudios que evalúan los
efectos de las TIC entendidas como hardware. Alderete y Formichella (2016)
evaluaron el programa Conectar Igualdad, aplicado en Argentina en 2012, el cual
consistió en dotar de notebooks a los
estudiantes de 15 años con la finalidad de determinar el rendimiento en los
resultados de la prueba PISA (Programa para la Evaluación
Internacional de Alumnos) de las materias de Matemáticas, Ciencias y
Lenguaje. El estudio mide la propensión del estudiante a participar en el
programa y encontró que el nivel socioeconómico de la escuela y la
disponibilidad de internet en el hogar poseen un efecto significativo y
positivo en la probabilidad de participar en el programa.
Por otra
parte, los estudiantes que son repetidores y cuyos padres están desempleados
tienen significativamente menos probabilidades de participar en el programa.
Los autores concluyen que las características no observables igualan el
rendimiento arrojado por el programa; por lo tanto, señalan la necesidad de
proveer un fin académico a la dotación de notebooks.
En este
sentido, Machin, McNally y Olmos (2006) midieron los efectos del cambio de la
política en asignación de recursos para invertir en las TIC sobre los resultados
educativos de las escuelas primarias y secundarias en Inglaterra durante 2001.
Para ello, primero midieron si el efecto en la asignación de los recursos para las
TIC por alumno es diferente para las escuelas primarias que para las
secundarias; encontraron un efecto positivo en las primarias; después midieron
el efecto de la asignación de recursos sobre las calificaciones promedio de las
materias de Matemáticas, Lenguaje y Ciencias en niños de once años, y
advirtieron una relación positiva y significativa entre el financiamiento en las TIC
por alumno y el rendimiento en las materias de Inglés y Ciencias, mientras que
en Matemáticas la relación fue positiva, pero no significativa.
En segundo
lugar, tenemos los estudios que evalúan las TIC como software. Carrillo, Onofa
y Ponce (2010) analizan el programa Más Tecnología a partir de 2005, en
Guayaquil, Ecuador. Este consistía en dotar a cada escuela primaria de cuatro
computadoras que contenían un software diseñado para facilitar el aprendizaje
de matemáticas y lenguaje de los alumnos de tercer y quinto grado. Los autores
observaron un impacto positivo en los puntajes de las pruebas de matemáticas y
uno negativo en los de lenguaje.
Por su
parte, Angrist y Levy (2002) miden el efecto del programa Tomorrow-98,
desarrollado en Israel desde 1994, sobre las calificaciones obtenidas en las
materias de Matemáticas y Hebreo. El programa dotaba a las escuelas primarias y
secundarias judías de un software que proporcionaba una instrucción asistida
por computadora (CAI) a los alumnos de cuarto y octavo grado a fin de
identificar el efecto del programa; consideraron las características de los
colegios y los alumnos, así como la intensidad del uso de la CAI.
Angrist y
Levy (2002) hallaron que el programa mejoró las puntuaciones de los estudiantes
de cuarto grado en matemáticas, pero encontraron poca evidencia de que mejoró
las puntuaciones de los alumnos de octavo grado; por lo tanto, concluyeron que
la CAI no contribuyó significativamente a mejorar las calificaciones de los
alumnos.
Por último,
Rodríguez y Fernández (2017) analizaron el uso de
videos en YouTube como recurso de contenido didáctico en la materia de
Estadística para alumnos de la Maestría en Administración Empresarial,
en modalidad a distancia. El estudio consistió en dotar cada semana a un grupo de
estudiantes de videos como materiales didácticos; a partir del segundo parcial,
los autores encontraron que el grupo que utilizó videos como material de apoyo
elevó en un punto la calificación respecto al que usó materiales
tradicionales.
La evaluación
de impacto y los ECA
Desde la
mitad del siglo pasado, los métodos estadísticos han resultado de gran
utilidad. En el sector salud, iniciaron su uso para verificar la eficacia de
algún nuevo tratamiento o medicamento y sus efectos en pacientes con
padecimientos crónicos (Lazcano et al.,
2004). La efectividad de estos métodos cuantitativos llevó a otras
ciencias a adoptar las evaluaciones de impacto. El campo de la
evaluación de la política pública es uno de los que más ha aprovechado el
herramental estadístico para verificar los efectos de aplicar políticas
públicas en la población objetivo
La
evaluación de impacto es un método estadístico que mide los efectos en las
condiciones de las personas que pueden atribuirse a un proyecto, programa o
política particular (Navarro, 2005; Baker, 2000; Moral-Arce, 2014), centra su
atención en la magnitud de los efectos generados y su causalidad con la
intervención. Los efectos pueden ser positivos cuando mejoran las condiciones de
bienestar, y negativos, cuando los cambios las deterioran. Estos se pueden deber
a factores observables, como las características del hogar, sexo, estado civil,
etcétera, y no observables, como los valores morales, motivaciones e intereses
personales, entre otros.
Las
características principales son la verificación de hipótesis y la comparación
de grupos: la primera explica la relación entre dos o más variables
independientes (causa) y variables dependientes (efecto), mientras que la
segunda utiliza un escenario contrafactual para determinar la causalidad entre
la intervención y los cambios experimentados por los beneficiados; se entiende
como escenario contrafactual la situación de los beneficiarios si no hubieran
participado en la intervención.
Cabe
destacar que este argumento no se puede observar directamente; en este sentido,
Gertle et al. (2011) señalan que es
necesario identificar un grupo de comparación con las mismas características
del grupo de tratamiento en al menos tres aspectos: ambos grupos deben ser
idénticos en ausencia del programa; los grupos deben reaccionar de la misma
manera ante el programa; y ningún grupo puede estar expuesto de modo
diferente a otras intervenciones durante el período de la evaluación.
El
escenario contrafactual se puede determinar usando diseños experimentales o
cuasiexperimentales; los primeros son considerados como los más sólidos y
robustos (Baker, 2000; Navarro, 2005). Lazcano et al. (2004) destacan el control que el investigador tiene sobre
la selección de la población, administración del tratamiento y forma en la que
logra las observaciones. La aleatorización garantiza que, en promedio, las
diferencias entre estos grupos se deben solo al hecho de participar, o no, en
el programa, ya que en el proceso de selección se han eliminado todos los
factores observados y los no observados, y se ha controlado la incidencia de
otras variables independientes que estén asociadas a la variable de impacto
(variable dependiente) y la participación en el programa; de este modo, el
grupo de comparación provee información de lo que le habría ocurrido a los
beneficiarios si no hubieran participado en la intervención.
Existen dos tipos de ECA que permiten establecer relaciones causa-efecto de una intervención: por una parte, se encuentran los diseños de reemplazo y, por el otro, los diseños cruzados. Los primeros se basan en recolectar una muestra al cambiar un tratamiento A por otro tratamiento alternativo B; en este tipo de ECA, los sujetos de estudio son divididos en dos grupos: uno llamado control y otro, tratamiento; ambos reciben el tratamiento A durante un primer período; en un segundo momento, el grupo control sigue recibiendo el tratamiento A, mientras que el de control es intervenido con el tratamiento alternativo B. En un tercer momento, ambos grupos reciben el mismo tratamiento A. Al final, las observaciones de los tratamientos A y B, se comparan en cada momento de la intervención.
En el caso
de los diseños cruzados, el grupo 1 recibe el tratamiento A durante un primer
período y el B en un segundo período; por su parte, el grupo 2 recibe los
tratamientos en orden inverso al grupo 1; en este tipo de diseño, cada sujeto
sirve como su propio control. El ECA presentado en este artículo se configuró
para ser un experimento con diseño de reemplazo.
Modelo empírico
Para medir el efecto causal de una intervención (P)
sobre un resultado (Y), se parte de considerar que (P) es una variable binaria
que adquiere valor de 1 si tomó el tratamiento y 0 si no lo tomó; la no
observación del contrafactual surge del hecho de que un individuo no puede
pertenecer a ambos grupos.
Tabla 1. Fundamento de la inferencia causal
Y0
Y1
P=0
Observable
No observable
P=1
No observable
Observable
En este artículo, utilizaremos la metodología de doble diferencia para
estimar el efecto promedio de los tratados y el RMS. Diferencias en diferencias
(DD): consiste en aplicar una doble diferencia, es decir, estima el
contrafactual del cambio en el resultado para el grupo de tratamiento
calculando el cambio del resultado para el grupo de comparación. Este método
nos permite tener en cuenta cualquier diferencia constante en el tiempo entre
los grupos de tratamiento y de control. La estrategia de DD se puede formalizar
en un modelo de regresión lineal para poder contrastar la hipótesis sobre los
estimadores, o incluir otras variables de control, mediante el uso de una
variable binaria (D) que identifica la variable de interés en dos momentos
diferentes: uno denominado “antes”, que observa la variable de interés antes de
aplicar el tratamiento, D = 0, y el
otro llamado “después”, que observa la variable de interés después de aplicar
el tratamiento, D = 1.
Lo que
significa que el método DD es una doble diferencia: la primera es el valor
esperado de los grupos tratados y control después de la intervención; la
segunda es el valor esperado de los grupos antes de la intervención.
El método
RMS consiste en formar un grupo de control a partir de individuos similares a
los del grupo de tratamiento entre un grupo de individuos no tratados. La
validez del emparejamiento se basa en dos hipótesis: la primera, llamada
hipótesis de independencia condicional, exige que no existan diferencias
sistemáticas entre agentes tratados y no tratados una vez que se ha
condicionado con valores observables; de esta manera, controlando a los
individuos por sus características observables en cada subgrupo, tendremos que
el tratamiento es independiente de los resultados y que fue administrado de
modo aleatorio. La segunda se denomina hipótesis de soporte común y exige que
haya cierta probabilidad entre los tratados y no tratados de recibir el
tratamiento. En forma similar a Alderete y
Formichella (2016), señalamos los siguientes métodos de emparejamiento:
Descripción
del contexto en el que se realiza el experimento
El experimento se llevó a cabo en una universidad del estado de Puebla,
México, con estudiantes de la Licenciatura en Relaciones Internacionales (LRI)
de cuarto semestre, durante el período escolar otoño 2017, en modalidad
presencial. Para ingresar a la universidad, todos los estudiantes presentaron
un examen de admisión, cuyo puntaje fue solicitado a los estudiantes y se
incluyó como variable de control. La admisión también considera si cursaron sus estudios de preparatoria en escuelas que son parte de
unidades académicas que conforman toda la universidad, pues esos estudiantes
cuentan con pase directo (tomando en cuenta su promedio de preparatoria y el
puntaje obtenido en el examen de admisión). Es importante mencionar que un
estudiante promedio de cuarto semestre toma seis materias en el semestre, las
cuales le han sido asignadas por las autoridades académicas de su programa; los
estudiantes no pueden elegir ni materias ni horarios o secciones; a esto se
debe que una materia sea dictada en el mismo horario por distintos profesores.
Descripción
del modelo empírico
Proponemos
un modelo empírico que relaciona el desempeño escolar de los estudiantes de la
LRI en modalidad presencial con su participación en el ECA y las
características observables de la siguiente forma:
donde la variable Finali es la calificación obtenida en el curso; toma valores de 0 a 10;
El modelo anterior es válido bajo el supuesto de que el tratamiento es
aleatorio y que las variables observables introducidas en el modelo permiten
controlar todas las características observables de los estudiantes. Como
mencionamos, para no realizar este supuesto, es posible estimar un modelo de
doble diferencia, el cual eliminará los factores fijos en los estudiantes; ese
modelo se explicó en las ecuaciones 1 y 2 con la finalidad de identificar
el efecto en las calificaciones observadas después de utilizar el tratamiento.
Este modelo empírico lo presentamos en la ecuación (4):
donde dtest es la diferencia
de las calificaciones obtenidas en el segundo parcial respecto a las obtenidas
en el primero; dtest1 es la
diferencia entre las calificaciones finales con relación a las del segundo
parcial; y dtest2 es la diferencia de
la calificación final en referencia a la obtenida en el primer parcial.
Finalmente, para analizar el impacto del tratamiento no solo en el
promedio de la distribución, sino en toda esta, aplicamos técnicas de RMS, las
cuales explicamos anteriormente.
Descripción de la población
La población de estudio se refiere a estudiantes de
la LRI en modalidad presencial que cursaron la materia de Microeconomía durante
el otoño 2017. Esta población se describe en la tabla 2, en la cual observamos
que se compone de 84 estudiantes, divididos en dos grupos: uno llamado tratado,
que se refiere a 41 estudiantes que en un tema se les proporcionó videos
como material didáctico, y otro denominado no tratado, conformado por 43 alumnos
que no recibieron los videos, a partir de las variables observables.
Tabla 2. Descripción de la población
Población
No tratada
Tratada
Total
Diferencia
no tratado-tratado
Parcial 1
6.65
8.3
7.48
1.69*
Parcial 2
7.1
8.9
7.98
1.81*
Calificación
final
6.9
8.9
7.88
1.99*
Edad
20.02
20.12
20.07
0.09
Educación
privada
0.39
0.36
0.38
-0.02
Preparatoria con
pase automático
0.16
0.17
0.03
Puntaje1
0.13
0.12
0.13
0.002
Puntaje2
0.62
0.6
0.61
0.01
Tiempo
estudio1
1.25
1.51
1.38
0.25
Tiempo
estudio2
1.69
2
1.84
0.3
n
43
41
84
Fuente: elaboración propia.
El 39% de
los estudiantes del grupo no tratado proviene de una educación preparatoria
privada y el 36% del grupo tratado, de una educación preparatoria privada. El
13% del grupo de los no tratados se encuentra en el rango de Puntaje1 y el 12%
del grupo de los tratados, en el rango de Puntaje1, mientras que, para la
variable Puntaje2, el 62% de los no tratados se encuentran en ese rango. Para
el grupo no tratado, observamos que dedicaron 1.25 horas de estudio a la semana
para el primer parcial, mientras que el grupo tratado, 1.51 horas de estudio a
la semana para el primer parcial. Asimismo, el grupo no tratado dedicó 1.69
horas de estudio a la semana para el segundo parcial y el tratado, dos horas en
promedio a la semana al estudio.
Posibles
sesgos de selección en la muestra
Para la
aplicación de la metodología ECA, partimos del supuesto de que la población de
estudio es aleatorizada sobre una población que, desde el punto de vista
estadístico, es similar en sus características observables. En este estudio
incluimos en el tratamiento alumnos de una misma facultad, de una misma licenciatura
y de una misma generación, lo que arroja un población homogénea en características
observables , pero que puede tener variaciones en edad,
antecedentes en educación preparatoria, sus horas de estudio y, tal vez, los
recursos a los que tiene acceso por sus condiciones socioeconómicas de origen.
Estas
diferencias en características observables se pretenden obtener a partir de la
encuesta realizada con ellos. También podría haber otros sesgos de
selección implícitos en el hecho de que cada uno de ellos puede tener una
propensión distinta a participar en el tratamiento derivado de su interés por
la LRI o por una posible elección para tomar las clases que fueron elegidas
para ser tratadas. En esta sección mostramos que sí hay evidencia de que los
estudiantes de LRI son diferentes del promedio de estudiantes de la facultad
estudiada, y encontramos que no hay sesgo por selección para participar en el
tratamiento.
Para
determinar si existe un sesgo de selección por ser alumnos de la LRI,
levantamos una encuesta a estudiantes de la generación 2016 de las
licenciaturas en Ciencias Políticas, Derecho, Criminología y Relaciones
Internacionales, en la cual se preguntaron aspectos generales como sexo, edad,
tipo de escuela preparatoria (pública o privada), así como si se trata de una
preparatoria con pase directo a la universidad, puntaje de admisión y conexión a
internet, la cual se divide en conexión en casa, en el móvil y su uso
de internet. Estimamos un modelo Probit, cuya variable dependiente toma el
valor de 1 si es un estudiante de LRI y el valor de cero en cualquier otro
caso. El modelo se expresa de la siguiente manera:
En la tabla
3 observamos que, excepto haber estudiado en una preparatoria con pase automático y
haber obtenido el Puntaje1, todas las variables no son significativas
estadísticamente. Las dos variables mencionadas reducen la probabilidad de
estudiar la LRI y son significativas al 5%. El modelo, en su conjunto, es
estadísticamente significativo al 1%; si bien la pseudo R2 puede
explicar un 6.4% de la variación en los datos. En las estimaciones se presentan
tanto el control de la probabilidad de estudiar LRI como sin dicho control.
Tabla 3. Modelo de
preferencia por estudiar la
Licenciatura de Relaciones Internacionales
Modelo de
preferencia por estudiar LRI
Variables
Estimaciones
Probit
Errores estándar
Edad
-.004418
.0737727
Privada
.1684801
.229565
Prepaconpase
-.6795953*
.2454751
Puntaje1
-.8968417*
.323078
Puntaje2
-.2222637
.2091178
Materialesb
.2326445
.2152165
Materialesc
.2964923
.2718475
_cons
.2786243
1.47864
R2
6.4%
N
187
Test LR (máxima Verisimilitud) chi2 (6)
16.46
Valor p
0.0115
Fuente: elaboración propia.
donde Pr(P = 1│Xi ) es la
probabilidad de participar en el tratamiento y
En la tabla 5
observamos que ninguna variable es estadísticamente significativa y que el
modelo, en su conjunto, no es estadísticamente significativo. Esto demuestra
que las variables elegidas permiten determinar la existencia de un sesgo de
selección por carrera elegida (LRI), pero no un sesgo de selección en el
tratamiento.
Tabla 4. Modelo de
aleatoriedad del tratamiento
Modelo de
preferencia por estudiar LRI
Variables
Estimaciones
Probit
Errores estándar
Edad
.0206427
.0788509
Privada
.131084
.2409454
Prepaconpase
-.3171593
.276501
Puntaje1
1.095481
.9372713
Puntaje2
.1371527
.234669
Materiala
.1557351
.2371463
Materialb
.1492576
.3002784
_cons
-1.330112
1.47864
R2
2.3%
1.603311
N
189
Test LR (máxima verisimilitud) chi2 (7)
4.61
Valor p
0.7079
La tabla 5
revela que la variable tratamiento es significativa al 1% y que se obtiene un
efecto de 1.54 unidades de calificación, lo que equivale a un aumento del 17%
en la calificación obtenida antes del tratamiento. También muestra que las
horas de estudio son estadísticamente significativas al 1%, y aumentan la
calificación en .60 puntos para el primer parcial y en un punto para el segundo
examen. La variable edad es significativa al 10%, y reduce en -.14 puntos la
calificación obtenida. Esta estimación puede estar sesgada debido a que asume
que el tratamiento es aleatorio y que no está correlacionado con las variables
no observadas de los estudiantes, algo que en esta ecuación no puede afirmarse,
en virtud de que no hemos aplicado la diferencia entre el antes y después del
tratamiento; lo anterior se tratará en la siguiente estimación.
Tabla 5. Modelo
del efecto de las TIC
sobre la calificación final
Tratamiento
[.2187623]
Edad
[.0729101]
Privada
Prepaconpase
[.3797313]
Puntaje1
[.3718612]
Puntaje2
[.2276607]
TiempoEstudio1
[.1475319]
TiempoEstudio2
[.1478233]
Cons
[1.527952]
N
82
F
32.83
Prob > F
0.0000
R2
75%
MSE
.91494
* Significativo al 1%
** Significativo al 10%
Fuente: elaboración propia.
Las
estimaciones para el modelo DD se presentan en la tabla 6, en la cual
advertimos que en la columna dtestlas horas dedicadas al estudio y preparatoria con pase son estadísticamente
significativas; sin embargo, conforme realizamos las pruebas para dtest1 y
dtest2, observamos que la variable prepa con pase directo deja de ser
significativa; en cambio, la variable estudios privados toma significancia al
5%, lo que sugiere que afectan de modo directo el rendimiento académico de los
estudiantes. De igual modo, notamos que el tratamiento es estadísticamente
significativo solo cuando se compara el primer examen con el examen final y se
alcanza un impacto de .30 puntos de calificación, lo que equivale a un
incremento del 3.54% en la calificación.
Tabla 6. Modelo DD
Modelo DD robust, con control por estar en la
LRI
Variables
dtest
dtest1
dtest2
Edad
.0516805 [.0814963]
-.0403882
[.0617792]
Privada
Prepaconpase
Puntajeb
.0630596
[.2979562]
-.2043366
[.2957149] -.141277
[.2568983]
Puntajec
Tratamiento
Xtiempohrsem
Xtiempohrsem
_cons
R2
67.7%
43.3%
45.2%
N
82
82
82
F
15.53
8.30
4.85
Prob > F
0.0000
0.0000
0.0001
Root MSE
.84078
.84405
.67205
* Significativo al 10%
** Significativo al 5%
*** Significativo al 1%
Fuente: elaboración propia.
Ahora procedemos a realizar un modelo de robustez mediante el método RMS, con la finalidad de identificar el efecto
de usar videos de YouTube sobre el rendimiento académico de los estudiantes de
LRI. La tabla 7 indica la diferencia en el rendimiento académico entre los
estudiantes que recibieron el tratamiento y los que no es estadísticamente
significativa para dos de las cuatro técnicas utilizadas. En los dos casos para
los que se encuentra un efecto significativo el tratamiento marca
5%. El efecto causal estimado es mayor al obtenido mediante la técnica DD,
lo que implica que, al medir el impacto en el promedio de la muestra, se tenía
un sesgo a la baja y que, al medir el efecto a lo largo de la distribución de
calificaciones, es posible identificar un impacto mayor.
Tabla 7. Estimación de ATT
Prueba | PSM | Tratados
|
Controles | ATT
|
t de Student |
dtest2 | ATTND
|
41
|
26
|
0.387
|
1.585
|
dtest2 | ATTR | 27
|
36 | 0.600
|
1.947*
|
dtest2
|
ATTK
|
41
|
42 | 0.280
|
1.349 |
dtest2
|
ATTS
|
5 | 78
|
0.852
|
1.734* |
* Significativo al 5%
Notas: ATT: tratamiento en los tratados; PSM: propensity
score matching; ATTND: tratamiento de los tratados según
Vecino más
Cercano, se utiliza muestreo con reemplazo; ATTR: tratamiento en los tratados según radio, se
utilizó con un radio del 1%;
ATTK: tratamiento de los
tratados según Kernel; ATTS: tratamiento en los tratados
según estratificación;.
Fuente: elaboración propia.
Es
importante señalar que las estimaciones del ATT se hicieron considerando un soporte
común para el tratamiento y los controles; asimismo, utilizamos muestreo con
reemplazo; además, los errores estándar se obtuvieron con bootstrap con mil repeticiones.
Consideraciones finales
En el
estudio realizado, mediante la aplicación de un ECA, examinamos la relación
causal entre el uso de videos de
YouTube sobre las calificaciones de estudiantes de la materia de
Microeconomía de la carrera de LRI, modalidad presencial, durante el período de
estudios correspondiente a otoño 2017.
Encontramos
evidencia estadística de que las variables estudios privados y hábitos de
estudio adquiridos previos a la educación superior son estadísticamente
significativas en las calificaciones obtenidas por los estudiantes; por lo
tanto, esas variables afectan de manera directa el rendimiento académico de los
estudiantes durante su formación universitaria; sin embargo, encontramos que la
utilización de videos YouTube tiene un impacto aún por encima de los
antecedentes de educación preparatoria de los estudiantes, lo cual implica que
el uso de las TIC puede ser una forma de mejorar la equidad y reducir las brechas
entre estudiantes ocasionadas por el origen socioeconómico, el cual, se ha
demostrado, puede afectar la adquisición de educación y la movilidad social
(Cuecuecha, 2017).
Finalmente,
hallamos evidencia estadística de que la utilización de videos de YouTube
implica una mejora promedio del 3.54% en las calificaciones obtenidas por los
alumnos tratados, de ahí que se demuestra que los videos de YouTube, acompañados
de una estrategia docente adecuada, son una herramienta que ayuda a mejorar el
aprendizaje de conocimientos y
habilidades de los estudiantes de Microeconomía.
Estos
resultados confirman la conveniencia de utilizar videos de YouTube como
herramienta de aprendizaje, lo cual había sido mostrado por Rodríguez y Fernández (2017), en el contexto de
estudiantes de maestría en modalidad en línea. Por lo tanto, nuestro estudio
amplía el conocimiento al confirmar la efectividad de usar videos de YouTube en
estudiantes de licenciatura en modalidad presencial.
Recomendaciones
Debido a la
extensa discusión del tema de educación, encontramos la necesidad de emprender
una investigación que profundizara en las discusiones psicopedagógicas en las
que se encuentra inmersa la institución de educación superior donde aplicamos
los ECA. Esto con la finalidad de determinar cómo puede entenderse la mejora
estudiada en este ECA en un contexto de cambio institucional.
De manera
más general, los estudios sobre aplicación de las TIC en el proceso de
enseñanza-aprendizaje deben también continuarse, ya que los cambios
tecnológicos representan una oportunidad para mejorar ese proceso y contribuir
a que la educación sea un medio para reducir las brechas sociales que existen
en nuestro país.
Es
importante destacar que para probar que una mejora en calificaciones lograda
utilizando videos de YouTube induce una mejora en la movilidad social de las
personas, se requieren estudios a mediano plazo que permitan dar seguimiento a
los individuos tratados en su desempeño laboral y económico a lo largo del
tiempo. Este tipo de estudios son necesarios para determinar los beneficios de
implementar las TIC en el proceso de enseñanza-aprendizaje.
Referencias bibliográficas
Alderete,
M. & Formichella, M. (2016). Efecto de las TIC en el rendimiento educativo:
el Programa Conectar Igualdad en la Argentina. Revista CEPAL (119),
89-107. Recuperado de: https://repositorio.cepal.org/bitstream/handle/11362/40404/1/RVE119_Formichella.pdf
Angrist, J. & Lavy, V. (2002). New
Evidence On Classroom Computers And Pupil Learning. The
Economic Journal, 735-765. Recuperado de: https://economics.mit.edu/files/22
Arredondo,
R. P. (2017). Conectividad y desigualdad digital en
Jalisco, México. Comunicación y Sociedad, 30, 129-165.
Recuperado de: http://www.scielo.org.mx/pdf/comso/n30/0188-252X-comso-30-00129.pdf
Baker, J. L.
(2000). Evaluación de impacto de los proyectos de desarrollo en la pobreza.
Washington, DC: Banco Mundial. Recuperado de: http://siteresources.worldbank.org/INTISPMA/Resources/Impact-Evaluation-Handbook--Spanish-/manual.pdf
BUAP.
(2007). Modelo Educativo-Académico. En BUAP, Modelo Universitario Minerva
(págs. 1-98). Puebla: Vicerrectoria de Docencia, BUAP. Recuperado de: http://www.minerva.buap.mx/
Cabero, J.
(1996). Nuevas tecnologías, comunicación y educación. EDUTEC(1), 1-13. http://doi.org.mx/10.21556/edutec.1996.1.576
Cabero, J. (2008).
La investigación en la educación a distancia en los nuevos entornos de
comunicación telemáticos. Revista Internacional de
Ciencias Sociales y Humanidades, XVIII(2), 13-34. Recuperado de: http://www.redalyc.org/pdf/654/65411193002.pdf
Cabero, J.
(2010). Los retos de la integración de las TICs en los procesos
educativos. Límites y posibilidades. Perspectiva
Educacional, 49(1), 32-61.
Carrillo,
P.; Onofa, M. & Ponce, J. (2010). Information
Technology and Student Achievement: Evidence from a Randomized Experiment in
Ecuador. IDB Working Paper Series, 1-31. Recuperado de: https://publications.iadb.org/bitstream/handle/11319/3094/Information%20Technology%20and%20Student%20%20Achievement%3A%20Evidence%20from%20a%20Randomized%20Experiment%20in%20Ecuador.pdf?sequencCastaño, M.
J. (2010). La desigualdad digital entre los alumnos universitarios de los
países desarrollados y su relación con el rendimiento académico. RUSC. Universities and Knowledge Society Journal, 7(1),
1-11. Recuperado de: http://www.redalyc.org/pdf/780/78012953012.pdf
Colina, C.
L. (2008). Las TIC En Los Procesos De Enseñanza-Aprendizaje En La Educación A
Distancia. Laurus, 14(28), 295-314. Recuperado de: https://www.redalyc.org/pdf/761/76111716015.pdf
Coll, C.
(2004). Psicología de la educación y prácticas educativas
mediadas por las tecnologías de la información y la comunicación. Una mirada
constructivista. Revista Electrónica Sinéctica, 25,
1-24. Recuperado de: http://www.redalyc.org/articulo.oa?id=99815899016
Cuecuecha,
M. A. (2017). El impacto del origen socioeconómico sobre las características
del primer empleo y de las trayectorias laborales en México. Un estudio basado
en la EMOVI 2011. Publicciones. México: Centro de Estudios Espinoza
Yglesias. Recuperado de: https://ceey.org.mx/wp-content/uploads/2019/02/Cuecuecha-2017.completo-con-portada.pdf
García, N.
L. (2011). Econometría de Evaluación de Impacto. Economía,
XXXIV(67), 81-125.
Garza, R.
(2001). Diseño de ambientes electrónicos de aprendizaje. Revista EGE, 4.
Gertle, P.; Martínez, S.; Premand, P.; Rawlings, L.
& Vermeersch, C. (2011). La
Evaluación de Impacto en la Práctica. Washington, DC: Banco Internacional de Reconstrucción
y Fomento. http://doi.org.mx/10.1596/978-0-8213-8541-8
Hart, M.
(2012). Los experimentos de Hawthorne. Revista Cubana
de Salud Pública, 38(1), 156-167. Recuperado de: https://www.scielosp.org/article/ssm/content/raw/?resource_ssm_path=/media/assets/rcsp/v38n1/spu15112.pdf
Heckman, J. J. (2005). Structural Equations, Treatment
Effects, and Econometric. Econometrica,
73(3), 669-738.
Hernández,
P., & Méndez, I. (2005). La corrección del sesgo de selección en los
análisis de corte transveral de discriminación salarial por sexo: estudio
comparativo en los países de la Unión Europea. Estadística
Española, 47(158), 179-214. Recuperado de: http://www.ine.es/ss/Satellite?blobcol=urldata&blobheader=application%2Fpdf&blobheadername1=Content-Disposition&blobheadervalue1=attachment%3B+filename%3D463%2F28%2F158_6.pdf&blobkey=urldata&blobtable=MungoBlobs&blobwhere=463%2F28%2F158_6.pdf&ssbinary=tru
Lazcano, P.
E.; Salazar, E. & Gutiérrez, P. (2004). Ensayos clínicos
aleatorizados: variantes, métodos de aleatorización, análisis, consideraciones
éticas y regulación. Salud Pública de México,
559-584. Recuperado de: http://www.scielo.br/pdf/spm/v46n6/22570.pdf
Llorente, C.
M. (2008). Blended Learning para el Aprendizaje en Nuevas Tecnologías
Aplicadas a la Educación. Sevilla, España: Facultad Ciencias de la
Educación.
López, P. M.
(2013). Las nuevas tecnologías en el proceso de enseñanza y aprendizaje. ¿Qué
piensan los futuros maestros? Tejuelo: Didáctica de
la Lengua y la Literatura. Educación, 18, 40-61.
Lugo, M. T.
(2010). Las Políticas TIC en la Educación de América Latina. Revista
Fuentes, 10, 52-68.
Machin , S.; McNally , S. & Silva , O. (2006). New Technology in Schools: Is there a payoff? Discussion
Paper Series (2234), 1-40. Recuperado de: http://ftp.iza.org/dp2234.pdf
Machin, S.; McNally, S. & Silva, O. (2006). New Technology in Schools: Is There a Payoff? IZA(2234),
1-40. Recuperado de: https://pdfs.semanticscholar.org/1ceb/d1cff4faec1d81b0d87912df7a0379e96347.pdf
Meneses, G.
B. (2007). El proceso de enseñanza – aprendizaje: el acto didáctico
(vol. I). Tarragona: UNIVERSITAT ROVIRA I VIRGILI NTIC. Recuperado
de: http://www.tdx.cat/bitstream/handle/10803/8929/Elprocesodeensenanza.pdf
Moral, I. A.
(2014). Elección del método de evaluación ciantitativa de una política
pública. Madrid: EUROsociAL.
Moral-Arce,
I. (2014). Elección del método de evaluación cuantitativa de una política
pública: Buenas prácticas en América Latina y la Unión Europea. Madrid,
España: EUROsociAL. Recuperado de: http://www.sia.eurosocial-ii.eu/files/docs/1400665227-DT6.pdf
Navarro, H.
(2005). Manual para la evaluación de impacto de proyectos y programas de
lucha contra la pobreza. Santiago de Chile: CEPAL.
Recuperado de: https://repositorio.cepal.org/bitstream/handle/11362/5605/1/S053168_es.pdf
Neisser, U.
(1982). Procesos cognitivos y realidad. Madrid.
Ravillion, M. (2008). Evaluating Anti-Poverty
Programs. En T. P. Strauss, Handbook of Development Economics (págs. 787-846). Amsterdam: North-Holland.
Rodríguez
Villalobos, M. C. & Fernández Garza, J. (2017). Uso del recurso
de contenido en el aprendizaje en linea: YouTube. Apertura,
9(1), 22-31. Recuperado de: http://www.udgvirtual.udg.mx/apertura/index.php/apertura/article/view/1018/639
Wagner, E. (2001). Emerging Learning Trends and the
World Wide Web. En B. Khan, Web-Based Training. New Jersey: Educational
Technology Publications.
________________________________
Acerca de los autores
José
Alberto Pérez Gómez
Maestro en Ciencias Políticas por la Benemérita Universidad Autónoma de Puebla (BUAP).
Profesor investigador en la Facultad de Derecho y Ciencias Sociales de la BUAP.
Alfredo
Cuecuecha Mendoza
Doctor en Economía por la Economics, Boston University. Profesor
investigador del Centro de Investigación e Inteligencia Económica de la
Universidad Popular Autónoma del Estado de Puebla. Miembro del Sistema Nacional
de Investigadores Nivel I, México.
_________________________________
Este artículo es de acceso abierto. Los usuarios pueden leer, descargar,
distribuir, imprimir y enlazar al texto completo, siempre y cuando sea sin
fines de lucro y se cite la fuente.
CÓMO
CITAR ESTE ARTÍCULO:
Pérez Gómez, José Alberto y Cuecuecha Mendoza, Alfredo. (2019). El efecto de usar
YouTube como apoyo didáctico sobre calificaciones de microeconomía. Apertura, 11(2). http://dx.doi.org/10.32870/Ap.v11n2.1650
Métricas de artículo
Metrics powered by PLOS ALM
Enlaces refback
- No hay ningún enlace refback.
Apertura vol. 16, núm. 1, abril - septiembre 2024, es una revista científica especializada en innovación educativa en ambientes virtuales que se publica de manera semestral por la Universidad de Guadalajara, a través de la Coordinación de Recursos Informativos del Sistema de Universidad Virtual. Oficinas en Av. La Paz 2453, colonia Arcos Sur, CP 44140, Guadalajara, Jalisco, México. Tel.: 3268-8888, ext. 18775, www.udgvirtual.udg.mx/apertura, apertura@udgvirtual.udg.mx. Editor responsable: Alicia Zúñiga Llamas. Número de la Reserva de Derechos al Uso Exclusivo del Título de la versión electrónica: 04-2009-080712102200-203, e-ISSN: 2007-1094; número de la Reserva de Derechos al Uso Exclusivo del Título de la versión impresa: 04-2009-121512273300-102, ISSN: 1665-6180, otorgados por el Instituto Nacional del Derecho de Autor. Número de Licitud de Título: 13449 y número de Licitud de contenido: 11022 de la versión impresa, ambos otorgados por la Comisión Calificadora de Publicaciones y Revistas Ilustradas de la Secretaría de Gobernación. Responsable de la última actualización de este número: Sergio Alberto Mendoza Hernández. Fecha de última actualización: 22 de marzo de 2024.
Comentarios sobre este artículo
por totoonline lae (2022-05-21)
por totogaduntgl gadun4d (2022-06-19)
por Renaldo Reynoso (2023-01-18)
por Meri Medley (2023-01-21)