Diferencias instruccionales y funcionamiento diferencial de los ítems: Acuerdo entre el método Mantel-Haenszel y la regresión logística

Padilla

Description

Resumen
Durante las dos últimas décadas, la investigación sobre el sesgo en los tests ha estado centrada en el desarrollo de métodos estadísticos adecuados para detectar ítems con un funcionamiento diferencial. La comprensión del funcionamiento diferencial de los ítems (DIF) no ha recibido tanta atención. Este estudio investiga el efecto de las diferencias instruccionales sobre el DIF. Se utilizó un diseño experimental para inducir DIF manipulando la instrucción que recibían dos grupos de personas. El estudio también comparó la capacidad para detectar DIF de los métodos estadísticos c2 de Mantel-Haenszel (Holland y Thayer, 1988) y la regresión logística (Swaminathan y
Rogers, 1990). El procedimiento experimental pretendía producir DIF en 9 ítems. Los dos métodos estadísticos identificaron los 9 ítems con DIF previsto.
Abstract
During the latest two decades, research on test bias has been concerned in the development of statistical methods for detecting items with a possible differential functioning. The study of causes of differential item functioning (DIF) has received less attention. This paper explores the effect of people receiving different instructional strategies on DIF. An experimental design was used to induce DIF. DIF was induced by manipulating the instruction to the two groups of examinees. The study also compared the qualities of the statistical method Mantel-Haenszel's c2 (Holland & Thayer, 1988) and logistic regression (Swaminathan & Rogers, 1990) for detecting DIF items. The experimental procedure was intended to induce DIF in 9 items. Both statistical methods flagged the nine DIF induced items.

Sujets

• Regresión logística
• DIF
• Causes
• Logistic regression

Informations

• Publié par: erevistas
• Publié le: 01 janvier 1998
• Nombre de lectures: 10
• Langue: Español

Extrait

Psicológica (1998) 19, 201-215.
Diferencias instruccionales y funcionamiento
diferencial de los ítems: Acuerdo entre el método
Mantel-Haenszel y la regresión logística.
*
José Luis Padilla , Andrés González y Cristino Pérez
Universidad de Granada
Durante las dos últimas décadas, la investigación sobre el sesgo en los tests
ha estado centrada en el desarrollo de métodos estadísticos adecuados para
detectar ítems con un funcionamiento diferencial. La comprensión del
funcionamiento diferencial de los ítems (DIF) no ha recibido tanta atención.
Este estudio investiga el efecto de las diferencias instruccionales sobre el
DIF. Se utilizó un diseño experimental para inducir DIF manipulando la
instrucción que recibían dos grupos de personas. El estudio también comparó
2
la capacidad para detectar DIF de los métodos estadísticos de
MantelHaenszel (Holland y Thayer, 1988) y la regresión logística (Swaminathan y
Rogers, 1990). El procedimiento experimental pretendía producir DIF en 9
ítems. Los dos métodos estadísticos identificaron los 9 ítems con DIF
previsto.
Palabras clave : Funcionamiento diferencial del ítem, causas,
MantelHaenszel, regresión logística.
Las investigaciones sobre el funcionamiento diferencial de los ítems (DIF)
han estado centradas en el desarrollo de métodos estadísticos para identificar de
forma fiable aquellos ítems que reflejan una ejecución diferencial de personas
igualmente capaces, pero miembros de diferentes grupos demográficos. Por el
contrario, la comprensión de las causas del DIF no ha recibido una atención
semejante (Scheuneman, 1982, 1987; Skagg y Lissitz, 1992; Schmitt, Holland y
Dorans, 1993).
*
Dirigir la correspondencia a José Luis Padilla. Dept. Psicología Social y Metodología.
Facultad de Psicología. Universidad de Granada. Campus de Cartuja. 18071 Granada. Telf:
958 24 62 69. Fax: [phone]. E-mail: [e-mail]
cLos pocos resultados obtenidos se pueden resumir en: (1) el efecto de las
características superficiales de los ítems se puede explicar recurriendo a
diferencias en las experiencias instruccionales de los grupos de personas (Angoff
y Ford, 1973; Linn y Harnish, 1981; O’Neill y McPeek, 1993; Scheuneman y
Gerritz, 1990; Schmitt y Dorans, 1990); (2) las variables demográficas son
etiquetas "muy gruesas" que pueden esconder variables instruccionales relevantes
para explicar el DIF (Miller y Linn,1988; Muthén, 1988; Tatsuoka, Linn,
Tatsuoka y Yamamoto, 1988); y (3) los métodos estadísticos pueden detectar el
DIF cuando se comparan grupos definidos por sus experiencias instruccionales
(Padilla, Pérez y González, 1998).
Las razones que pueden explicar la escasez de resultados significativos son:
(1) pocos estudios han investigado las causas del DIF; (2) los tests analizados
suelen ser tests comerciales, por lo que es raro encontrar ítems con un DIF
significativo; y (3) pocas investigaciones han inducido DIF experimentalmente.
La utilización de una aproximación experimental para comprender el DIF
ha sido frecuentemente recomendada (Mellenbergh, 1989; Scheuneman, 1987;
Schemeiser, 1982; Schmitt, Holland y Dorans, 1993). También el DIF ha sido
inducido en investigaciones sobre las características de los métodos estadísticos
(Kok, Mellenbergh y Van der Flier, 1985).
Este estudio indujo DIF manipulando diferencialmente la instrucción
recibida por dos grupos de personas. El objetivo del estudio era evaluar si
diferencias en la instrucción están asociadas con el DIF. Además, se analizó el
2
acuerdo en la detección del DIF inducido entre los métodos estadísticos de
Mantel-Haenszel (Holland y Thayer, 1988) y la regresión logística (Swaminathan
y Rogers, 1990).
METODO
Participantes y diseño . La muestra estaba formada por 324 personas, de
ellas 241 (74.38%) eran mujeres, y 83 hombres (25.62%). La mediana de la edad
era de 22 años. Todas cursaban la asignatura de Psicometría dentro del tercer
curso de la Licenciatura de Psicología. El área de contenido elegida para la
manipulación instruccional fue “Introducción a la Teoría de la Generalizabilidad”
(TG). Ninguna de las personas de la muestra había estudiado antes el área de
contenido.
Las personas fueron asignadas al azar a dos grupos: 173 personas al Grupo
de Referencia (GR), y 151 al Grupo Focal (GF).
cDiferencias instruccionales. Numerosos estudios muestran que, durante
el aprendizaje, las personas elaboran representaciones –"modelos mentales"– que
dirigen su ejecución en tareas de evaluación. Por ejemplo, Zorroza y
SánchezCánovas (1995) mostraron la importancia de los modelos para resolver
problemas matemáticos. La enseñanza dirigida a la adquisición de un modelo
mental utiliza diagramas, ejemplos y “no-ejemplos” (problemas en los que no se
puede aplicar el principio o procedimiento representado en el diagrama).
La manipulación instruccional consistió en seguir en el GR una enseñanza
dirigida a la adquisición de un modelo mental sobre un apartado del área de
contenido, mientras que en el GF se seguía una enseñanza “tradicional”
(meramente descriptiva) para el mismo apartado.
Variable instruccional . Las diferencias instruccionales fueron plasmadas
en diferentes unidades de tratamientos. Las unidades de tratamiento son informes
escritos elaborados por los autores que presentan la misma información sobre el
tema TG. Los informes que recibían los dos grupos diferían en el modo de
presentación. Estas diferencias se limitaban al apartado del tema: "Interpretación
de los componentes de varianza estimados", ya que este era el apartado sobre el
que se deseaba realizar una estrategia instruccional diferencial (EID). La Tabla 1
presenta el esquema del proceso instruccional que se seguía con los dos grupos
en el apartado objeto de una EID.
Tabla 1. Proceso Instruccional.
GRUPOS ESTRATEGIA MODO DE NUMERO DE
INSTRUCCIONAL PRESENTACION ÍTEMS
Grupo de Modelo mental 1 diagrama + 9 ejemplos +
9 ítems con EIDReferencia 4 no-ejemplos
Grupo Focal Presentación 4 ejemplos
descriptiva
El diagrama presentado al GR representaba un modelo que describía la
utilización de los componentes de varianza estimados, para optimizar el diseño de
los estudios de decisión. Los ejemplos y “no-ejemplos” interpretaban los
resultados de un ANOVA aplicado a los datos de un estudio de generalizabilidad.
La interpretación recomendaba aumentar el número de facetas o analizar los
residuales en función de los componentes de varianza estimados. La secuencia de
presentación de los contenidos fue la misma en los dos informes.La elaboración de los informes se hizo por los autores de acuerdo con el
contenido sobre la TG que aparece en los manuales de Psicometría (Crocker y
Algina, 1986).
Instrumentos de medida . El instrumento de medida fue un test de
rendimiento elaborado para medir la ejecución de las personas en el tema TG.
Estaba formado por 50 ítems de elección múltiple con 3 alternativas de respuesta.
El sistema de puntuación de las respuestas era dicotómico. El test contenía 9
ítems diseñados para medir el contenido instruccional objeto de una EID. Los
ítems con EID demandaban la interpretación de los componentes de varianza
estimados, de la forma mostrada por los ejemplos y “no-ejemplos” presentados
en las unidades de tratamiento.
La fiabilidad del test estimada con el coeficiente alfa fue elevada (.81) a
pesar de que contribuyen los ítems diseñados para mostrar DIF.
Procedimiento. El estudio del contenido de los informes y la
administración del test de rendimiento se realizó en sesiones de grupo. El tiempo
para el estudio de los informes y la administración del test fue estrictamente
controlado. Después de estudiar el material respondían al test para lo que
disponían de una hora y media.
Técnicas estadísticas
Dimtest. El procedimiento DIMTEST fue desarrollado por Stout (1987)
para determinar si un conjunto dado de respuestas a ítems dicotómicos cumple el
supuesto de unidimensionalidad esencial. La unidimensionalidad esencial
significa que los items miden principalmente la misma habilidad dominante pero
que algún ítem puede medir también otra habilidad. A continuación, presentamos
de forma breve la lógica del procedimiento.
El usurario debe dividir los ítems en dos tipos de subtests: subtest de
evaluación (en la nomenclatura del programa "AT1") y subtest de igualación
("PT"). Los ítems de ambos subtests deben ser dimensionalmente distintos. Los
ítems de AT1 deben medir la misma habilidad dominante, mientras que los
ítems de PT medirán también