El valor informativo de los estudios internacionales comparados de rendimiento escolar: Datos y primeros intentos de interpretación sobre la base del estudio pisa.(The informative value of the international comparative studies of school achievement: information and first attempts of interpretation on the base of PISA study)

Eckhard Klieme

Description

Resumen
Partiendo de la reciente bibliografía acerca de TIMSS y de los nuevos datos de PISA, el presente trabajo se propone discutir algunos aspectos básicos de la investigación empírica comparada en materia de educación. Se sostiene que los objetivos primarios de las evaluaciones de rendimiento a gran escala son: (a) operacionalizar de las metas educativas y las competencias de los alumnos, (b) establecer modelos causales que sirvan para explicar los resultados del sistema escolar y (c) brindar una descripción de la eficacia de los sistemas e instituciones educativas. En los análisis comparados, se hace uso de un conjunto de indicadores que definen minuciosamente el perfil de los resultados a nivel nacional. Sin embargo, la interpretación y explicación de las diferencias en el plano internacional adolece todavía de problemas teóricos y metodológicos considerables. Ello es así porque la investigación empírica apenas está comenzando a entender la repercusión que tiene el contexto cultural en los resultados escolares.
Abstract
Based on recent literature about TIMSS and new results from PISA, the article intends to discuss basic issues of empirical comparative educational research. It is argued that large scale assessments primarily aim at (a) the operationalization of educational goals and student competencies, (b) causal models that explain the outcome of schooling, and (c) descriptions of the efficacy of educational systems and institutions. For comparative analyses, a set of indices is used which define a fine-graded profile of national results. Interpretation and explanation of inter-national differences suffer, however, from major theoretical and methodological problems. Especially, empirical research just begins to understand the impact of cultural context on school outcomes.

Sujets

• Alumno
• Habilidad
• Evaluación
• Ciencias de la educación
• Sistema educativo
• Student
• Skill
• Évaluation
• Educational research

Informations

• Publié par: erevistas
• Publié le: 01 janvier 2009
• Nombre de lectures: 12
• Langue: Español

Extrait

VOL. 13, Nº 2 (2009)
ISSN 1138-414X
Fecha de recepción 14/02/2009
Fecha de aceptación 23/07/2009
EL VALOR INFORMATIVO DE LOS ESTUDIOS
INTERNACIONALES COMPARADOS DE
RENDIMIENTO ESCOLAR: DATOS Y PRIMEROS
INTENTOS DE INTERPRETACIÓN SOBRE LA BASE
DEL ESTUDIO PISA
The informative value of the international comparative studies of school
achievement: information and first attempts of interpretation on the base
of PISA study
Eckhard Klieme
Deutsches Institut für Internationale Pädagogische
Forschung. Francfort del Meno
E-mail: [e-mail]

Petra Stanat
Universidad Libre de Berlín
Institut für Erziehungswissenschaften und Psychologie
Abt. Empirische Bildungsforschung
E-mail:[e-mail]


___________________
* Originalmente apareció bajo el título “Zur Aussagekraft internationaler
Schulleistungsvergleiche. Befunde und Erklärungsansätze am Beispiel von
PISA” en Bildung und Erziehung, 2002, vol. 55 núm. 1, págs. 25-44.

Traducción de Leandro Reyno El valor informativo de los estudios internacionales comparados de rendimiento escolar


Resumen:
Partiendo de la reciente bibliografía acerca de TIMSS y de los nuevos datos de PISA, el presente
trabajo se propone discutir algunos aspectos básicos de la investigación empírica comparada en
materia de educación. Se sostiene que los objetivos primarios de las evaluaciones de
rendimiento a gran escala son: (a) operacionalizar de las metas educativas y las competencias
de los alumnos, (b) establecer modelos causales que sirvan para explicar los resultados del
sistema escolar y (c) brindar una descripción de la eficacia de los sistemas e instituciones
educativas. En los análisis comparados, se hace uso de un conjunto de indicadores que definen
minuciosamente el perfil de los resultados a nivel nacional. Sin embargo, la interpretación y
explicación de las diferencias en el plano internacional adolece todavía de problemas teóricos y
metodológicos considerables. Ello es así porque la investigación empírica apenas está
comenzando a entender la repercusión que tiene el contexto cultural en los resultados escolares.
Palabras clave: Alumnado – Evaluación institucional – Habilidades – Evaluación – Investigación
educativa – Ciencias de la Educación – Educación Comparada – Institución escolar/educativa –
Sistema educativo.
Abstract:
Based on recent literature about TIMSS and new results from PISA, the article intends to discuss
basic issues of empirical comparative educational research. It is argued that large scale
assessments primarily aim at (a) the operationalization of educational goals and student
competencies, (b) causal models that explain the outcome of schooling, and (c) descriptions of
the efficacy of educational systems and institutions. For comparative analyses, a set of indices
is used which define a fine-graded profile of national results. Interpretation and explanation of
inter-national differences suffer, however, from major theoretical and methodological problems.

Especially, empirical research just begins to understand the impact of cultural context on school
outcomes.
Key Words: Student - institutional Evaluation - Skills - Evaluation - educational Research -
Sciences of the Education - Compared Education - school / educational Institution - educational
System.

A partir de la década de 1990 y tras un intervalo de unos veinte años, han vuelto a
realizarse en Alemania estudios de rendimiento escolar a gran escala. La razón de que este
campo de estudios quedara fuera de los programas de investigación empírico-pedagógicos
debe buscarse en el debate político y científico en torno a la evaluación de la escuela
secundaria integrada o comprensiva (Gesamtschule) que se dio en los años 1970. No fue
casual, por ello, que los nuevos impulsos provinieran del extranjero, por medio de estudios de
la International Association for the Evaluation of Educational Achievement (IEA) como, por
ejemplo, el Tercer Estudio Internacional de Matemáticas y Ciencias Naturales (TIMSS) y, más
recientemente, el Programa Internacional de Evaluación de alumnos (PISA).
La comparación internacional ha generado ―no sólo en Alemania, sino también en los
EE. UU., donde los estudios de rendimiento escolar cuentan con una tradición mucho más
sólida ― una renovación del interés y una profundización en la toma de conciencia de los
problemas (cf. SUTER 2000). El National Center for Education Statistics (NCES) lleva
adelante, desde hace unos diez años, una estrategia de internacionalización de los estudios
comparados de rendimiento, en la expectativa de obtener, por un lado, informaciones acerca
del posicionamiento de los EE. UU. en la competencia internacional y de generar, por otro,
propuestas de reforma educativa. Esta tendencia se continúa a nivel de las distintas regiones
y distritos escolares de los EE. UU., que utilizan réplicas de los tests internacionales con el fin
de compararse, en especial, con los países del Este asiático.
Si se observa con mayor detenimiento, puede apreciarse, sin embargo, que la lógica
de la comparación internacional no ha alcanzado todavía el grado de desarrollo que sería
1 El valor informativo de los estudios internacionales comparados de rendimiento escolar
necesario y deseable para extraer de la comparación conclusiones político-educativas y
pedagógicas. Las líneas de argumentación que típicamente se emplean en la discusión son de
carácter más bien anecdótico. El alto nivel de rendimiento alcanzado por los alumnos del Este
asiático se atribuye a la tradición confuciana; los buenos resultados del Japón se explican
alternativamente por una enseñanza moderna y orientada a los problemas o bien por la
influencia de las escuelas complementarias privadas; se destaca a Finlandia por el amplio
reconocimiento y cualificación de sus docentes; el éxito relativo que los países anglosajones
han obtenido en PISA se funda en los sistemas de verificación de calidad establecidos en
dichos países desde hace años…
Por más reveladoras y sugestivas que puedan ser estas interpretaciones basadas en el
análisis ideográfico de países, resultan poco productivas a la hora de un esclarecimiento de
sistemático de las diferencias que pueda ser de utilidad para la elaboración de estrategias
nacionales de acción. La investigación internacional empírica comparada en materia de
educación se encuentra en la actualidad sólo en los comienzos del desarrollo de estrategias
sistemáticas por medio de la cuales se puedan interpretar los estudios de rendimiento escolar
con vistas a su utilización y aprovechamiento en la praxis educativa. A continuación se
discutirán algunos elementos de una de esas estrategias y se los ilustrará por medio de los
resultados provenientes del estudio PISA, en especial de su parte dedicada a la competencia
matemática básica.
— En la primera sección se presentarán las posibilidades de aprovechamiento que se
ofrecen, en una primera instancia, sin recurrir a marcos de comparación
internacionales. También en este caso, en el marco puramente intranacional, los
estudios de rendimiento escolar pueden ofrecer una idea de la estructura de la
competencia de los alumnos, poner a prueba modelos de interpretación y dar lugar a
comentarios y propuestas en el plano descriptivo.
— En la segunda sección se insertarán estas consideraciones en el marco internacional.
Se establecerán índices para una serie de países. Estos índices determinan un criterio
de calidad o un contexto funcional dentro de los sistemas educativos y conciernen
―aparte del nivel de rendimiento medio ― a aspectos relativos a la variación del
rendimiento, a los resultados de los grupos extremos, etc. Son estos índices los que
constituirán luego la base para la comparación descriptiva de los sistemas. Se
formularán asimismo modelos interpretativos y de competencia de manera
diferencial, es decir, de forma separada para cada país.
— En la tercera sección se tratarán diversos intentos de interpretación de las diferencias
entre países. Tomando como referencia los informes PISA y la bibliografía empírica a
la que ha dado lugar el análisis de los datos de TIMSS, se señalarán diversos intentos
de interpretación.
— En la cuarta sección se discutirá, por último, la cuestión del papel que los
condicionamientos culturales desempeñan en la interpretación de los niveles de
rendimiento nacionales y su operativización empírica, basada en los resultados de los
estudi