CRUCH y MINEDUC sabían desde el 2003 que la PSU no sirve.


En Enero del 2013 la consultora Pearson, en conjunto (como contraparte técnico) con el Consejo de Rectores de las Universidades Chilenas (CRUCH) y el MINEDUC, entregaron una “Evaluación de la Prueba de Selección Universitaria (PSU)" que fue entregada a todos los estamentos involucrados (DEMRE, Universidad de Chile, MINEDUC, CRUCH, etc.) para que estos pudieran tomar medidas serias al respecto.


Evidentemente la evaluación no sirvió absolutamente de nada, ya que 7 años después y luego de tres mandatos (dos de Piñera y uno de Bachelet), o no leyeron el informe, o lo leyeron y no fueron capaces de solucionar absolutamente nada.


“En términos bien simples lo que hoy ocurre con la PSU es que no tenemos seguridad de que los que están entrando sean los que deban estar ahí. Ni tampoco que los que están fuera debieran haber quedado fuera”, Mladen Koljatic doctor en educación. (Entrevista completa de CIPER).


El informe no solo es categórico, sino lapidario respecto a la larga lista de falencias y desaciertos de la prueba de selección universitaria. La evaluación de Pearson señala fallas estructurales en la prueba, como el hecho de que esta haya sido diseñada para alcanzar dos objetivos que nunca debieron mezclarse: seleccionar a los jóvenes más capacitados para la universidad y, a la vez, medir lo que aprendieron los alumnos en la Enseñanza Media, de donde se desprenden dos problemas todavía peores, ya que al medir contenido no se está midiendo la capacidad de los jóvenes de aprender, sino que el acceso al aprender que estos tuvieron; y al ser Chile un país tremendamente desigual en el acceso a la educación, la PSU –en su diseño y estructura– ha sido tremendamente dañina para los alumnos más pobres y principalmente para los que cursaron Educación Técnica. Por lo anterior, y como señala el doctor Koljatic, para evaluar la calidad de la educación es que fue creado e implementado el SIMCE, el cual debiera ser el "termómetro de la educación", y la PSU por lo tanto, debiera ser "la herramienta que permita predecir el éxito de los alumnos en la universidad", dos cosas distintas.


Acá hice un pequeño resumen de los principales errores, fallas y falencias detectadas en la evaluación de Pearson:


· No existe participación de especialistas externos al DEMRE en los procesos de revisión y análisis de pertinencia de los marcos y especificaciones y de los ítems de las pruebas.

· Falta de homogeneidad de los procedimientos llevados a cabo para asegurar la calidad de los ítems y de las pruebas, por parte de los comités responsables de cada prueba.

· El pilotaje indica que éste se aleja de los estándares y prácticas internacionales (principalmente el propósito, la selección de los ítems, la representatividad de la muestra, y las expectativas psicométricas de los resultados del pilotaje)

· El proceso requiere estar mejor documentado con respecto a la planificación de la administración del piloto y los criterios utilizados para definir los tamaños de la muestra y las variables utilizadas para la estratificación, ya que no es claro que sea representativa de la población de estudiantes que rinde la PSU.

· La prueba pone mayor énfasis sobre la modalidad Científico-Humanista (HC) del currículum de educación media que sobre la modalidad Técnico-Profesional (TP).

· El sistema de ensamblaje de las pruebas es manual, lo cual reduciría la eficiencia del proceso y aumentaría el riesgo de error.

· La gestión del banco de ítems no se condice con las mejores prácticas a nivel internacional

· Existen excepciones a las normas internacionales, tales como el rango de dificultad TRI, el cual abarca un rango más amplio que lo aceptado comúnmente, y la tasa de omisión, que excede el rango aceptado normalmente en pruebas estandarizadas de este tipo.

· Los resultados de los análisis del piloto y de las formas operacionales evidencian diferencias significativas en el funcionamiento de los ítems, lo cual se aleja de las prácticas utilizadas a nivel internacional.

· La evaluación señala que el análisis y tratamiento de la información asociada al comportamiento diferencial de los ítems del piloto es problemático, puesto que no se utiliza para detectar aquellos ítems con potenciales sesgos para determinados grupos de estudiantes (género y tipo de establecimiento), lo cual podría estar afectando la validez de la prueba.

· La principal preocupación es la falta de un método (equating) que permita que la escala de puntajes de la PSU sea equivalente entre distintas aplicaciones y de un año a otro

· No se calcula la precisión de los puntajes, lo cual podría estar afectando las decisiones asociadas al proceso de admisión

· Otros problemas relacionados con el cálculo de los puntajes estandarizados son el uso de la corrección por adivinación y la estandarización de las notas de enseñanza media (NEM).

· El equipo evaluador considera que las medidas de consistencia interna calculadas por el DEMRE (coeficiente alfa de Cronbach) son insuficientes para dar cuenta de la precisión de los puntajes de las pruebas, considerando que la PSU es una prueba de altas consecuencias.

· La evaluación indica que el uso de un puntaje único para la prueba de Ciencias es inadecuado porque se basa en un supuesto de equivalencia entre los contenidos de aprendizaje de las disciplinas evaluadas.

· Existen diversas áreas en que el diseño de comparabilidad de la prueba no cumple con lo esperado para una prueba de altas consecuencias (para que el puntaje sea válido por dos años).

· Se considera que los reportes de resultados de la PSU no son interpretados adecuadamente por las distintas audiencias a los que están dirigidos (principalmente, estudiantes y docentes).

· Las pruebas presentan alguna evidencia de Funcionamiento Diferencial de Pruebas (DTF), afectando especialmente a los estudiantes de la modalidad Técnico Profesional. Además, el equipo evaluador advierte que la prueba de Matemáticas es la que presenta más DTF (el DTF es un análisis estadístico que permite identificar diferencias de puntajes entre dos grupos de estudiantes, permitiendo a los desarrolladores de pruebas identificar si es que éstas favorecen a un grupo por sobre otro).

· La mayoría de las pruebas con los Objetivos Fundamentales (OF) y los Contenidos Mínimos Obligatorios (CMO) del currículum chileno es baja.

· Al desagregar los puntajes por dependencia y modalidad educacional, los puntajes han aumentado para el caso de los establecimientos particulares pagados y la modalidad Humanista-Científica, en desmedro de la modalidad Técnico Profesional.

· La brecha de acuerdo a tipo de establecimiento y nivel socioeconómico es más alta que lo observado internacionalmente.

· La evaluación indica que la PSU tiene cierta capacidad para predecir desempeño académico, en particular respecto de los promedios de notas del primer y segundo año. Sin embargo, los valores de predicción encontrados fueron menores que aquellos informados internacionalmente.



Revisa acá la Minuta elaborada por la Contraparte Técnica CRUCH-MINEDUC de la Evaluación de la PSU.




318 vistas
GatosQls® Todos los derechos reservados, Pesebrera Agroalfarera (Chile) sXVII©. Creado, diseñado y desarrollado por @crossthestyx.