Las promesas y los peligros del modelado predictivo del éxito estudiantil

  • 6 de Marzo de 2018
  • 0 comentarios

Una entrevista con Lars Waldo, científico principal de datos para la Colaboración de Éxito Estudiantil

La predicción y la ética siempre han ido de la mano. Regrese a la antigüedad en la literatura o la filosofía y tenga historias interminables sobre las promesas y los peligros de la profecía. La realidad de hoy es que estamos mejorando mucho para predecir el futuro. Con big data, machine learning e inteligencia artificial, ya no tenemos que depender de las bolas de cristal.

Pero a medida que los análisis predictivos se vuelven más omnipresentes en los colegios y universidades de todo el país, la pregunta en la mente de todos parece ser: ¿Cómo nos aseguramos de que los usemos correctamente?

En esta entrevista con Lars Waldo, le pedimos la opinión de un científico de datos sobre los desafíos y las oportunidades que conlleva predecir el éxito de los estudiantes.

Una guía rápida sobre modelado predictivo

Cuando escuchas un "modelo predictivo", ¿te imaginas una bola de cristal? En realidad, está más cerca de la aplicación meteorológica de su teléfono y prevé un 40% de probabilidad de lluvia el jueves. El modelado predictivo es el proceso de usar técnicas estadísticas para extraer patrones de datos históricos con el fin de predecir resultados futuros.

En EAB, tomamos grandes cantidades de datos históricos (10 años en algunas escuelas) y usamos un algoritmo de aprendizaje automático para transformar las diferencias en las trayectorias de los estudiantes y comprender cómo los diferentes factores contribuyen a los resultados positivos de los estudiantes. El algoritmo busca cualquier cosa en los datos del estudiante que se correlacione con esos resultados, como el estado de origen, el promedio de primer término, la proporción de créditos transferidos o la cantidad de necesidad financiera no satisfecha. Con cada registro de estudiante que mira, el algoritmo aprende más sobre lo que conduce al éxito y lo que conduce al fracaso.

El resultado es un modelo que puede analizar el pasado de un estudiante, en una constelación de datos históricos, y predecir la probabilidad de futuros potenciales.

¿Cuáles son los beneficios de los modelos predictivos en el éxito estudiantil?

El mayor beneficio de los modelos predictivos es que pueden identificar a los estudiantes en riesgo a quienes las redes tradicionales de seguridad no atienden y buscarlos en universidades enteras en minutos. Hay patrones invisibles en los datos de los estudiantes que usted o yo podríamos no ver, pero que la computadora puede. Es bien sabido que no es solo una cosa lo que hace que un alumno abandone; es una matriz compleja de factores que influye en si un estudiante tiene éxito. A través de la observación y la experiencia, los profesores y asesores han llegado a comprender una serie de indicadores de riesgo. Pero mientras que algunos factores son fácilmente identificables y tienen sentido, como el GPA, muchos de ellos son menos intuitivos.

Un buen modelo predictivo puede ayudarnos a saber qué estudiantes pueden necesitar ayuda incluso cuando no están disparando las alarmas internas de nadie. Y esos factores cambian para diferentes tipos de estudiantes y en diferentes puntos en el ciclo de vida del estudiante. Hemos encontrado instancias donde los factores son cosas como la variación en las calificaciones de un alumno o incluso su tendencia en créditos intentados a lo largo del tiempo.

Infografía: ¿Qué le sucede realmente a nuestros estudiantes?

Los modelos predictivos también pueden ayudarnos a lidiar con nuestros problemas de capacidad. Los grandes asesores saben cosas específicas que deben buscarse en los datos y pueden hablar con un alumno y descubrir posibles factores de riesgo que una computadora nunca encontraría. Pero tomará mucho más tiempo. Y usted puede imaginar que hacer eso para cada estudiante en la carga de trabajo de un asesor es simplemente imposible. En su mayor parte, esto significa que las instituciones nunca tienen una imagen completa del riesgo en toda su población estudiantil. Un modelo predictivo puede proporcionar una evaluación de riesgos completa para toda una institución mucho más rápido, de modo que la facultad y el personal puedan priorizar y adaptar sus esfuerzos.

¿Qué es lo más difícil de tratar de modelar los resultados de los estudiantes?

Estamos tratando de modelar un proceso muy complicado y sabemos que los datos nunca pueden darnos una idea completa de lo que está sucediendo en la vida de un estudiante. La serie de decisiones, con el tiempo, que eventualmente llevan a un estudiante a abandonar la escuela implica factores humanos importantes que simplemente no se pueden medir y poner en una base de datos, por lo que sabemos que estamos tratando de construir un modelo sin el conjunto imagen. En algunos casos, podemos usar indicadores para medir tales factores; por ejemplo, el método de pago de los padres puede ser muy revelador acerca de si un estudiante enfrenta dificultades financieras.

En otros dominios, los factores que finalmente contribuyen al resultado se recopilan más fácilmente. Esto es particularmente cierto en dominios que involucran pequeñas decisiones transaccionales en lugar de una serie de grandes decisiones que potencialmente pueden cambiar la vida. Por ejemplo, Uber usa el tráfico y los datos meteorológicos para predecir la duración de su viaje, y Amazon usa modelos predictivos para almacenar una cartera de productos para una entrega rápida; ninguno de estos procesos implica una gran cantidad de datos inobservables sobre el comportamiento humano. Modelar el éxito del estudiante es más como modelar los resultados del paciente en el cuidado de la salud. Estamos tratando de modelar un proceso socio-conductual complejo, y aunque nuestro modelo predictivo es muy superior a toda intuición que podamos tener, todavía está lejos de la proverbial bola de cristal.

La gente habla sobre los "peligros" del modelado predictivo. ¿Qué quieren decir?

Creo que este es un tema muy importante y será más importante a medida que avanzamos en inteligencia artificial y modelado predictivo. Como ingenieros, nuestro objetivo es diseñar los modelos más precisos. Esta es una actividad noble, pero tenemos que ser muy cuidadosos acerca de cómo los modelos serán utilizados o potencialmente mal utilizados. Los modelos no predicen el futuro: describen el pasado y nosotros somos los que hacemos la "predicción" de que el futuro continuará funcionando aproximadamente de la misma manera. Esto significa que tienen el potencial de reforzar los patrones históricos, incluidos los que preferiríamos eliminar. En el éxito de los estudiantes, la evaluación de riesgos basada en la raza o el nivel socioeconómico es controvertida. Nuestra mayor preocupación es que los modelos predictivos pintan una imagen desalentadora de un estudiante por razones fuera de su control,

Las últimas ideas sobre el éxito de los estudiantes, en su bandeja de entrada

Los modelos predictivos no tienen una brújula moral, por lo que creo que la carga recae sobre los hombros de los científicos e ingenieros de datos para diseñar estos sistemas con los ojos abiertos. Necesitamos trabajar estrechamente con expertos e investigadores de dominio para asegurarnos de diseñar para el objetivo correcto. Las buenas herramientas de apoyo a la decisión se derivan de la investigación y se construyen teniendo en cuenta un caso de uso. Los modelos no son útiles si solo están haciendo predicciones por el bien de la predicción. Los modelos son útiles si sus ideas conducen a acciones que mejoran los resultados. Si no estamos diseñando un modelo con esta mentalidad, no estamos haciendo nuestro trabajo.

¿Qué es lo que desea que pueda decirles a los miembros sobre el modelo de éxito estudiantil?

Les diría que luchen contra el deseo natural de certeza cuando piensen en el modelo. Es muy fácil sobreestimar la probabilidad de eventos probables, o subestimar la probabilidad de eventos improbables. Si el modelo dice que 1,000 estudiantes tienen un 10% de posibilidades de graduarse, entonces 100 de ellos probablemente se gradúen. Esto parece obvio cuando se indica de esta manera y, sin embargo, cada uno de esos cientos de estudiantes probablemente sorprendería a quienes los rodean, especialmente si supieran que el alumno solo tiene un 10% de posibilidades. Las puntuaciones del modelo predictivo no son el destino; son una estimación empírica de la probabilidad. Cosas poco probables suceden todo el tiempo, así que abraza la incertidumbre y recuerda que aún tienes poder sobre el resultado final.

Fuente: www.eab.com

  • 0 comentarios

  +52 (81) 84210022   +52 (1) 811 212 59 82   hola@iivvo.com   Monterrey, México