• Los mecanismos de aprendizaje
• ¿A qué nos referimos cuando hablamos de modelo?
• Primera fase de evaluación del aprendizaje: ajustamos parámetros
• Segunda fase de evaluación del aprendizaje: ajustamos hiperparámetros
• Tercera fase de evaluación del aprendizaje: lo que no has aprendido ya…

El aprendizaje automático consiste en modelos matemáticos parametrizables que aprenden a resolver tareas imitando capacidades humanas de abstracción y toma de decisiones

Los mecanismos de aprendizaje

Naces y eres inmediatamente evaluado: ¿respiras normalmente? Mamá y papá lloran de emoción. ¿Peso, estatura y perímetro craneal dentro de márgenes de normalidad? Mamá y papá se relajan… por un par de días. El pediatra comprueba si respondemos a estímulos: ¿alguna evidencia de ser social? Aprendemos, somos evaluados, y con suerte, corregimos desviaciones y mejoramos. Y vuelta a empezar.

Los mecanismos de aprendizaje son aún objeto de investigación. Sin embargo, hay certezas sobre la efectividad de ciertos principios universales. La evaluación es uno de ellos. Una evaluación es útil si explica fielmente el estado del proceso de aprendizaje y si sirve como herramienta de mejora. Sí, amigo lector, también para una inteligencia artificial.

El aprendizaje automático, disciplina que cubre la creación de soluciones inteligentes a partir de experiencias, ha adoptado estos conceptos en el diseño de protocolos de evaluación. Estas soluciones consisten en modelos matemáticos parametrizables que aprenden a resolver tareas imitando capacidades humanas de abstracción y toma de decisiones.

Si el lector nos ha seguido en notas anteriores, sabrá que estos modelos aprenden a partir de experiencias previas de la tarea de interés. Cuando hablamos de experiencias nos referimos, por ejemplo, a fotos de personas, imágenes médicas (p. ej. una radiografía, una imagen por resonancia magnética, etc.), segmentos de vídeos adquiridos por drones o cámaras de videovigilancia, preguntas formuladas a un chatbot, etc. Cuando hablamos de tarea nos referimos, por ejemplo, a identificar un individuo a partir de rasgos biométricos, al diagnóstico de enfermedades, a la detección de intrusión en una propiedad privada o de incendios forestales a partir de imágenes aéreas, a la conducción de vehículos autónomos, a bots conversacionales, etc. Además, por simplicidad, haremos referencia a experiencias anotadas, es decir, a ejemplos acompañados de soluciones conocidas y verificadas

¿A qué nos referimos cuando hablamos de modelo?

Antes de explicar cómo evaluar un modelo de aprendizaje automático, debemos transmitir una idea de qué es un modelo y cuál es el objetivo del aprendizaje.

Una metáfora simple podría ser el diseño de una bolsa de papel para hacer compras en el supermercado. Por un lado, deberíamos establecer la forma o diseño de la bolsa, por ejemplo, cantidad de asas (una o dos), tamaño de la bolsa (volumen), geometría de la base, etc. Estos factores determinarían la estructura de la bolsa, y los llamaremos hiperparámetros del modelo “bolsa”. Por otro lado, debemos definir las propiedades del papel con el que estará hecho la bolsa, y que permitirán que esta sea útil para el propósito (tarea) para la que está siendo diseñada. Estas propiedades podrían ser, por ejemplo, rigidez, resistencia y capacidad de absorción de agua, y las llamaremos parámetros del modelo.

El objetivo del aprendizaje será encontrar la combinación óptima de valores para los hiperparámetros (geometría, número de asas, etc.) y parámetros (rigidez, resistencia, etc.) del modelo con respecto al objetivo planteado: crear una bolsa cómoda, eficaz y de coste viable, para hacer una compra menor en un supermercado.

Nuestra solución de IA también estará definida a partir de hiperparámetros y parámetros. Los primeros determinarán la estructura, tamaño y complejidad del modelo, mientras que los segundos aportarán la lógica que permitirá al modelo resolver la tarea de interés.

Una vez definido el modelo, es el turno de entrenarlo para que aprenda a resolver una tarea particular. Este proceso descansa en múltiples fases de evaluación continua.

En particular, pueden identificarse tres fases de evaluación bien diferenciadas. Cada una de ellas usa un grupo independiente de experiencias anotadas (ejemplos con soluciones verificadas). Estas fases suelen denominarse entrenamiento, validación y pruebas

Primera fase de evaluación del aprendizaje: ajustamos parámetros

Esta fase se puede asimilar a la labor de un profesor en el aula corrigiendo ejercicios resueltos por un alumno. El alumno resuelve un ejercicio, el profesor revisa la primera solución y señala errores, el alumno la mejora, el profesor vuelve a revisarla e identifica nuevos errores, el alumno la mejora un poco más, y tras varias iteraciones, el alumno termina resolviendo correctamente el ejercicio. Y entonces el profesor propone un nuevo ejercicio.

En el caso de nuestro modelo de IA (nuestro alumno), el proceso comienza con la elección arbitraria de valores para hiperparámetros y parámetros (base de conocimientos arbitraria). Es decir, nuestro alumno artificial no podrá de inicio tomar ninguna decisión lógica.

Se le pide al modelo-alumno que resuelva todos los ejemplos (ejercicios) del conjunto de entrenamiento, y se obtienen soluciones iniciales necesariamente arbitrarias. Estas primeras soluciones son comparadas con aquellas anotadas (correctas), se miden las diferencias entre ellas, y se activan procesos matemáticos para corregir los valores de los parámetros de forma que, la próxima vez, las soluciones del modelo sean más lógicas, es decir, sean más parecidas a las anotadas (incremento de aprendizaje). Este proceso se repite hasta que las diferencias entre las soluciones generadas por el modelo y las anotadas sean suficientemente pequeñas. Es decir, estamos evaluando repetidamente el modelo (alumno) para corregir sus desviaciones de forma progresiva hasta que, finalmente, ¿¡termina aprendiendo!?

Segunda fase de evaluación del aprendizaje: ajustamos hiperparámetros

Si nuestro alumno fuese evaluado únicamente con los ejercicios propuestos en el aula bajo la supervisión del profesor, muy pronto aprendería que es suficiente con memorizar las soluciones, y que no es necesario aprender de forma general.

Nuestro profesor espabilado, para validar si el alumno ha aprendido genuinamente antes del examen final, le realiza un simulacro de examen con ejercicios distintos a aquellos resueltos en clase. Además, esta vez el alumno no recibe ninguna ayuda.

Cuando el alumno ha resuelto todos los ejercicios, el profesor los puntúa, identifica sesgos, deficiencias estructurales, corrige métodos de aprendizaje, y vuelve a planificar una nueva clase de entrenamiento desde cero.

Nuestro modelo de IA también pasa por este proceso de evaluación independiente con los ejemplos del conjunto de validación (no vistos en la primera fase). Nuestro modelo resuelve los nuevos ejemplos, se evalúa la calidad de las soluciones, se identifican sesgos (podría resolver muy bien una categoría de ejemplos, pero fallar en otra), se detectan deficiencias del modelo (hiperparámetros no apropiados), etc. Y entonces usamos esta información para mejorar el modelo (ajustar hiperparámetros), y repetimos la primera fase.

Es decir, los resultados de esta segunda evaluación dan segundas oportunidades: te permiten cambiar el modelo para mejorar el rendimiento sobre datos independientes

Tercera fase de evaluación del aprendizaje: lo que no has aprendido ya…

Nuestro alumno se presenta al examen final. Debe resolver ejercicios nunca antes vistos, pero similares a aquellos con los que ha sido entrenado. Las soluciones del alumno son evaluadas, y la puntuación final, enviada a sus padres. Esta debería ser lo suficientemente fiable para informar el nivel real de las destrezas adquiridas por el alumno. Si el alumno quiere aprender más, ya no será en esta asignatura.

Y una vez más, nuestro modelo vive una suerte paralela a la de nuestro alumno. Los datos de prueba, no involucrados en las fases anteriores, son utilizados para obtener una medida independiente (imparcial) de la capacidad del modelo para resolver la tarea de interés. Se obtiene una medida definitiva del rendimiento del modelo, y se comunica a las personas interesadas: clientes, usuarios, directivos, etc.

En resumen, prácticas de probada eficacia en el entrenamiento y evaluación de la inteligencia humana han sido transferidas y adaptadas al entrenamiento y evaluación de modelos de inteligencia artificial. ¿Para qué reinventar la rueda?