Luis Eduardo Pino Villarreal y Andrés Eduardo Rico Carrillo
Miembros Comite Ejecutivo
En la columna de la semana pasada: “En Busca de la mejor herramienta para hacer el análisis de datos” mencionábamos los principios sobre los cuales se basaba el análisis de las decisiones binarias en salud bajo las dos visiones: Validación de hipótesis o modelos automatizados (machine learning ML).
Por otro lado, en columnas previas de esta serie hemos mencionado la importancia crucial del preprocesamiento de los datos previo a la generación de modelos de ML ya que ello permite mejorar su desempeño y posterior “industrialización”. La siguiente gráfica resume dicho flujo inicial enfatizando en que el preprocesamiento incluye especialmente reducciones de la dimensionalidad, mejora de la consistencia, transformación de variables y extracción de características.
Ahora bien, ¿cómo decidir entre los dos tipos de metodología ante la necesidad de solucionar un problema binario en medicina?
Antes de responder a esta pregunta es clave diferenciar el lenguaje entre uno y otro método para evitar confusiones:
| Significado | Validación de hipótesis | Machine Learning |
| Paciente (s) | Individuo o caso (individual) Muestra (plural) | Instancia o Data Point (individual) Instancias (plural) |
| Dimensiones | Variables y covariables | Características |
Ahora bien, respecto a la pregunta, la decisión se basa en varios puntos relevantes: Los datos respecto a las decisiones binarias, la construcción de las reglas de decisión y los criterios de evaluación del modelo. Sobre estos puntos hablaremos a continuación.
1. Los datos respecto a las decisiones binarias
La tabla muestra los 4 conceptos principales relacionados con cada modelo respecto a la pregunta y los datos:
| Concepto | Validación de Hipótesis | Machine Learning |
| Pregunta binaria | ¿Es falsa la hipótesis nula Ho? | ¿Tiene la instancia una validación o patrón 1 (en inglés: label)? |
| Respuesta Binaria | 0: La Ho es verdadera | El patrón es 0 |
| 1: La Ho es falsa | El patrón es 1 | |
| Regla de decisión | Se basa en una prueba de significancia estadística (por ejemplo, el valor de p) con un nivel de dicha significancia alfa | Se basa en un output generado por un clasificador entrenado que evalúe y asigne un label a un set de datos de evaluación |
| Decisión binaria | 0: No rechaza la Ho | La instancia es = 0 |
| 1: Se rechaza la Ho | La instancia es = 1 |
En este punto surge una diferencia fundamental: el cálculo del tamaño de muestra y su relación con la significancia estadística. En la validación de hipótesis cada decisión binaria se basa en una suma de instancias (muestra) y el tamaño de esta usualmente se correlaciona con un valor más bajo de la p. En ML por su parte cada instancia tiene un label y estos son iguales al numero total de instancias independientemente del tamaño muestral, entonces no se requiere un tamaño mínimo de dicha muestra ya que las validaciones se hacen mediante otro tipo de medidas de desempeño (precisión, exactitud, F1, R2 etc).
La otra gran diferencia es la disponibilidad de patrones para las respuestas binarias. En validación de hipótesis no se parte de dichos patrones ya que se busca rechazar la Ho en una población no observada previamente, por su parte en ML debe disponerse de los labels de las instancias (0 y 1) para poder generar el aprendizaje y luego ejecutar la decisión binaria en el set de evaluación. Una idea muy importante es que muchos de los labels que usamos en ML se derivan de estudios previos de validación de hipótesis.
2. Construcción de las reglas de decisión
Una forma de elegir cual de las estrategias usar, se basa en el número de inputs utilizados para tomar una decisión.
En la validación de hipótesis la construcción de las reglas de decisiones se conoce como prueba estadística, la cual se aplica sobre todos los datos, evaluando su distribución estadística relacionada con la hipotesis nula Ho, para esto se manejan conceptos como el nivel de significancia (alfa) o error tipo I. Por convención se ha establecido un valor arbitrario de 0.05, entonces la hipótesis nula será rechazada si el valor de p no excede el valor de alfa.
Las pruebas estadísticas más comunes en estos modelos son:
- Student’s T test. Se basa en la presunción que la población de las dos muestras tiene una distrubución normal. La regla de decisión depende del tamaño de las muestras y el valor de alfa especificado por el usuario.
- Wilcoxon’s rank-sum test: No se espera la presunción de distribución normal en las muestras y se requiere que las instancias sean independientes.
El paso crítico para escoger la prueba estadística es verificar la presunción de la distribución de los datos.
En el escenario de “pruebas múltiples” el valor de p está determinado por un promedio de todas las pruebas, para esto se han descrito dos metodologías:
- Family-wise error rate.
- False discovery rate: es la relación entre falsos positivos sobre la suma de falsos positivos y verdaderos positivos (evalúa la tasa predicha falsamente como positiva).
La revision de las mismas esta por fuera del alcance de este escrito.
En la clasificación binaria por ML no se tiene disponible una regla de decisión, pues esta se construye durante el entrenamiento de los modelos, y esta es a su vez altamente dependiente de la calidad de los datos, de los procesos de ajuste (preprocesamiento/tuning), de la hiperparametrización y por supuesto del tipo de algoritmo elegido.
Entre los algoritmos más frecuentemente usados para las decisiones binarias están la regresión logística y los árboles de decisión CART sobre los cuales escribiremos posteriormente.
3. Evaluación de los criterios de desempeño
Debe definirse un tipo de prueba estadística específica para un dataset específico, la justificación es derivada del juicio del usuario o diseñador.
Los algoritmos de clasificación por ejemplo se pueden comparar en un terreno más objetivo, Llamado “Common Task Framework”, este marco común consiste en tres elementos esenciales: datos de entrenamiento, algoritmos de predicción y Data Set de validación.
¿Cómo debo yo comparar y evaluar las reglas de decisión?
En la “prueba de hipótesis” a través de las pruebas estadísticas o reglas de decisiones diseñadas para evaluar la hipótesis nula, se hace a través del poder, es decir sobre la probabilidad de qué se rechace correctamente la Ho.
El poder de la prueba estadística no es observable desde los datos, la cual no contiene información de si la hipótesis nula es verdadera o falsa. El único criterio de evaluación para los usuarios es escoger entre varias pruebas estadísticas y en si los datos encajan en cada una de las presunciones y de la distribución de los datos.
La opción de escoger la prueba estadística debe ser cautelosa, pues fácilmente podemos caer en el error llamado “p-hacking”
En ML, la evaluación de los criterios es mas transparente, se basa en la precisión de la predicción de una regla de decisión sobre los dataset de validación, que contienen la marcación binaria de las características, las que luego serán predichas en la implementación del modelo. Aquí las pruebas de validación cruzada (cross-validation) son el elemento esencial. Estas técnicas diversas (por ejemplo, K-Fold Cross Validation) esencialmente dividen el set de datos en módulos de entrenamiento, validación y prueba, para optimizar el desempeño de los algoritmos (especialmente aplicables a los de predicción). Cuando escribamos sobre los diversos algoritmos profundizaremos sobre sus diversas medidas de desempeño.
En resumen, los criterios de evaluación para las reglas de decisión son menos complejos en el campo de validación de hipótesis ya que se centran en el poder, mientras en ML se centran esencialmente en la pregunta a resolver y en el o los algoritmos elegidos para su ejecución (predicción, clasificación, ensamble etc).
En nuestra siguiente columna resumiremos el tema en una lista de chequeo para evaluar cual podría ser el mejor abordaje de análisis ante una pregunta binaria en problemas de salud.
aipocrates.org 