Modelos Predictivos - La asociación de usuarios de R de España

Modelos Predictivos
con el paquete caret
VI Jornadas de Usuarios de R
Santiago de Compostela
Jesús Herranz Valera
[email protected]
Instituto IMDEA Alimentación
24 de octubre de 2014
Índice
Bibliografía
Introducción al paquete caret
Preprocesamiento de datos
Modelos Predictivos. Clasificación y Regresión
Capacidad predictiva de un modelo
Técnicas de remuestreo. Validación cruzada. Bootstrapping
Funciones preProcess(), nearZeroVar(), findCorrelation()
Función train()
Funciones predict(), varImp()
Otras funciones
Modelos Predictivos con caret
2
Bibliografía
•
Max Kuhn & Kjell Johnson. Applied Predictive Modeling. Springer, 2013
•
Max Kuhn. Building Predictive Models in R using the caret Package. Journal
of Statistical Software. Nov 2008 Vol. 28 – 5
•
Max Kuhn. A Short Introduction to the caret Package.
http://cran.r-project.org/web/packages/caret/index.html
•
La web del paquete caret: http://topepo.github.io/caret/
Modelos Predictivos con caret
3
Paquete caret
•
El nombre caret procede de “Classification And REgression Training”
– Entrenamiento (construcción) de Modelos de Clasificación y Regresión
•
caret es un paquete que contiene numerosas herramientas para desarrollar
y construir modelos predictivos usando otros paquetes de R
•
Se puede interpretar como un interfaz común que llama a funciones de
otros paquetes de R que en la mayoría de los casos son los que construyen
los modelos predictivos
•
caret permite estandarizar todas las entradas y salidas de estas funciones
– Datos de entrada (dataframe, fórmulas, matrices, ….)
– Parámetros de las funciones
– Objetos y salidas que devuelven las funciones
Modelos Predictivos con caret
4
Paquete caret
•
El paquete caret contiene funciones para:
– Pre-procesamiento de datos
– Construcción y evaluación de modelos con diferentes parámetros
– Predicción de nuevas observaciones
– Evaluación de la importancia de las variables
– Visualización de modelos
– Selección de variables (feature selection)
•
Además, incorpora otras funciones de gran utilidad y completa algunas
funciones que no estaban en los paquetes originales
Modelos Predictivos con caret
5
Métodos implementados en caret
Model
method
Type
Argum. Value
Packages
Tuning
Parameteres
Linear Regression
lm
Regr
None
Generalized Linear Model
glm
Dual
None
Linear Discriminant Analysis lda
Class MASS
None
Penalized Regression
glmnet
Dual
glmnet
alpha, lambda
Linear Regression with
Stepwise Selection
leapSeq
Regr
leaps
nvmax
Principal Component Analysis
pcr
Regr
pls
ncomp
Partial Least Squares
pls
Dual
pls
ncomp
Supervised Principal
Component Analysis
superpc
Regr
superpc
threshold,
n.components
k-Nearest Neighbors
kknn
Dual
kknn
kmax, distance,
kernel
Naive Bayes
nb
Class klaR
Modelos Predictivos con caret
fL, usekernel
6
Métodos implementados en caret
Model
method
Type
Argum. Value
Tuning
Parameteres
Packages
Multi-Layer Perceptron
mlp
Dual
RSNNS
size
Neural Network
nnet
Dual
nnet
size, decay
CART
rpart
Dual
rpart
cp
Random Forest
rf
Dual
randomForest mtry
Support Vector Machines
with Linear Kernel
svmLinear
Dual
kernlab
C
Support Vector Machines with
Radial Basis Function Kernel
svmRadial
Dual
kernlab
sigma, C
Multivariate Adaptive
Regression Spline
earth
Dual
earth
nprune, degree
Generalized Additive Model
gam
Dual
mgcv
select, method
gbm, plyr
n.trees,
interaction.depth,
shrinkage
Stochastic Gradient Boosting
Modelos Predictivos con caret
gbm
Dual
7
Pre-procesamiento
•
Las técnicas de pre-procesamiento de datos se refieren al tratamiento
previo de las observaciones y de las variables en el conjunto de datos antes
de la elaboración de un modelo
•
Estandarización o normalización de variables
– Centrado de la variable, restando la media
– Escalado de la variable, dividiendo por la desviación estándar
– Una variable estandarizada tendrá media 0 y desviación estándar 1
•
Transformaciones para conseguir una distribución simétrica
– Familia de transformaciones de Box y Cox
 xλ −1

λ≠0
x* =  λ
log(x ) λ = 0
Modelos Predictivos con caret
8
Reducción del conjunto de variables
•
Eliminar variables donde todas o la gran mayoría de las observaciones
tienen un único valor
– “zero variance predictors” o “near-zero variance predictors”
– Se pueden detectar comparando las frecuencias de la 1º y 2º categorías más
numerosas. También se debe comprobar que el número de valores distintos es
pequeño
•
Algunos conjuntos de datos contienen variables muy correlacionadas,
algunas de las cuáles se podrían borrar:
– Se pretende borrar el mínimo número de predictores de tal forma que todas las
correlaciones entre todas las variables restantes estén por debajo de un
determinado valor prefijado (threshold)
– Se van borrando de forma iterativa mientras que queden variables con
correlaciones por encima del threshold. Se van seleccionando las dos variables
con mayor correlación y entre ellas se borra la más correlacionadas con el resto
Modelos Predictivos con caret
9
Aprendizaje Supervisado y No Supervisado
•
Las Técnicas de Aprendizaje se usan para analizar grandes cantidades de
datos, extrayendo importantes patrones y tendencias
– Se pretende conocer qué es lo que los datos “dicen”, y se usa el término
“aprendiendo de los datos”
– Técnicas de Machine Learning y Statistical Learning
•
En el Aprendizaje Supervisado el objetivo es predecir el valor de una
variable respuesta basado en numerosas variables de entrada, llamadas
variables predictoras
– La variable a predecir “supervisa” el aprendizaje
– Modelos Predictivos
•
En el Aprendizaje No Supervisado el objetivo es describir las relaciones y
patrones entre un conjunto de variables de entrada
– Modelos Descriptivos
Modelos Predictivos con caret
10
Clasificación y Regresión
•
La Clasificación es la técnica de Aprendizaje Supervisado en la que cada
observación pertenece a una clase y el resto de variables son usadas para
predecir la clase a la que pertenecerán nuevas observaciones
– Modelos Predictivos con variable respuesta categórica
– Normalmente, se generan dos tipos de predicciones: la clase predicha y
la probabilidad de pertenecer a cada una de las clases
•
La Regresión es la técnica de Aprendizaje Supervisado que consiste en
aprender una función que asigna a cada observación una predicción en
forma de valor numérico
– Modelos Predictivos con variable respuesta continua
Modelos Predictivos con caret
11
Evaluación de Modelos
•
El objetivo general es evaluar la calidad de un modelo mediante su
capacidad predictiva
– Medidas objetivas basadas en la comparación de los valores
observados para la variable respuesta y los valores predichos por el
modelo
•
Un modelo predictivo pretende predecir el valor de la variable respuesta
para observaciones nuevas, a partir de los valores que presentan estas
observaciones en las variables predictoras
•
Si la evaluación del modelo se hace sobre el propio conjunto de datos con
el que se ha construido el modelo, se produce un sobreajuste (overfitting)
– Es necesario evaluar el modelo en un conjunto de datos diferente al
que se ha utilizado para construirlo
– Se dice que se obtienen medidas de error “honestas”
Modelos Predictivos con caret
12
Medidas de la Capacidad Predictiva. Clasificación
•
En el caso de una variable predictora categórica, se podría formar la
matriz de confusión o tabla de clasificación
Predicho
Observ
Y=1
Y=2
…
Y=k
Y=1
F11
F12
…
F1k
Y=2
F21
F22
…
F2k
...
…
…
…
…
Y=k
Fk1
Fk2
…
Fkk
•
Las clasificaciones correctas son
las que están en la diagonal
•
Las clasificaciones incorrectas son
las que están fuera de la diagonal
•
Exactitud (Accuracy): proporción de clasificaciones correctas
•
Error de clasificación o tasa de error (Error rate): proporción de
clasificaciones incorrectas
k
k
Accuracy =
Modelos Predictivos con caret
∑F
i =1
N
ii
∑F
Error Rate =
ij
i =1, j=1,i ≠ j
N
13
Medidas de la Capacidad Predictiva. Clasificación
•
En el caso de una variable respuesta binaria con clases 0 y 1, y asumiendo
que la categoría 1 es el “evento de interés”, la tabla de clasificación sería:
Predicho
Observado
Y=1
Y=0
Total
Y=1
VP
FN
VP + FN
Y=0
FP
VN
FP + VN
Total
VP + FP
FN + VN
N
VP = Verdaderos Positivos
VN = Verdaderos Negativos
FP = Falsos Positivos
FN = Falsos Negativos
•
Sensibilidad: es la capacidad de un modelo para detectar los verdaderos
positivos (VP)
•
Especificidad: es la capacidad de un modelo para detectar los verdaderos
negativos (VN)
VP
Sensibilid ad =
VP + FN
Modelos Predictivos con caret
VN
Especificidad =
VN + FP
14
Medidas de la Capacidad Predictiva. Curvas ROC
•
Las curvas ROC se utilizan para evaluar la capacidad predictiva de un
predictor continuo en un problema de clasificación con dos clases
– Se consideran todos los valores del predictor continuo como puntos de corte
para definir predictores binarios, para los cuáles se puede calcular la
sensibilidad y especificidad
– Las probabilidades predichas por un modelo pueden ser consideradas como
un predictor continuo
•
La curva ROC se define con los puntos
( 1 – especificidad, sensibilidad )
•
El área bajo la curva (AUC) es
considerado como una medida de la
capacidad predictiva del predictor
– Un predictor ideal tendría AUC = 1
– Un predictor que predice de forma
aleatoria tendría AUC = 0.5
Modelos Predictivos con caret
15
Medidas de la Capacidad Predictiva. Regresión
•
En Regresión, las medidas de capacidad predictiva de un modelo se basan
en los residuos, diferencias entre los valores observados y predichos
•
El error cuadrático medio (MSE, mean squared error) y su raíz cuadrada
1 N
MSE = ∑ ( y i − ŷ i ) 2
N i =1
•
RMSE = MSE
El coeficiente de determinación es una medida del ajuste del modelo y es
la proporción de variabilidad de la variable respuesta explicada por el
modelo ajustado
R2 =
SSR
SST
2
(
)
ŷ
−
y
∑ i
=
2
∑ (y i − y )
= 1−
∑ ei
∑ (y
2
− y)
2
i
– 0 < R2 < 1. R2 = 1 significa un ajuste perfecto y R2 = 0 un ajuste nulo
Modelos Predictivos con caret
16
Métodos de Estimación. Training y Testing
•
Un método para obtener una estimación honesta de la capacidad
predictiva de un modelo es dividir la muestra original en dos submuestras:
1. Una muestra de entrenamiento (training set) que se usa para la
construcción del modelo
2. Una muestra de validación (testing set) donde se realizan las
predicciones y donde se evalúa la capacidad predictiva del modelo
•
La partición se debe hacer de forma aleatoria
•
Se usa con muestras suficientemente grandes
– Si la muestra es pequeña, todas las observaciones son necesarias para construir
el modelo
– La muestra de testing no tiene precisión suficiente para evaluar el modelo
Modelos Predictivos con caret
17
Técnicas de remuestreo. Validación Cruzada
•
El método de Validación Cruzada (Cross-validation, CV) consiste en
dividir de forma aleatoria la muestra en K subconjuntos de similar
tamaño, y ajustar K modelos, dejando cada vez una partición como
conjunto de testing, y construyendo el modelo con las K-1 restantes
– La estimación del error se calcula como promedio de los K errores evaluados
en las muestras de testing de las K particiones
•
El número K de particiones (folds) se elige dependiendo del tamaño de la
muestra. Se suele elegir K=10 (10-fold CV) o K=5
– Se puede repetir varias veces el proceso de validación cruzada. Por ejemplo, si
se repite 10 veces: 10 times 10-fold CV
•
Cuando el número de particiones en el proceso de validación cruzada es
K=N, el método se llama leave-one-out (LOOCV) porque se construyen N
modelos, y en cada uno de ellos se queda fuera una única observación
como muestra de testing. Se suele usar en muestras pequeñas
Modelos Predictivos con caret
18
Técnicas de remuestreo. Validación Cruzada
Training
Modelo 1
5-fold CV
Testing
Evaluación
Muestra
…..
(K=5 particiones)
Partición
aleatoria
Training
Modelo 5
Testing
Modelos Predictivos con caret
Evaluación
19
Técnicas de remuestreo. LOOCV
Muestra
de Training
Construcción
Muestra
de testing
Muestra 1
N-1
Modelo 1
obs. 1
Ŷ1
Y1
Muestra 2
N-1
Modelo 2
obs. 2
Ŷ2
Y2
…..
Muestra N
Modelos Predictivos con caret
N-1
…
(N particiones)
Modelo N
Evaluación
obs. N
ŶN
YN
20
Técnicas de remuestreo. Bootstrapping
•
Es un método de remuestreo que se suele utilizar en muestras pequeñas
•
Se elige una muestra aleatoria con reemplazamiento de tamaño N para la
construcción del modelo (muestra bootstrap)
– Algunas observaciones estarán repetidas
•
Las observaciones que no han sido elegidas se reservan como muestra de
testing, llamada muestra out-of-bag. Son aproximadamente 0.368xN
•
Se repite este proceso un número K prefijado de veces. Las K repeticiones
del proceso son independientes a diferencia de la validación cruzada. Eso
hace este proceso más robusto desde el punto de vista estadístico
Modelos Predictivos con caret
21
Fichero de datos: Alzheimer
•
Objetivo del estudio: analizar un conjunto de 128 biomarcadores, medidas de
expresión de proteínas, asociados a las primeras etapas de Alzheimer
Nombre
Descripción
Categorías / Observaciones
128 Variables
Expresión de proteínas
Biomarcadores exploratorios
age
Edad
male
Género
tau, p_tau, Ab_42
3 proteínas conocidas que
están asociadas a Alzheimer
E4, E3, E2
3 alelos (SNPs) asociados a
Alzheimer
0 = no presenta el alelo, 1 = presenta el alelo
Class
Presencia de Alzheimer
1 = Alzheimer (primeras etapas), 0 = Control
training
Muestra de training o testing
1 = training, 0 = testing
0 = mujer, 1 = hombre
•
Problema de Clasificación, usando la variable respuesta binaria “Class”
•
Los datos se separan en 2 muestras: una de training y otra de testing
•
Ejemplo extraído de “Applied Predictive Modeling”. Max Kuhn
Modelos Predictivos con caret
22
Esquema del Análisis de datos
•
Construcción de las muestras de training y testing
•
Pre-Procesamiento de los datos
– Eliminar y estandarizar las variables predictoras
•
Selección de los parámetros de Support Vector Machines (SVM) en la
muestra de training
– Estimación “honesta” de la capacidad predictiva del modelo (validación interna)
•
Construcción del modelo en la muestra de training con los parámetros
óptimos
•
Validación externa del modelo con la muestra de testing
Modelos Predictivos con caret
23
Ejemplo: Pre-procesamiento
> ## Librerías
> library(caret)
> library(corrplot)
> library(pROC)
> ## Fichero Datos: Alzheimer
> xx.all = read.csv("C://Taller Modelos Predictivos caret/Alzheimer.csv", sep=";")
> dim(xx.all)
[1] 333 134
> ## Variable Respuesta, Class, como factor
> xx.all$Class = as.factor(xx.all$Class)
> ## Posición de Y en el dataframe (columna)
> indY = which ( "Class" == names(xx.all) )
> ## Muestras de Training y Testing (la variable “training” está en la col. 134)
> xx.train = xx.all [ xx.all$training == 1 , - 134 ]
> xx.test
= xx.all [ xx.all$training == 0 , - 134 ]
> dim(xx.train)
[1] 267 133
> dim(xx.test)
[1] 66 133
> ## Distribución de la Variable Respuesta
> table(xx.train$Class)
Control Impaired
194
73
•
La variable respuesta “Class” se define como factor ya que es un problema de
Clasificación, y en la variable “indY” se almacena la columna donde está la variable
•
Se divide el conjunto de datos en una muestra de training y otra de testing
Modelos Predictivos con caret
24
Ejemplo: Predictores con “varianza casi cero”
> ## Pre-Procesamiento de datos
> ## Near-Zero Variance Predictor
> ind.zero.var = nearZeroVar ( xx.train, freqCut = 95/5, uniqueCut = 10 )
> head(ind.zero.var)
integer(0)
> length(ind.zero.var)
[1] 0
> names(xx.train)[head(ind.zero.var)]
character(0)
>
> ## Ejemplo más estricto
> ind.zero.var = nearZeroVar ( xx.train, freqCut = 90/10, uniqueCut = 10 )
> ind.zero.var
[1] 131
> table ( xx.train [ , 131 ] )
0
1
20 247
> prop.table ( table ( xx.train [ , 131 ] ) )
0
1
0.07490637 0.92509363
•
Se usa la función nearZeroVar() del paquete caret para buscar las variables que
tengan “varianza casi cero”, aquellas que entre las dos categorías más numerosas
tengan una relación de 95/5 y que tengan menos de 10 valores únicos
•
No hay ninguna, y se prueba con 90/10, criterio que cumple la variable 131
Modelos Predictivos con caret
25
Ejemplo: Predictores con alta correlación
> ## Matriz de correlaciones de los Predictores
> w.corr = cor ( xx.train[ , - indY ] )
> dim(w.corr)
[1] 132 132
> ## Gráfico de la matriz de correlaciones
> dev.new()
> corrplot ( w.corr[1:50,1:50])
> rownames(w.corr) = 1:nrow(w.corr)
## Los nombres son muy largos
> colnames(w.corr) = 1:nrow(w.corr)
## Los nombres son muy largos
> dev.new()
> corrplot ( w.corr[1:50,1:50], order="hclust")
Modelos Predictivos con caret
26
39
49
8
31
40
41
17
20
32
47
5
6
14
4
26
16
12
13
15
7
11
19
46
28
42
34
48
2
10
29
1
3
37
18
30
9
22
25
36
44
27
45
21
43
33
50
24
38
23
35
Ejemplo: Predictores con alta correlación
39
49
8
31
40
41
17
20
32
47
5
6
14
4
26
16
12
13
15
7
11
19
46
28
42
34
48
2
10
29
1
3
37
18
30
9
22
25
36
44
27
45
21
43
33
50
24
38
23
35
Modelos Predictivos con caret
1
0.8
0.6
0.4
0.2
0
-0.2
-0.4
-0.6
-0.8
-1
27
Ejemplo: Predictores con alta correlación
> ## Encontrar las correlaciones altas por parejas
> ind.high.corr = findCorrelation ( w.corr, cutoff = 0.8 )
> length(ind.high.corr)
[1] 14
> ind.high.corr
[1] 109 121 53 118 103 31 62 87 46 12 127 13 16
2
>
> ## Borrar las variables
> xx.train = xx.train [ , - ind.high.corr ]
> dim(xx.train)
[1] 267 119
> ## Borrar las variables
> xx.test = xx.test [ , - ind.high.corr ]
> dim(xx.test)
[1] 66 119
>
> ## Posición de Y en el dataframe
> indY = which ( "Class" == names(xx.train) )
•
Se usa la función findCorrelation() del paquete caret para buscar variables que
estén correlacionadas por encima de un valor ( cutoff= )
•
Esta función devuelve las columnas de las variables que se pueden borrar,
seleccionando una de cada pareja de variables correlacionadas por encima de 0.8
•
Se borran 14 variables de las muestras de training y testing
Modelos Predictivos con caret
28
Ejemplo: Estandarización
> ## Estadandarización de las Variables Predictoras
> w.trans = preProcess ( xx.train [ , -indY ] , method = c ("center", "scale") )
> w.trans
Created from 267 samples and 118 variables
Pre-processing: centered, scaled
> xx.train[ , -indY] = predict( w.trans , xx.train[ , -indY] )
> xx.test [ , -indY] = predict( w.trans , xx.test[ , -indY] )
>
> ## Comprobando la estandarización
> mean.st = apply ( xx.train[ , -indY] , 2 , mean, na.rm=T )
> range ( mean.st )
[1] -2.338459e-15 1.271271e-14
> sd.st
= apply ( xx.train[ , -indY] , 2 , sd, na.rm=T )
> range ( sd.st )
[1] 1 1
> mean.st = apply ( xx.test[ , -indY] , 2 , mean, na.rm=T )
> range ( mean.st )
[1] -0.1897870 0.3187996
•
Se usa la función preProcess() del paquete caret para obtener las medias y las SDs
(method=). La función predict() aplicada al objeto que crea preProcess() es la que
realmente aplica la normalización
•
La normalización sobre la muestra de testing se hace con las medias y SDs de la
muestra de training, para obtener predicciones correctas
Modelos Predictivos con caret
29
Support Vector Machines
Support Vector Machines es una técnica de aprendizaje estadístico que
pertenece a la familia de los clasificadores lineales
•
Si las clases son linealmente separables, se selecciona el hiperplano que
maximiza la distancia mínima entre las observaciones del conjunto de
datos y el hiperplano, al que se le llama margen geométrico
15
•
Vectores soporte
0
5
Vectores soporte
10
Margen
0
Modelos Predictivos con caret
5
10
15
20
30
Support Vector Machines
•
Cuando los datos no se pueden separar linealmente, se hace una
transformación no lineal a un espacio de dimensión mayor donde se
puedan separar linealmente
– No es necesario definir explícitamente las transformaciones. Se usan funciones
núcleo (kernel), que calculan el productor escalar en el espacio de características
– Una de las funciones núcleo más usada es la función radial (gaussiano)
(
K ( x , z) = exp − γ ⋅ x − z
Modelos Predictivos con caret
2
)
γ>0
Cuánto mayor es gamma, más
flexible es el clasificador, en el
sentido de mayor curvatura
31
Support Vector Machines
•
Support Vector Machines también se puede usar con conjuntos de datos
que no son linealmente separables ni siquiera en el espacio de
transformaciones
– Se asumen malas clasificaciones, para encontrar un separador más
generalizable, que “clasifique mejor a la mayoría de las observaciones”
15
– Permite obtener clasificadores más robustos al sobreajuste
Se incluye un término de penalización sobre
los errores, y un parámetro C>0 que controla
su importancia relativa
10
εj
Valores pequeños de C permiten mayor
número de errores y definen regiones de
decisión más suaves
0
5
εi
0
Modelos Predictivos con caret
5
10
15
20
32
Función train()
•
La función train() es la función más importante del paquete caret
•
Esta función actúa en dos pasos:
– Se evalúa la capacidad predictiva del modelo (performance) para
diferentes parámetros (tuning parameters), usando técnicas de
remuestreo
– Se seleccionan los parámetros óptimos, los que tienen mayor
capacidad predictiva, y con ellos se construye el modelo predictivo en
la muestra de training (“modelo final”)
Modelos Predictivos con caret
33
Función train()
•
Parámetros
– x:
matriz o dataframe que contiene las variables predictoras
– y:
vector que contiene la variable respuesta
– form :
fórmula para indicar las variables predictoras y la respuesta
– data :
dataframe que contiene los datos
– method: método de construcción del modelo predictivo (ver tabla)
– preProcess: Pre-procesamiento de los datos
“center”, “scale”, “range”, “BoxCox”, “pca”
– metric:
medida de capacidad predictiva para elegir el parámetro óptimo
“RMSE”, “Rsquared”, “Accuracy”, “Kappa”, “ROC”
Modelos Predictivos con caret
34
Función train()
•
Parámetros
– trControl: controla la construcción del modelo y el proceso de la técnica
de remuestreo usada (*)
– tuneGrid: dataframe con los valores de los parámetros a evaluar
Los nombres de las columnas deben coincidir con los nombres
de los parámetros (ver tabla)
– tuneLength: número de niveles para cada parámetro de tuning, si no se
han especificado valores concretos con tuneGrid
– ...
Modelos Predictivos con caret
: argumentos adicionales a las funciones del paquete de R
35
Parámetro trControl= de la función train()
•
Parámetros
– method : método de remuestreo:
“boot” (bootstrapping), “none” (ajusta un único modelo)
“cv” (validación cruzada), “repeatedcv” (CV repetida), “LOOCV”
– number : número de particiones en la CV o número de iteraciones
– repeats : número de veces que se repite la CV (“repeatedcv”)
– summaryFunction : una función que evalúa la capacidad predictiva
“defaultSummary” (accuracy, Kappa, RMSE, R2)
“twoClassSummary” calcula la sensibilidad, especificidad y el
AUC de la curva ROC cuando hay 2 clases
– classProbs : Calcula las probabilidades predichas de las clases
Es necesario para calcular la curva ROC (def, FALSE)
– savePredictions : Salva las predicciones “hold-out” (def, FALSE)
Modelos Predictivos con caret
36
Ejemplo: Evaluación de Parámetros
>
>
>
>
>
>
+
+
>
>
>
+
## Suppor Vector Machine. Construcción del Modelo Predictivo
## Control de la Técnica de Remuestreo
fiveStats = function(...) c (twoClassSummary(...), defaultSummary(...))
cv.ctrl = trainControl ( method = "repeatedcv", number = 10 , repeats = 5,
classProbs = TRUE,
summaryFunction = fiveStats )
## Parámetros a explorar en SVM
svmGrid
= expand.grid ( .C = c ( 1, 5, 10, 50, 100 ) ,
.sigma = c ( 0.001, 0.005, 0.01, 0.05 ) )
•
Antes de ejecutar la función train() se debe especificar la técnica de remuestreo con
la que se va a evaluar el modelo: 5 times 10-fold CV
•
Además se van a calcular las probabilidades de pertenecer a cada clase,
necesarias para usar el AUC como medida de capacidad predictiva
•
A las funciones “resumen” por defecto, se añade “twoClassSummary” lo que permite
calcular las medidas asociadas a las curvas ROC
•
Se especifican los valores de los 2 parámetros de SVM que se van a explorar ( .C y
.sigma ) . La función expand.grid() crea un dataframe con todas las combinaciones
Modelos Predictivos con caret
37
Ejemplo: Evaluación de Parámetros
> ## Construcción del Modelo Predictivo
> svm.fit = train ( xx.train [ , -indY ] , xx.train$Class ,
+
method = "svmRadial",
+
tuneGrid = svmGrid,
+
trControl = cv.ctrl,
+
metric = "ROC",
+
prob.model = TRUE )
Loading required package: kernlab
> svm.fit
Support Vector Machines with Radial Basis Function Kernel
267 samples
118 predictors
2 classes: 'Control', 'Impaired'
No pre-processing
Resampling: Cross-Validated (10 fold, repeated 5 times)
. . . . . .
•
En la función train() se especifican las variables predictoras y la variable respuesta
•
Se van a construir varios modelos con SVM con la función radial
(method=“svmRadial”, que usa el paquete kernlab que es cargado por caret ), para
todos los parámetros especificados (tuneGrid=)
•
Se considera el mejor modelo como el que tiene mayor AUC de la curva ROC
(metric=“ROC” ) evaluado con la técnica de remuestreo especificada ( trControl= )
Modelos Predictivos con caret
38
Ejemplo: Evaluación de Parámetros
Resampling results across tuning parameters:
C
sigma ROC
Sens
Spec
Accuracy
1
0.001 0.881 0.886 0.753 0.85
1
0.005 0.877 0.926 0.687 0.861
1
0.01
0.876 0.928 0.657 0.854
1
0.05
0.808 0.961 0.277 0.773
5
0.001 0.887 0.923 0.705 0.864
5
0.005 0.878 0.929 0.663 0.856
5
0.01
0.877 0.926 0.64
0.848
5
0.05
0.807 0.963 0.227 0.761
10
0.001 0.885 0.943 0.687 0.873
10
0.005 0.873 0.92
0.625 0.839
10
0.01
0.877 0.927 0.654 0.853
10
0.05
0.807 0.962 0.242 0.765
50
0.001 0.857 0.922 0.601 0.834
50
0.005 0.873 0.926 0.622 0.843
50
0.01
0.877 0.934 0.638 0.853
50
0.05
0.807 0.964 0.274 0.775
100 0.001 0.851 0.919 0.572 0.824
100 0.005 0.873 0.921 0.616 0.838
100 0.01
0.877 0.925 0.648 0.85
100 0.05
0.807 0.963 0.228 0.761
Kappa
0.629
0.633
0.609
0.275
0.644
0.616
0.592
0.222
0.657
0.57
0.606
0.236
0.552
0.576
0.603
0.279
0.522
0.564
0.596
0.224
ROC SD
0.0942
0.0931
0.0898
0.112
0.0893
0.0908
0.0894
0.112
0.0917
0.0891
0.0894
0.112
0.0899
0.0891
0.0894
0.112
0.0889
0.0891
0.0894
0.112
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
. Accuracy SD
. 0.0768
. 0.0717
. 0.0725
. 0.0521
. 0.0753
. 0.0754
. 0.0763
. 0.0505
. 0.0708
. 0.0754
. 0.0704
. 0.055
. 0.078
. 0.076
. 0.0757
. 0.0602
. 0.0745
. 0.0738
. 0.0755
. 0.0525
Kappa SD
0.186
0.194
0.201
0.212
0.199
0.206
0.212
0.208
0.198
0.205
0.192
0.227
0.213
0.208
0.21
0.23
0.202
0.201
0.21
0.211
ROC was used to select the optimal model using the largest value.
The final values used for the model were sigma = 0.001 and C = 5.
•
El modelo de SVM con sigma=0.001 y C=5 es el modelo con mayor AUC, 0.887 que
es el promedio de las 50 AUCs de los modelos del remuestreo para esos parámetros
Modelos Predictivos con caret
39
Ejemplo: Evaluación de Parámetros
> names(svm.fit)
[1] "method"
"modelInfo"
"modelType"
"results"
[6] "bestTune"
"call"
"dots"
"metric"
[11] "finalModel"
"preProcess"
"trainingData" "resample"
[16] "perfNames"
"maximize"
"yLimits"
"times"
>
> ## Parámetros óptimos
> svm.fit$bestTune
sigma C
5 0.001 5
> svm.fit$bestTune$sigma
[1] 0.001
> svm.fit$bestTune$C
[1] 5
> ## Resultados
> head(svm.fit$results)
C sigma
ROC
Sens
Spec Accuracy
Kappa
1
1 0.001 0.8810273 0.8858421 0.7528571 0.8495706 0.6289897
5
5 0.001 0.8868346 0.9232632 0.7053571 0.8639011 0.6439127
9
10 0.001 0.8853139 0.9426842 0.6871429 0.8730138 0.6566747
13 50 0.001 0.8571203 0.9219474 0.6007143 0.8340883 0.5519905
17 100 0.001 0.8506269 0.9188947 0.5721429 0.8243142 0.5220607
SpecSD AccuracySD
KappaSD
1 0.1589578 0.07679743 0.1861817
5 0.1844601 0.07527970 0.1991360
9 0.1982010 0.07078200 0.1980073
13 0.1844781 0.07797558 0.2126890
17 0.1812467 0.07454970 0.2023394
Modelos Predictivos con caret
"pred"
"control"
"resampledCM"
ROCSD
0.09418768
0.08931012
0.09171076
0.08988780
0.08885459
SensSD
0.07947708
0.07031253
0.05647435
0.06792061
0.06761002
40
Ejemplo: Evaluación de Parámetros
>
>
>
>
>
## Gráfico del AUC respecto a los 2 parámetros
dev.new()
plot( svm.fit )
dev.new()
plot( svm.fit, metric= "Kappa" )
ROC
Kappa
Sigma
0.001
0.005
Sigma
0.01
0.05
0.001
0.005
0.01
0.05
Kappa (Repeated Cross-Validation)
ROC (Repeated Cross-Validation)
0.88
0.86
0.84
0.82
0
20
40
60
Cost
Modelos Predictivos con caret
80
100
0.6
0.5
0.4
0.3
0
20
40
60
80
100
Cost
41
Ejemplo: Evaluación de Parámetros
> ## Gráfico del AUC respecto a los 2 parámetros
> dev.new()
> plot( svm.fit, plotType="level" )
0.89
0.88
0.05
0.87
0.86
Sigma
0.01
0.85
0.84
0.005
0.83
0.82
0.001
0.81
1
5
10
50
100
Cost
ROC (Repeated Cross-Validation)
Modelos Predictivos con caret
42
Ejemplo: Modelo Predictivo Final
> ## Modelo Final, construido con los parámetros óptimos
> svm.fit$finalModel
Support Vector Machine object of class "ksvm"
SV type: C-svc (classification)
parameter : cost C = 5
Gaussian Radial Basis kernel function.
Hyperparameter : sigma = 0.001
Number of Support Vectors : 138
Objective Function Value : -419.6113
Training error : 0.067416
Probability model included.
> class(svm.fit)
[1] "train"
> class(svm.fit$finalModel)
[1] "ksvm"
attr(,"package")
[1] "kernlab"
•
El objeto $finalModel contiene el modelo predictivo construido con el paquete
kernlab en la muestra de training con los parámetros óptimos
•
El objeto $finalModel es de la clase que le asigna el paquete con el que ha sido
construido. Se podrían usar las funciones de ese paquete con este objeto
Modelos Predictivos con caret
43
Ejemplo: Predicciones del Modelo
> ## Clases predichas
> pred.train.class = predict ( svm.fit$finalModel, newdata = xx.train [ , -indY] )
> pred.test.class = predict ( svm.fit$finalModel, newdata = xx.test [ , -indY] )
> head(pred.test.class)
[1] Control Impaired Control Impaired Control Control
Levels: Control Impaired
> ## Probabilidades predichas
> pred.test.prob = predict( svm.fit$finalModel , newdata = xx.test [ , -indY] ,
+
type = "prob" )
> head(pred.test.prob)
Control
Impaired
[1,] 0.8896693 0.11033070
[2,] 0.2375410 0.76245899
[3,] 0.9113037 0.08869630
[4,] 0.1690830 0.83091703
[5,] 0.9128701 0.08712992
[6,] 0.6858061 0.31419388
•
La función predict() permite obtener las clases predichas por el “modelo final”
construido con la muestra de training, para cada observación del dataframe
especificado en newdata=
•
Se guardan las clases predichas en las muestras de training y testing
•
La función predict() también permite calcular las probabilidades predichas
(type=“prob”) y devuelve una columna por cada clase
Modelos Predictivos con caret
44
Ejemplo: Validación externa
> confusionMatrix ( pred.test.class , xx.test$Class )
Confusion Matrix and Statistics
Reference
Prediction Control Impaired
Control
43
8
Impaired
5
10
Accuracy
95% CI
No Information Rate
Kappa
Sensitivity
Specificity
:
:
:
:
:
:
0.803
(0.6868, 0.8907)
0.7273
0.4762
0.8958
0.5556
. . .
> confusionMatrix ( pred.train.class , xx.train$Class )
Confusion Matrix and Statistics
Reference
Prediction Control Impaired
Control
192
16
Impaired
2
57
Accuracy : 0.9326
•
La función confusionMatrix() del paquete caret permite mostrar la tabla de
confusión del modelo con diferentes estadísticos asociados
•
Se observa el sobreajuste si se evalúa el modelo en la muestra de training
Modelos Predictivos con caret
45
Ejemplo: Validación externa
La función roc() del paquete pROC
permite mostrar la curva ROC
•
Se introducen las probabilidades
predichas como predictor continuo
•
El AUC en la muestra de testing,
0.870 es muy parecido al obtenido
por validación cruzada, 0.887
0.6
0.4
0.2
0.0
Sensitivity
0.8
•
1.0
> ## Curva ROC
> dev.new()
> roc ( xx.test$Class, pred.test.prob [ , 2] , plot=T )
Area under the curve: 0.8704
1.0
0.8
0.6
0.4
0.2
0.0
Specificity
Modelos Predictivos con caret
46
Ejemplo: Importancia de las Variables
> ## Importancia de las Variables
> svm.imp = varImp ( svm.fit , scale = F )
> svm.imp
ROC curve variable importance
only 20 most important variables shown (out of 118)
Importance
Ab_42
0.7917
tau
0.7839
MMP10
0.6994
MIF
0.6710
Eotaxin_3
0.6685
GRO_alpha
0.6672
MMP7
0.6657
IGF_BP_2
0.6641
. . .
> head(svm.imp$importance)
Control
ACE_CD143_Angiotensin_Converti 0.5409900
AXL
0.4921268
Adiponectin
0.5396837
Alpha_1_Antichymotrypsin
0.5677870
Alpha_1_Antitrypsin
0.6040813
Alpha_1_Microglobulin
0.5808502
•
Impaired
0.5409900
0.4921268
0.5396837
0.5677870
0.6040813
0.5808500
La función varImp() contiene un score de la importancia de la variable en el modelo
construido, que es almacenado en el objeto $importance
Modelos Predictivos con caret
47
Ejemplo: Importancia de las Variables
> ## Gráfico
> dev.new()
> plot(svm.imp, top=20)
Ab_42
tau
MMP10
MIF
Eotaxin_3
GRO_alpha
MMP7
IGF_BP_2
TRAIL_R3
PAI_1
FAS
VEGF
Pancreatic_polypeptide
age
NT_proBNP
Creatine_Kinase_MB
Cortisol
Fibrinogen
Gamma_Interferon_induced_Monokin
Thrombopoietin
0.65
0.70
0.75
Importance
Modelos Predictivos con caret
48
Ejemplo: Control del Remuestreo
> ## Control de la Técnica de Muestreo
> names(svm.fit$control$index)
[1] "Fold01.Rep1" "Fold02.Rep1" "Fold03.Rep1"
[6] "Fold06.Rep1" "Fold07.Rep1" "Fold08.Rep1"
[11] "Fold01.Rep2" "Fold02.Rep2" "Fold03.Rep2"
[16] "Fold06.Rep2" "Fold07.Rep2" "Fold08.Rep2"
[21] "Fold01.Rep3" "Fold02.Rep3" "Fold03.Rep3"
"Fold04.Rep1"
"Fold09.Rep1"
"Fold04.Rep2"
"Fold09.Rep2"
"Fold04.Rep3"
"Fold05.Rep1"
"Fold10.Rep1"
"Fold05.Rep2"
"Fold10.Rep2"
"Fold05.Rep3"
. . .
> svm.fit$control$index$Fold01.Rep1
[1]
1
2
3
4
6
7
8
9 10 11 12 14 15 16 17 18 19
[18] 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36
[35] 37 38 42 43 44 45 46 47 48 49 50 51 52 53 55 56 57
[52] 58 59 62 63 64 65 67 68 69 70 72 73 74 75 76 77 78
[69] 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95
[86] 96 97 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113
. . .
> svm.fit$control$indexOut$Fold01.Rep1
[1]
5 13 39 40 41 54 60 61 66
[19] 190 198 222 225 227 234 261 266
71
98 116 141 147 156 158 179 188
•
El objeto $control tiene información del proceso de remuestreo
•
Permite conocer qué observaciones fueron elegidas en cada partición del proceso de
validación cruzada para construir el modelo ( $index ) y las que quedaron fuera para
evaluar el modelo ( $indexOut )
Modelos Predictivos con caret
49
Ejemplo: Control del Remuestreo
> ## Remuestreo del Modelo Final
> dim(svm.fit$resample)
[1] 50 6
> head(svm.fit$resample)
ROC Sens
Spec Accuracy
1 0.8223684 1.0 0.7500000 0.9259259
2 0.8928571 1.0 0.7142857 0.9259259
3 0.9868421 1.0 0.8750000 0.9629630
4 0.9013158 1.0 0.5000000 0.8518519
5 0.8881579 1.0 0.6250000 0.8888889
6 0.8285714 0.9 0.5714286 0.8148148
> mean(svm.fit$resample$ROC)
[1] 0.8868346
> sd(svm.fit$resample$ROC)
[1] 0.08931012
Kappa
0.8085106
0.7874016
0.9078498
0.5846154
0.7011070
0.4943820
Resample
Fold03.Rep4
Fold09.Rep4
Fold01.Rep5
Fold07.Rep3
Fold01.Rep3
Fold04.Rep4
•
El objeto $resample tiene información del proceso de remuestreo en el modelo final,
construido con los parámetros óptimos
•
Tiene información sobre las medidas de capacidad predictiva de los 5x10 modelos
construidos en el proceso de validación cruzada con los parámetros óptimos
Modelos Predictivos con caret
50
Ejemplo: Control del Remuestreo
> ## Plots de densidad del remuestreo del Modelo Final
> dev.new()
> resampleHist( svm.fit )
Sens
Spec
2.0
0.5
0.0
0
Density
0
1
1
2
2
1.0
3
3
1.5
4
4
5
ROC
0.6
0.8
1.0
0.7
0.9
1.0
1.1
0.0
0.5
1.0
Kappa
0
0.0
1
0.5
2
1.0
3
1.5
4
Accuracy
0.8
0.6
Modelos Predictivos con caret
0.7
0.8
0.9
1.0
1.1
0.0
0.5
1.0
51
Métodos de regresión penalizados. LASSO
•
Los métodos de regresión penalizados introducen una penalización en
la función de pérdida a ser optimizada (loss function)
– Los estimadores “cásicos” en regresión lineal y regresión logística producen
estimadores muy inestables (valores muy altos y con mucha varianza) en
problemas de alta dimensionalidad ( p>>n ) y con variables correlacionadas
•
LASSO usa la restricción L1-penalty: la suma de los valores absolutos de
los coeficientes de regresión debe ser menor que una constante C
•
En un problema de regresión logística, LASSO maximiza la función
p


ˆβ = max logL(mod) - λ ⋅
βj 

∑
β
j=1


L(mod) es la función de
verosimilitud
– Muchos de los coeficientes estimados por LASSO son 0
– Lambda es un parámetro del modelo que se debe optimizar
Modelos Predictivos con caret
52
Ejemplo: LASSO
> ## Control de la Técnica de Remuestreo: 100 muestras bootstrap
> boot.ctrl = trainControl ( method = "boot" , number = 100, classProbs = T )
> ## Parámetros a explorar. Con el paquete glmnet alpha = 1 para LASSO
> glmnetGrid = expand.grid ( .alpha = 1 ,
+
.lambda = seq ( .001 , .1 , length=20 ) )
> ## Construcción del Modelo Predictivo
> lasso.fit = train ( xx.train [ , -indY ] , xx.train$Class ,
+
method = "glmnet",
+
tuneGrid = glmnetGrid,
+
trControl = boot.ctrl )
Loading required package: glmnet
> lasso.fit
glmnet
267 samples
118 predictors
2 classes: 'Control', 'Impaired'
No pre-processing
Resampling: Bootstrapped (100 reps)
. . .
•
Para construir un modelo penalizado con LASSO usamos method=“glmnet” que usa
el paquete glmnet y es necesario usar el parámetro .alpha=1
•
Se usa boostrapping como técnica de remuestreo
Modelos Predictivos con caret
53
Ejemplo: LASSO
Resampling results across tuning parameters:
lambda
0.001
0.00621
0.0114
0.0166
0.0218
0.0271
0.0323
0.0375
0.0427
0.0479
0.0531
0.0583
0.0635
0.0687
0.0739
0.0792
0.0844
0.0896
0.0948
0.1
Accuracy
0.828
0.848
0.86
0.865
0.867
0.868
0.867
0.864
0.859
0.855
0.847
0.84
0.829
0.816
0.806
0.796
0.785
0.775
0.767
0.76
Kappa
0.57
0.613
0.638
0.649
0.651
0.651
0.644
0.633
0.616
0.602
0.578
0.555
0.513
0.469
0.432
0.391
0.344
0.302
0.266
0.232
Accuracy SD
0.0295
0.0295
0.0269
0.0269
0.027
0.0276
0.0278
0.0297
0.0339
0.0356
0.0402
0.0449
0.0465
0.0505
0.0542
0.0526
0.0523
0.0524
0.0512
0.0504
Kappa SD
0.0753
0.0798
0.0749
0.0732
0.0696
0.0695
0.0707
0.0757
0.0851
0.0891
0.101
0.113
0.12
0.133
0.148
0.149
0.151
0.153
0.148
0.145
Tuning parameter 'alpha' was held constant at a value of 1
Accuracy was used to select the optimal model using the largest value.
The final values used for the model were alpha = 1 and lambda = 0.0271.
Modelos Predictivos con caret
54
Ejemplo: LASSO
>
>
>
>
>
## Gráfico del Accuaracy y Kappa frente al Parámetro lambda
dev.new()
plot( lasso.fit )
dev.new()
plot( lasso.fit, metric= "Kappa" )
Accuracy
Kappa
0.6
0.84
Kappa (Bootstrap)
Accuracy (Bootstrap)
0.86
0.82
0.80
0.5
0.4
0.3
0.78
0.76
0.2
0.00
0.02
0.04
0.06
Regularization Parameter
Modelos Predictivos con caret
0.08
0.10
0.00
0.02
0.04
0.06
0.08
0.10
Regularization Parameter
55
Ejemplo: LASSO
> ## Coeficientes de los Predictores de los modelos para todos los lambdas
> dim( coef(lasso.fit$finalModel) )
[1] 119 99
> ## Coeficientes de los Predictores del mejor modelo
> tail ( coef(lasso.fit$finalModel, lasso.fit$bestTune$lambda) )
1
tau
1.3283331
Ab_42 -0.2613127
male
0.1852370
E4
.
E3
.
> lass.coef = as.matrix ( coef(lasso.fit$finalModel, lasso.fit$bestTune$lambda) )
> row.names( lass.coef )[ lass.coef != 0 ] ## Se convierte a matriz
[1] "(Intercept)"
"Cortisol"
"Cystatin_C"
[4] "ENA_78"
"Eotaxin_3"
"FAS"
[7] "FSH_Follicle_Stimulation_Hormon" "Fibrinogen"
"GRO_alpha"
[10] "IL_7"
"MCP_2"
"MMP10"
[13] "MMP7"
"NT_proBNP"
"PAI_1"
[16] "PAPP_A"
"Pancreatic_polypeptide"
"SGOT"
[19] "TRAIL_R3"
"Thymus_Expressed_Chemokine_TECK" "VEGF"
[22] "tau"
"Ab_42"
"male"
> round ( lass.coef [ lass.coef != 0 ] , 3 )
[1] -1.412 0.038 -0.673 -0.123 0.039 0.234 -0.025 0.006 0.085 -0.090 0.009
0.050 0.003 0.238
[15] 0.116 0.080 0.094 0.043 0.033 0.062 -0.694 1.328 -0.261 0.185
•
Se usa la función coef() del paquete glmnet para extraer los coeficientes de
regresión del modelo
Modelos Predictivos con caret
56
Random Forest
•
Random Forest es una técnica de machine learning que consiste en la
construcción de una gran número de árboles con las siguientes
características:
–
Está basado en muestras bootstrap. Cada árbol está basado en una muestra
aleatoria con reemplazamiento de las observaciones
–
Cada división del árbol está basada en una muestra aleatoria de los
predictores
–
Los árboles no se cortan, son tan largos como sea posible. No hay prunning
•
Random Forest se puede usar en problemas de clasificación y regresión
•
Random Forest analiza eficientemente un gran número de variables, sin
tener que hacer selección previa
•
Random Forest tiene dos parámetros de tuning: el número de árboles y el
número de predictores que son evaluados en cada división
Modelos Predictivos con caret
57
Ejemplo: Random Forest
>
>
>
>
>
>
>
>
+
+
+
+
## Control de la Técnica de Remuestreo: 10-fold CV
boot.ctrl = trainControl ( method = "cv" , number = 10, classProbs = T )
## Parámetros a explorar
rfGrid = expand.grid ( .mtry = c ( 5, 10, 25, 50, 75, 100 ) )
## Construcción del Modelo Predictivo
rf.fit = train ( xx.train [ , -indY ] , xx.train$Class ,
method = "rf",
tuneGrid = rfGrid ,
ntree = 1000 ,
trControl = boot.ctrl )
Loading required package: randomForest
•
Para construir un modelo con Random Forest usamos method=“rf” que usa el
paquete randomForest
•
El parámetro ntree=1000 nos indica que se va a construir RF con 1000 árboles. No
es un parámetro de la función train(), es un parámetro de la función randomForest()
•
El único parámetro a optimizar en RF en la función train() es el número de variables
predictoras que son evaluados de forma aleatoria en cada división del árbol ( .mtry )
•
Se usa 10-fold CV, validación cruzada con 10 particiones, como técnica de
remuestreo
Modelos Predictivos con caret
58
Ejemplo: Random Forest
> rf.fit
Random Forest
267 samples
118 predictors
2 classes: 'Control', 'Impaired'
No pre-processing
Resampling: Cross-Validated (10 fold)
Resampling results across tuning parameters:
mtry
5
10
25
50
75
100
Accuracy
0.798
0.828
0.854
0.865
0.866
0.847
Kappa
0.355
0.477
0.584
0.631
0.638
0.597
Accuracy SD
0.0298
0.0357
0.0574
0.0429
0.0504
0.0478
Kappa SD
0.112
0.103
0.158
0.114
0.136
0.127
Accuracy was used to select the optimal model using
The final value used for the model was mtry = 75.
Modelos Predictivos con caret
the largest value.
59
Otras funciones del paquete caret
•
createDataPartition() : crea particiones en una muestra (CV)
•
dummyVars() : crea un set completo de variables dummy en las variables
categóricas definidas como factores
•
calibration() : crea un gráfico de calibración para comparar probabilidades
observadas y predichas
•
sensitibity() : calcula la sensibilidad, especificidad, …
•
rfe() : Recursive Feature Elimination. Es un algoritmo de selección de
variables, basado en la eliminación de las variables menos importantes
– Es una función con parámetros muy parecidos a train()
•
caret también incorpora funciones para construir modelos predictivos con
técnicas que no tienen paquetes específicos en R (modalidades de bagging)
Modelos Predictivos con caret
60