Acceso
Iniciar sesión

Galería de mapas mentales Algoritmo de regresión básico para aprendizaje automático.

Algoritmo de regresión básico para aprendizaje automático.

Resume los algoritmos de regresión básicos en el aprendizaje automático, como regresión lineal básica, regresión recursiva, regresión lineal regularizada, regresión lineal dispersa Lasso, regresión de función de base lineal, descomposición de valores singulares, descomposición de errores del aprendizaje de regresión, etc.

Editado a las 2023-02-15 23:14:30,

e7qw4qya@bccto.cc

Trabajos recientes Ver más trabajos>>

Algoritmo de regresión básico para aprendizaje automático.

e7qw4qya@bccto.cc

Trabajos recientes Ver más trabajos>>

Recomendados
Resumen

Árbol de conocimiento de big data
- 1
e7qw4qya@bccto.cc
Conocimientos teóricos del aprendizaje profundo.
- 1
e7qw4qya@bccto.cc
reconocimiento de patrones
e7qw4qya@bccto.cc
Árbol de habilidades del ingeniero de algoritmos de aprendizaje automático
- 2
e7qw4qya@bccto.cc
Los 10 mejores algoritmos en inteligencia artificial
e7qw4qya@bccto.cc
Ingeniero de algoritmos de aprendizaje automático
- 1
e7qw4qya@bccto.cc
Algoritmo de segmentación de imágenes
- 1
e7qw4qya@bccto.cc
Algoritmo de aprendizaje automático regresión lineal árbol de decisiones notas mapa mental de autoestudio
- 1
e7qw4qya@bccto.cc
Explicación detallada del proceso de funcionamiento de la red neuronal.
- 1
e7qw4qya@bccto.cc
Red neuronal convolucional (CNN)
- 1
e7qw4qya@bccto.cc

aprendizaje automático Algoritmo de regresión básico

aprendizaje de regresión

Características

aprendizaje supervisado

Conjunto de datos con etiqueta y

proceso de aprendizaje

El proceso de determinación de los parámetros del modelo w.

predecir o extrapolar

El proceso de calcular el resultado de la regresión mediante la sustitución de nuevos insumos.

regresión lineal

regresión lineal básica

función lineal objetivo

Error en el supuesto de distribución gaussiana

Hay una discrepancia entre el valor de salida y el valor etiquetado

Suponiendo que el resultado del modelo es el valor esperado, la función de probabilidad de la variable aleatoria (valor etiquetado) yi es

Dado que las muestras están distribuidas de forma independiente e idéntica, la función de densidad de probabilidad conjunta de todos los valores etiquetados es

Función de probabilidad para encontrar parámetros óptimos. (solución LS de mínimos cuadrados)

función logarítmica de probabilidad

error suma de cuadrados

solución de máxima verosimilitud

Fórmula de prueba del error cuadrático medio

Aprendizaje recursivo para regresión lineal.

Cuestiones específicas

La escala del problema es demasiado grande y es difícil resolver la matriz.

algoritmo de descenso de gradiente

Tome todas las muestras para calcular el gradiente promedio.

gradiente promedio

fórmula de recursividad

Algoritmo SGD de descenso de gradiente estocástico (LMS)

Tome muestras aleatorias para calcular el gradiente.

gradiente estocástico

fórmula de recursividad

Algoritmo SGD de mini lotes

Tome un pequeño lote de muestras para calcular el gradiente promedio.

gradiente promedio

fórmula de recursividad

regresión lineal regularizada

Cuestiones específicas

El número de condición de la matriz es muy grande y la estabilidad numérica no es buena.

La naturaleza del gran número de condición del problema.

Algunos vectores columna de una matriz son proporcionales o aproximadamente proporcionales

Hay coeficientes de peso redundantes y se produce un sobreajuste.

Solución

Debería "reducir el número de parámetros del modelo" o "regularizar los parámetros del modelo"

Función objetivo regularizada

Error de suma de cuadrados J(w) hiperparámetro λ vector de parámetro restrictivo w

forma

Solución LS de mínimos cuadrados regularizados

Interpretación de probabilidad de regresión lineal regularizada

La distribución previa del vector de coeficiente de peso w es el MAP de "estimación de probabilidad posterior máxima" bayesiano bajo la distribución gaussiana.

Algoritmo de recursividad de gradiente (método de descenso de gradiente estocástico de lotes pequeños SGD como ejemplo)

Regresión lineal de salida múltiple (vector de salida y)

Cuestiones específicas

La salida es un vector y en lugar de un escalar y

Error suma de cuadrados función objetivo J(W)

Solución LS de mínimos cuadrados

Lazo de regresión lineal escasa

norma del plazo de regularización

Norma p>1

Ninguna de las coordenadas de la solución es 0 y la solución no es escasa.

Norma p=1

La mayoría de las coordenadas de la solución son 0, las soluciones son escasas y el procesamiento es relativamente fácil.

Norma p<1

La mayoría de las coordenadas de la solución son 0, las soluciones son escasas y el procesamiento es difícil.

problema de lazo

contenido

Para el problema de minimizar el error de la función de suma de cuadrados, se impone una restricción ||w||1<t

expresión de regularización

Algoritmo cíclico de descenso de coordenadas de Lasso

preprocesamiento

Haga una media cero de las columnas X de la matriz de datos y normalícelas a Z

La solución de Lasso en caso de una sola variable.

solución de lazo

Generalización de la solución Lasso en casos multivariables.

Método de descenso de coordenadas cíclicas CCD

Primero determine uno de los parámetros wj.

Calcular los parámetros que minimizan la suma de errores al cuadrado.

En este momento, otros parámetros w no son valores óptimos, por lo que el resultado del cálculo de wj es solo una estimación.

Cálculo de bucle

La misma idea se utiliza para calcular otros parámetros en un bucle hasta que las estimaciones de los parámetros converjan.

Parte del valor residual ri(j) reemplaza a yi

Matemáticamente consistente con univariado

estimaciones de parámetros

Algoritmo LAR de Lasso

Ser aplicable

Resuelva el problema de regresión dispersa bajo restricciones de 1 norma

Correspondiente al problema de regresión regularizada.

Clasificación

λ=0

Problema estándar de mínimos cuadrados

Cuanto mayor sea λ

Cuanto más escasa sea la solución del parámetro del modelo w vector, más escasa será

regresión de función de base lineal

función base

Modelo de regresión

matriz de datos

solución del coeficiente de regresión

valor singular de descomposición

pseudoinverso

descomposición SVD

Solución del modelo de coeficiente de regresión

Descomposición de errores para el aprendizaje de regresión.

función de error

expectativa de error

Modelo

mejor modelo teórico

Modelo de aprendizaje

descomposición de errores

Complejidad del modelo y descomposición de errores.

El modelo es sencillo

Gran desviación, pequeña variación

El modelo es complejo.

Pequeña desviación, gran variación

Es necesario elegir la complejidad del modelo adecuada