Wondershare EdrawMind
EdrawMindAlgoritmo de regresión básico para aprendizaje automático.
Galería de mapas mentales Algoritmo de regresión básico para aprendizaje automático.
- 3
Algoritmo de regresión básico para aprendizaje automático.
Resume los algoritmos de regresión básicos en el aprendizaje automático, como regresión lineal básica, regresión recursiva, regresión lineal regularizada, regresión lineal dispersa Lasso, regresión de función de base lineal, descomposición de valores singulares, descomposición de errores del aprendizaje de regresión, etc.
Editado a las 2023-02-15 23:14:30,- Breve historia del tiempo
Este es un mapa mental sobre una breve historia del tiempo. "Una breve historia del tiempo" es una obra de divulgación científica con una influencia de gran alcance. No sólo presenta los conceptos básicos de cosmología y relatividad, sino que también analiza los agujeros negros y la expansión. del universo. temas científicos de vanguardia como la inflación y la teoría de cuerdas.
- ¿Cuáles son los métodos de fijación de precios para los subcontratos de proyectos bajo el modelo de contratación general EPC
¿Cuáles son los métodos de fijación de precios para los subcontratos de proyectos bajo el modelo de contratación general EPC? EPC (Ingeniería, Adquisiciones, Construcción) significa que el contratista general es responsable de todo el proceso de diseño, adquisición, construcción e instalación del proyecto, y es responsable de los servicios de operación de prueba.
- Puntos de conocimiento que los ingenieros de Java deben dominar en cada etapa
Los puntos de conocimiento que los ingenieros de Java deben dominar en cada etapa se presentan en detalle y el conocimiento es completo, espero que pueda ser útil para todos.
Algoritmo de regresión básico para aprendizaje automático.
- Breve historia del tiempo
Este es un mapa mental sobre una breve historia del tiempo. "Una breve historia del tiempo" es una obra de divulgación científica con una influencia de gran alcance. No sólo presenta los conceptos básicos de cosmología y relatividad, sino que también analiza los agujeros negros y la expansión. del universo. temas científicos de vanguardia como la inflación y la teoría de cuerdas.
- ¿Cuáles son los métodos de fijación de precios para los subcontratos de proyectos bajo el modelo de contratación general EPC
¿Cuáles son los métodos de fijación de precios para los subcontratos de proyectos bajo el modelo de contratación general EPC? EPC (Ingeniería, Adquisiciones, Construcción) significa que el contratista general es responsable de todo el proceso de diseño, adquisición, construcción e instalación del proyecto, y es responsable de los servicios de operación de prueba.
- Puntos de conocimiento que los ingenieros de Java deben dominar en cada etapa
Los puntos de conocimiento que los ingenieros de Java deben dominar en cada etapa se presentan en detalle y el conocimiento es completo, espero que pueda ser útil para todos.
- Recomendados
- Resumen
aprendizaje automático Algoritmo de regresión básico
aprendizaje de regresión
Características
aprendizaje supervisado
Conjunto de datos con etiqueta y
proceso de aprendizaje
El proceso de determinación de los parámetros del modelo w.
predecir o extrapolar
El proceso de calcular el resultado de la regresión mediante la sustitución de nuevos insumos.
regresión lineal
regresión lineal básica
función lineal objetivo
Error en el supuesto de distribución gaussiana
Hay una discrepancia entre el valor de salida y el valor etiquetado
Suponiendo que el resultado del modelo es el valor esperado, la función de probabilidad de la variable aleatoria (valor etiquetado) yi es
Dado que las muestras están distribuidas de forma independiente e idéntica, la función de densidad de probabilidad conjunta de todos los valores etiquetados es
Función de probabilidad para encontrar parámetros óptimos. (solución LS de mínimos cuadrados)
función logarítmica de probabilidad
error suma de cuadrados
solución de máxima verosimilitud
Fórmula de prueba del error cuadrático medio
Aprendizaje recursivo para regresión lineal.
Cuestiones específicas
La escala del problema es demasiado grande y es difícil resolver la matriz.
algoritmo de descenso de gradiente
Tome todas las muestras para calcular el gradiente promedio.
gradiente promedio
fórmula de recursividad
Algoritmo SGD de descenso de gradiente estocástico (LMS)
Tome muestras aleatorias para calcular el gradiente.
gradiente estocástico
fórmula de recursividad
Algoritmo SGD de mini lotes
Tome un pequeño lote de muestras para calcular el gradiente promedio.
gradiente promedio
fórmula de recursividad
regresión lineal regularizada
Cuestiones específicas
El número de condición de la matriz es muy grande y la estabilidad numérica no es buena.
La naturaleza del gran número de condición del problema.
Algunos vectores columna de una matriz son proporcionales o aproximadamente proporcionales
Hay coeficientes de peso redundantes y se produce un sobreajuste.
Solución
Debería "reducir el número de parámetros del modelo" o "regularizar los parámetros del modelo"
Función objetivo regularizada
Error de suma de cuadrados J(w) hiperparámetro λ vector de parámetro restrictivo w
forma
Solución LS de mínimos cuadrados regularizados
Interpretación de probabilidad de regresión lineal regularizada
La distribución previa del vector de coeficiente de peso w es el MAP de "estimación de probabilidad posterior máxima" bayesiano bajo la distribución gaussiana.
Algoritmo de recursividad de gradiente (método de descenso de gradiente estocástico de lotes pequeños SGD como ejemplo)
Regresión lineal de salida múltiple (vector de salida y)
Cuestiones específicas
La salida es un vector y en lugar de un escalar y
Error suma de cuadrados función objetivo J(W)
Solución LS de mínimos cuadrados
Lazo de regresión lineal escasa
norma del plazo de regularización
Norma p>1
Ninguna de las coordenadas de la solución es 0 y la solución no es escasa.
Norma p=1
La mayoría de las coordenadas de la solución son 0, las soluciones son escasas y el procesamiento es relativamente fácil.
Norma p<1
La mayoría de las coordenadas de la solución son 0, las soluciones son escasas y el procesamiento es difícil.
problema de lazo
contenido
Para el problema de minimizar el error de la función de suma de cuadrados, se impone una restricción ||w||1<t
expresión de regularización
Algoritmo cíclico de descenso de coordenadas de Lasso
preprocesamiento
Haga una media cero de las columnas X de la matriz de datos y normalícelas a Z
La solución de Lasso en caso de una sola variable.
solución de lazo
Generalización de la solución Lasso en casos multivariables.
Método de descenso de coordenadas cíclicas CCD
Primero determine uno de los parámetros wj.
Calcular los parámetros que minimizan la suma de errores al cuadrado.
En este momento, otros parámetros w no son valores óptimos, por lo que el resultado del cálculo de wj es solo una estimación.
Cálculo de bucle
La misma idea se utiliza para calcular otros parámetros en un bucle hasta que las estimaciones de los parámetros converjan.
Parte del valor residual ri(j) reemplaza a yi
Matemáticamente consistente con univariado
estimaciones de parámetros
Algoritmo LAR de Lasso
Ser aplicable
Resuelva el problema de regresión dispersa bajo restricciones de 1 norma
Correspondiente al problema de regresión regularizada.
Clasificación
λ=0
Problema estándar de mínimos cuadrados
Cuanto mayor sea λ
Cuanto más escasa sea la solución del parámetro del modelo w vector, más escasa será
regresión de función de base lineal
función base
Modelo de regresión
matriz de datos
solución del coeficiente de regresión
valor singular de descomposición
pseudoinverso
descomposición SVD
Solución del modelo de coeficiente de regresión
Descomposición de errores para el aprendizaje de regresión.
función de error
expectativa de error
Modelo
mejor modelo teórico
Modelo de aprendizaje
descomposición de errores
Complejidad del modelo y descomposición de errores.
El modelo es sencillo
Gran desviación, pequeña variación
El modelo es complejo.
Pequeña desviación, gran variación
Es necesario elegir la complejidad del modelo adecuada