Definición: Un árbol de decisiones es una estructura de árbol que guía el proceso de toma de decisiones a través de una serie de preguntas o condiciones.

Explicación visual: se puede comparar con el proceso de toma de decisiones en nuestra vida diaria, donde finalmente se toma una decisión a través de capas de selección.

El árbol de decisiones es como un "árbol guía" sabio que se encuentra en el bosque de datos y nos ayuda a orientarnos y encontrar las respuestas que queremos. Imagínese que se encuentra en una encrucijada desconocida y desea ir a un destino específico pero no sabe adónde ir. En este momento, si aparece un "árbol guía" frente a usted, ¿qué hará?

(1) Nodo de decisión: el nodo que determina la siguiente rama.

(2) Rama del plan: la rama del nodo de decisión representa diferentes planes de decisión.

(3) Nodo de estado: un nodo que representa el resultado o estado de la decisión, que puede ser un resultado intermedio o un resultado final.

(4) Rama de probabilidad: conecta nodos de estado y representa la probabilidad de que ocurran diferentes estados.

El primer paso es dibujar un diagrama de árbol y organizar cada esquema y los distintos estados naturales de cada esquema según las condiciones conocidas.

En el segundo paso, marque la probabilidad y el valor de pérdidas y ganancias de cada estado en la rama de probabilidad.

El tercer paso es calcular el valor esperado de cada plan y marcarlo en el nodo de estado correspondiente al plan.

El cuarto paso es realizar la poda (la poda es una de las formas de detener la ramificación en un árbol de decisión. Para evitar el sobreajuste, el árbol generado debe podarse para eliminar algunos nodos innecesarios), comparar los valores esperados de cada uno. solución y márquelo en la rama del plan, y el último plan restante con un valor esperado pequeño (es decir, eliminando el plan inferior) es el mejor plan.

Ventajas: Intuitivo, fácil de entender, altamente interpretable y puede manejar datos numéricos y categóricos.

Desventajas: propenso al sobreajuste, sensible a valores atípicos, falta de suavidad y sesgo hacia la selección de características con más valores propios.

En aplicaciones prácticas, es necesario elegir si utilizar árboles de decisión y cómo optimizarlos en función de escenarios y necesidades específicos.

Ámbito de aplicación: Adecuado para problemas de clasificación y predicción, especialmente cuando la selección de características es clara y el tamaño de los datos es moderado.

Métodos comúnmente utilizados:

Expandir

El análisis de regresión es un método de análisis estadístico de datos que estudia principalmente cómo una o más variables independientes (también llamadas variables predictoras, variables explicativas o variables independientes) afectan a la variable dependiente (también llamada variable de respuesta, variable explicada o cambios en la variable dependiente). ).

En pocas palabras, el análisis de regresión intenta encontrar una relación o modelo matemático entre la variable independiente y la variable dependiente de modo que el valor de la variable dependiente pueda predecirse en función del valor de la variable independiente.

El análisis de regresión se utiliza ampliamente en diversos campos, como la economía, la sociología, la medicina, la ingeniería, etc. Por ejemplo:

(1) Regresión lineal: existe una relación lineal entre la variable independiente y la variable dependiente, que es el tipo más simple y más utilizado.

(2) Regresión logística: se utiliza principalmente para problemas de clasificación, predecir la probabilidad de un evento y mapear los resultados de la regresión lineal entre 0 y 1 para expresar la probabilidad.

(3) Regresión polinómica: la relación de datos entre la variable independiente y la variable dependiente no es lineal, pero tiene una relación polinómica y los datos se pueden ajustar mediante polinomios.

(4) Regresión escalonada: al introducir o eliminar gradualmente variables independientes, se seleccionan automáticamente variables independientes importantes para evitar la multicolinealidad y seleccionar el modelo de regresión óptimo.

(5) Regresión de cresta: un método de regresión lineal mejorado que procesa datos de alta dimensión, reduce la complejidad del modelo, evita el sobreajuste y se utiliza para resolver problemas de multicolinealidad.

(1) Modelo de regresión lineal: y = ax b, donde a es la pendiente y b es la intersección.

(2) Modelo de regresión no lineal: existe una relación no lineal entre variables independientes y variables dependientes, como funciones exponenciales, funciones logarítmicas, etc.

(3) Modelo de regresión logística: se utiliza para predecir la probabilidad de que ocurra un evento, como predecir si un usuario hará clic en un anuncio.

(4) Modelo de regresión de cresta: agregue términos de regularización a la función de pérdida para evitar el sobreajuste.

(5) Regresión del componente principal: reduzca la cantidad de variables independientes y mejore la eficiencia del modelo mediante la reducción de la dimensionalidad. Primero realice un análisis de componentes principales de las variables independientes y luego utilice los componentes principales para realizar la regresión.

(1) Determinar las variables independientes y variables dependientes: Clarificar las cuestiones y objetivos a estudiar.

(2) Recopilar datos: recopilar datos relevantes de variables independientes y variables dependientes.

(3) Seleccionar modelo de regresión: seleccione un modelo apropiado según las características de los datos y los objetivos de la investigación.

(4) Ajuste del modelo: utilice datos para estimar los parámetros del modelo.

(5) Evaluación del modelo: evalúe el efecto de ajuste y la capacidad de predicción del modelo.

(6) Aplicación del modelo: utilice modelos para predicción y análisis.