Si la mayoría de las k muestras más similares (es decir, vecinas más cercanas en el espacio de características) de una muestra pertenecen a una determinada categoría, entonces la muestra también pertenece a esta categoría.

espacio de características

1. Calcule la distancia entre el punto en el conjunto de datos de categoría conocida y el punto actual

2. Organice estas distancias en orden ascendente

3. Seleccione los k puntos con la distancia más pequeña desde el punto actual.

4. Cuente la frecuencia de aparición de la categoría donde se ubican los primeros k puntos (encuentre la moda de las K categorías)

5. Utilice la categoría de modo como categoría del punto actual.

Herramientas de aprendizaje automático que implementan numerosos algoritmos de aprendizaje automático.

sklearn.vecinos.KNeighborsclassfier(n_vecinos)

Las longitudes de las cuerdas son iguales.

Calcular la distancia de la cuerda.

distancia entre dos conjuntos

error de aproximación

error de estimación

Falta de adaptación

sobreajuste

En gran medida afectado por valores atípicos

El modelo es complejo, tiene una gran capacidad de aprendizaje y es propenso a sobreajustarse.

El impacto del desequilibrio muestral es grande

El modelo es simple, tiene poca capacidad de aprendizaje y es propenso a no adaptarse.

concepto de arbol

El papel del árbol kd

1. Seleccione aleatoriamente una característica, tome la mediana de esta característica como punto divisorio para dividir los datos en dos partes iguales. La característica seleccionada es la característica divisoria del nodo actual y el punto mediano se utiliza como nodo actual. En esta característica, los puntos más pequeños que la mediana se clasifican en el nodo izquierdo y los puntos más grandes que la mediana se clasifican en el derecho. nodo;

2. Repita el primer paso para los datos del nodo izquierdo y derecho respectivamente;

3. Hasta que todas las muestras se coloquen en el nodo.

1. Compare el punto de consulta M con las características divisorias y la mediana correspondiente de cada nodo en el árbol kd, y continúe comparando hacia abajo hasta llegar al nodo hoja. Registre en orden los nodos que recorrieron todo el proceso search_path;

2. El nodo al final de search_path es N, no saque N, registre la distancia entre dist = M y N, más cercano = N;

3. Saque un nodo L del final de search_path, el eje divisor de este nodo es x, calcule la distancia a desde el punto M hasta el eje x y luego manéjelo en dos casos:

4. Repita el paso 3 hasta que search_path esté vacío;

5. Más cercano es el punto más cercano al punto de búsqueda y la distancia más cercana es dist.

API: load_* Como: load_iris()

API: fetch_* Como por ejemplo: fetch_20newsgroups(sub_set='train')

Descripción del parámetro: sub_set='train' especifica el tipo de conjunto de datos que se obtendrá

Tipo de datos: datasets.base.Bunch (formato de diccionario)

datos: matriz de datos de características

objetivo: conjunto de etiquetas (valores objetivo)

feature_names: nombres de características

target_names: nombres de etiquetas

llaves() obtiene todos los atributos (campos) del diccionario

Desventajas de la normalización: muy afectada por valores atípicos

API: MinMaxScaler(feature_range)

Función: Convertir datos entre 0 y 1

API: Escalar estándar()

Función: convertir datos a media = 0, std = 1

Divida el conjunto de entrenamiento uniformemente en N partes, tome una parte diferente como conjunto de verificación y la otra parte como conjunto de entrenamiento, entrene y verifique el rendimiento del modelo y utilice el promedio de N veces el rendimiento del modelo como rendimiento del modelo en este conjunto de entrenamiento.

Encuentre la combinación óptima de hiperparámetros.

sklearn.model_selection.GridSearchCV(estimador, param_grid, cv)

Calcule los parámetros óptimos directamente

NOTA: Aplicable sólo a modelos de regresión lineal con pérdida de mínimos cuadrados

Itere continuamente a través de gradientes para encontrar parámetros entrenables óptimos

Métodos generales de optimización.

Función de pérdida El descenso de gradiente es el método de optimización de modelos más común

Aumentar el número de características de los datos.

Agregar términos polinomiales

Limpiar los datos nuevamente

Aumentar la cantidad de datos de entrenamiento.

Regularización

Reducir el número de funciones

Una medida de “caos”

entropía = -p1logp1 - p2logp2 ... pn*log(pn)

La diferencia de entropía antes y después de dividir el conjunto de datos por una determinada característica.

Ganancia de información = entrada (antes) - entrada (después)

Cuanto mayor sea la ganancia de información, mejor será el método de clasificación de esta característica.

Métrica de ganancia de información/información separada

Medida de información de separación = entropía calculada a partir de la probabilidad de ocurrencia de cada categoría de una característica

Valor de Gini: la probabilidad de que dos muestras seleccionadas al azar del conjunto de datos D tengan valores objetivo (etiquetas) inconsistentes

Cuanto menor sea el valor de Gini, mayor será la pureza del conjunto de datos.

Ganancia de Gini = Valor de Gini (antes) - Valor de Gini (después)

Cuanto mayor sea el aumento del valor de Gini, mejor será este método de división.

El número mínimo de muestras contenidas en cada nodo, como 10. Si el número total de muestras en el nodo es inferior a 10, no se realizará ninguna clasificación.

Especifique la altura o profundidad del árbol, por ejemplo, la profundidad máxima del árbol es 4

Si la entropía del nodo especificado es menor que un cierto valor, ya no se dividirá.

El método es similar a la poda previa.

sklearn.feature_extraction.text.CountVectorizer(stop_words=[])

TF: frecuencia de palabras

IDF: frecuencia inversa de documentos

TF-IDF

Participio tartamudo: jieba.cut

poda

bosque aleatorio