Apprentissage des plus proches voisins du sud : principes, implémentation et applications

Table des matières

  1. Introduction
  2. Analyse des principes de l'apprentissage des plus proches voisins du sud

2.1 Idée fondamentale et concepts

2.2 Méthodes de mesure de distance

2.3 Sélection de la valeur K

2.4 Règles de décision pour la classification et la régression

  1. Étapes d'implémentation de l'apprentissage des plus proches voisins du sud

3.1 Préparation des données

3.2 Calcul des distances

3.3 Recherche des K plus proches voisins

3.4 Décision de classification/régression

  1. Mise en pratique : implémentation Python de l'apprentissage des plus proches voisins du sud

4.1 Affichage du code complet

4.2 Analyse et explication du code

4.3 Résultats d'exécution et analyse

  1. Scénarios d'application et études de cas de l'apprentissage des plus proches voisins du sud

5.1 Domaine de la reconnaissance d'images

5.2 Assistance au diagnostic médical

5.3 Construction de systèmes de recommandation

  1. Résumé des avantages et inconvénients de l'apprentissage des plus proches voisins du sud

6.1 Avantages

6.2 Inconvénients

  1. Stratégies d'optimisation et perspectives d'avenir

7.1 Stratégies d'optimisation de l'algorithme

7.2 Tendances futures

  1. Conclusion

1. Introduction

Dans le vaste domaine de l'apprentissage automatique, l'apprentissage basé sur les voisins est un algorithme fondamental et largement appliqué qui a toujours suscité un grand intérêt. Son idée centrale est simple et intuitive : "les objets similaires se rassemblent", en mesurant la distance entre les échantillons pour juger de leur similarité, puis en classant ou en prédisant les échantillons inconnus. Par exemple, dans une tâche de reconnaissance d'images manuscrites, pour identifier une image de chiffre manuscrit, l'algorithme d'apprentissage par voisins rechercherait dans un ensemble d'images déjà étiquetées avec des chiffres, les images dont les caractéristiques sont les plus similaires à l'image à identifier, et jugerait du chiffre de l'image à identifier en fonction de ces étiquettes similaires.

L'apprentissage des plus proches voisins du sud, en tant que branche importante de l'apprentissage par voisins, possède des principes et des avantages uniques. Il hérite de l'idée fondamentale de l'apprentissage par voisins tout en innovant et optimisant des aspects clés tels que la mesure de distance, la sélection des voisins et les règles de décision, afin de s'adapter à des scénarios d'application pratiques plus complexes et variables, jouant un rôle important dans des domaines tels que l'extraction de données, l'intelligence artificielle et la reconnaissance de formes. Cet article analysera en profondeur les principes de l'apprentissage des plus proches voisins du sud et, à travers des implémentations de code spécifiques, aidera les lecteurs à mieux comprendre et maîtriser cet puissant algorithme d'apprentissage automatique.

2. Analyse des principes de l'apprentissage des plus proches voisins du sud

2.1 Idée fondamentale et concepts

L'idée centrale de l'apprentissage des plus proches voisins du sud repose sur l'hypothèse selon laquelle "les échantillons similaires appartiennent à des catégories similaires". Il considère que dans l'espace des caractéristiques, si deux échantillons sont proches en distance, la probabilité qu'ils appartiennent à la même catégorie est élevée. Lors du classemant d'un échantillon inconnu, l'algorithme recherche dans l'ensemble de données d'entraînement existant, par un certain mode de mesure de distance, les échantillons voisins les plus proches de cet échantillon inconnu. Par exemple, dans un problème de classification de fruits, l'ensemble d'entraînement contient des échantillons de pommes, d'oranges, de bananes, etc., chaque échantillon ayant des caractéristiques telles que couleur, forme, taille. Lorsqu'un nouveau fruit inconnu apparaît, l'algorithme calcule la distance de ce nouveau fruit avec tous les échantillons de fruits dans l'ensemble d'entraînement sur ces dimensions de caractéristiques, et trouve les voisins les plus proches. Si la majorité de ces voisins sont des pommes, on tend à classer ce fruit inconnu également comme une pomme. Cette méthode d'inférer la catégorie d'un échantillon inconnu en fonction des catégories des échantillons voisins est la manifestation la plus fondamentale de l'apprentissage des plus proches voisins du sud, elle dépend directement des données d'entraînement elles-mêmes, sans nécessiter de modélisation complexe des données, c'est une méthode d'apprentissage basée sur des instances.

2.2 Méthodes de mesure de distance

Dans l'apprentissage des plus proches voisins du sud, mesurer précisément la distance entre les échantillons est crucial, différentes méthodes de mesure de distance affecteront significativement les performances et les résultats de l'algorithme. Les méthodes de mesure de distance courantes incluent la distance euclidienne, la distance de Manhattan, la distance de Tchebychev, etc.

  • Distance euclidienne : C'est la méthode de mesure de distance la plus courante, elle repose sur le concept de distance en ligne droite entre deux points, la formule est \(d(x,y)=\sqrt{\sum_{i = 1}^{n}(x_i - y_i)^2}\), où \(x=(x_1,x_2,\cdots,x_n)\) et \(y=(y_1,y_2,\cdots,y_n)\) sont deux points d'échantillon, \(n\) est la dimension des caractéristiques. Par exemple, dans un plan bidimensionnel, la distance euclidienne entre le point \(A(1,2)\) et le point \(B(4,6)\) est \(\sqrt{(4 - 1)^2+(6 - 2)^2}=\sqrt{9 + 16}=5\). La distance euclidienne convient aux scénarios où la distribution des données est relativement uniforme, les dimensions des caractéristiques sont indépendantes mutuellement et les unités sont les mêmes, comme dans la reconnaissance d'images, où le calcul de la similarité entre les vecteurs de caractéristiques d'images normalisées, la distance euclidienne peut refléter bien le degré de similarité entre les échantillons.
  • Distance de Manhattan : Aussi appelée distance de ville, elle calcule la somme des distances absolues sur chaque axe de coordonnées entre deux points, la formule est \(d(x,y)=\sum_{i = 1}^{n}|x_i - y_i|\). En continuant avec les points \(A(1,2)\) et \(B(4,6)\) dans le plan bidimensionnel mentionné précédemment, la distance de Manhattan entre eux est \(|4 - 1|+|6 - 2|=3 + 4 = 7\). La distance de Manhattan convient mieux aux données ayant une structure en grille ou aux situations où les dimensions des caractéristiques sont fortement corrélées, par exemple dans la planification des routes urbaines, car les routes sont généralement un réseau de croisements verticaux et horizontaux, le calcul de la distance de déplacement réelle entre deux points, la distance de Manhattan est plus conforme à la situation réelle que la distance euclidienne.
  • Distance de Tchebychev : Définie comme la plus grande distance absolue sur chaque axe de coordonnées entre deux points, la formule est \(d(x,y)=\max_{i = 1}^{n}|x_i - y_i|\). Supposons que les points \(A(1,2)\) et \(B(4,9)\), la distance de Tchebychev entre eux est \(\max(|4 - 1|,|9 - 2|)=7\). La distance de Tchebychev est souvent utilisée dans les scénarios qui s'intéressent à la dimension de la plus grande différence entre les échantillons, par exemple aux échecs internationaux, le nombre minimal de coups pour que le roi se déplace d'une case à une autre peut être mesuré par la distance de Tchebychev, car le roi peut se déplacer d'une case horizontalement, verticalement ou en diagonale à chaque fois, l'attention se porte sur la valeur maximale de la distance de déplacement dans chaque direction.

2.3 Sélection de la valeur K

Dans l'algorithme d'apprentissage des plus proches voisins du sud, la valeur \(K\) (c'est-à-dire le nombre de voisins sélectionnés) est un hyperparamètre clé qui a un impact crucial sur les performances de l'algorithme. Lorsque la valeur \(K\) est trop petite, le modèle devient très sensible aux données d'entraînement, facilement affecté par le bruit et les valeurs aberrantes, conduisant à un phénomène de surapprentissage. Par exemple, dans une tâche de reconnaissance de chiffres manuscrits, si \(K = 1\), le modèle ne juge que de la catégorie de l'échantillon d'entraînement le plus proche de l'image du chiffre à identifier. Si cet échantillon le plus proche se trouve être un échantillon de bruit mal étiqueté, cela entraînera une erreur dans le résultat de reconnaissance, le modèle ne peut pas bien se généraliser à de nouvelles données.

Au contraire, lorsque la valeur \(K\) est trop grande, le modèle devient trop lisse, il peut ignorer les caractéristiques locales et les détails dans les données, produisant ainsi un problème de sous-apprentissage. Par exemple, dans une tâche de classification d'images contenant de nombreuses espèces de fleurs, si \(K\) est trop grand, il peut classer certaines fleurs qui appartiennent initialement à des catégories différentes dans la même catégorie, car avec une valeur \(K\) plus grande, la plage des échantillons voisins devient très large, les différences entre les échantillons de différentes catégories sont moyennées, rendant difficile pour le modèle de distinguer avec précision les données de différentes catégories.

Pour déterminer une valeur \(K\) appropriée, on utilise généralement des méthodes d'ajustement. La validation croisée est un moyen couramment utilisé, elle divise l'ensemble de données en plusieurs sous-ensembles, par des entraînements et des tests multiples, utilise différentes valeurs \(K\) et calcule les indicateurs de performence correspondants du modèle (tels que la précision, le rappel, etc.), et sélectionne finalement la valeur \(K\) qui optimise les indicateurs de performance. Par exemple, diviser l'ensemble de données en 5 plis, utiliser 4 plis comme ensemble d'entraînement et 1 pli comme ensemble de test à chaque fois, expérimenter avec différentes valeurs \(K\) (comme \(K = 3, 5, 7, 9\cdots\) ), enregistrer la précision du modèle sur l'ensemble de test pour chaque valeur \(K\), et sélectionner la valeur \(K\) correspondant à la précision la plus élevée comme hyperparamètre final. De plus, la recherche en grille est également une méthode efficace, elle effectue une recherche exhaustive dans une plage prédéfinie de valeurs \(K\), essaie toutes les combinaisons possibles de \(K\), et détermine la valeur \(K\) optimale en comparant les performances du modèle sur l'ensemble de validation.

2.4 Règles de décision pour la classification et la régression

L'algorithme d'apprentissage des plus proches voisins du sud peut être appliqué à la fois aux tâches de classification et aux tâches de régression, avec différentes règles de décision pour différents types de tâches.

  • Tâches de classification : Dans les tâches de classification, l'apprentissage des plus proches voisins du sud utilise généralement la méthode de vote majoritaire pour déterminer la catégorie d'un échantillon inconnu. C'est-à-dire, pour un échantillon à classer, après avoir trouvé ses \(K\) échantillons voisins les plus proches, on compte le nombre de fois que chaque catégorie apparaît parmi ces voisins, et on classe l'échantillon à classer dans la catégorie la plus fréquente. Par exemple, dans une tâche de classification d'e-mails, l'ensemble d'entraînement contient deux types d'échantillons : les spams et les e-mails normaux. Pour un nouvel e-mail à classer, on trouve ses \(K = 5\) voisins les plus proches en calculant les distances, si parmi ces 5 voisins, 3 sont des spams et 2 sont des e-mails normaux, alors selon la méthode de vote majoritaire, ce nouvel e-mail est classé comme spam.
  • Tâches de régression : Dans les tâches de régression, l'apprentissage des plus proches voisins du sud prédit généralement la valeur numérique d'un échantillon inconnu en calculant la moyenne ou d'autres statistiques des valeurs cibles des échantillons voisins. Par exemple, dans une tâche de prévision de prix de l'immobilier, pour un nouvel échantillon de maison, après avoir trouvé ses \(K\) maisons voisines les plus proches, on calcule la moyenne des prix réels de ces maisons voisines, et cette moyenne est utilisée comme valeur prévue du prix de la nouvelle maison. En plus de la moyenne, selon les besoins réels, on peut aussi utiliser la médiane ou la moyenne pondérée. Si certains échantillons voisins sont plus similaires à l'échantillon à prédire en termes de caractéristiques, on peut leur attribuer un poids plus élevé, calculer la moyenne pondérée comme résultat prévu, afin d'améliorer la précision de la prédiction.

3. Étapes d'implémentation de l'apprentissage des plus proches voisins du sud

3.1 Préparation des données

Lors de l'implémentation de l'algorithme d'apprentissage des plus proches voisins du sud, la préparation des données est la première et une étape cruciale. Nous prenons l'exemple classique de l'ensemble de données Iris pour détailler ce processus. L'ensemble de données Iris est un ensemble de classification multi-classe contenant 150 échantillons, chaque échantillon a 4 caractéristiques (longueur du sépale, largeur du sépale, longueur du pétale, largeur du pétale), appartenant à 3 variétés différentes d'iris.

Premièrement, nous devons obtenir cet ensemble de données. En Python, nous pouvons charger facilement l'ensemble de données Iris à l'aide de la bibliothèque scikit-learn, le code est le suivant :

from sklearn.datasets import load_iris

# Charger l'ensemble de données Iris
iris = load_iris()
donnees_caracteristiques = iris.data
etiquettes = iris.target

Dans le code ci-dessus, la fonction load_iris() est utilisée pour charger l'ensemble de données Iris, l'objet iris retourné est similaire à un dictionnaire, où iris.data contient les données de caractéristiques des échantillons, stockées dans un tableau bidimensionnel de forme (150, 4), chaque ligne représente un échantillon, chaque colonne correspond à une caractéristique ; iris.target contient les étiquettes de catégorie réelles des échantillons, stockées dans un tableau unidimensionnel, avec des valeurs de 0, 1, 2, correspondant respectivement aux 3 variétés d'iris.

Après avoir obtenu les données, un travail de nettoyage est généralement nécessaire pour assurer la qualité et l'utilisabilité des données. Bien que l'ensemble de données Iris soit relativement propre, sans valeurs manquantes ni valeurs aberrantes évidentes, dans de nombreuses applications réelles, les ensembles de données présentent divers problèmes. Par exemple, pour les valeurs manquantes, on peut utiliser le remplissage par la moyenne, la médiane ou des algorithmes d'apprentissage automatique plus complexes pour prédire et remplir ; pour les valeurs aberrantes, on peut les identifier via des méthodes comme les diagrammes en boîte, le Z-score, et selon les具体情况 choisir de les supprimer, de les corriger ou de les traiter séparément.

Après le nettoyage des données, il est nécessaire de diviser l'ensemble de données en ensembles d'entraînement et de test. L'ensemble d'entraînement est utilisé pour entraîner le modèle, lui permettant d'apprendre les modèles et les régularités dans les données ; l'ensemble de test est utilisé pour évaluer les performances du modèle, vérifiant sa capacité de généralisation à de données inconnues. Généralement, on divise selon des proportions de 70%-30% ou 80%-20%. On utilise la fonction train_test_split de la bibliothèque scikit-learn pour réaliser cette division, le code est le suivant :

from sklearn.model_selection import train_test_split

# Diviser en ensemble d'entraînement et de test, test_size=0.3 signifie que l'ensemble de test représente 30%
X_entrainement, X_test, y_entrainement, y_test = train_test_split(donnees_caracteristiques, etiquettes, test_size=0.3, random_state=42)

Dans ce code, la fonction train_test_split reçoit les données de caractéristiques X, les données d'étiquettes y comme entrée, le paramètre test_size spécifie la proportion de l'ensemble de test à 0,3, c'est-à-dire que 30% des données sont utilisées pour le test, 70% pour l'entraînement ; le paramètre random_state définit la graine aléatoire, garantissant que les résultats de division sont les mêmes à chaque exécution du code, facilitant la reproductibilité et la comparaison des expériences. Après cette étape, nous obtenons les caractéristiques de l'ensemble d'entraînement X_entrainement, les étiquettes de l'ensemble d'entraînement y_entrainement, les caractéristiques de l'ensemble de test X_test et les étiquettes de l'ensemble de test y_test, préparant ainsi le terrain pour l'entraînement et l'évaluation ultérieurs du modèle.

3.2 Calcul des distances

Dans l'apprentissage des plus proches voisins du sud, le calcul des distances est une étape clé pour déterminer la similarité entre les échantillons. Ici, nous prenons la distance euclidienne comme exemple et donnons un exemple de code Python pour calculer les distances entre les échantillons. Supposons deux points d'échantillon x1 et x2, leurs dimensions de caractéristiques sont identiques, voici le code pour calculer la distance euclidienne entre eux :

import numpy as np

def distance_euclidienne(point1, point2):
    return np.sqrt(np.sum((point1 - point2) ** 2))

# Exemples de points d'échantillon
echantillon1 = np.array([1, 2, 3])
echantillon2 = np.array([4, 5, 6])
distance = distance_euclidienne(echantillon1, echantillon2)
print(f"Distance euclidienne: {distance}")

L'analyse logique du code est la suivante :

  • On définit d'abord une fonction distance_euclidienne, qui reçoit deux paramètres point1 et point2, ces paramètres sont des tableaux numpy unidimensionnels représentant des points d'échantillon.
  • À l'intérieur de la fonction, (point1 - point2) ** 2 calcule les carrés des différences sur les dimensions correspondantes entre les deux points d'échantillon, obtenant un tableau unidimensionnel de même dimension que les points d'échantillon. Par exemple, si point1 = [1, 2, 3], point2 = [4, 5, 6], alors (point1 - point2) ** 2 donne [9, 9, 9].
  • np.sum((point1 - point2) ** 2) fait la somme du tableau des carrés des différences, obtenant une valeur scalaire, c'est-à-dire la somme totale des carrés des différences sur toutes les dimensions. Dans l'exemple ci-dessus, le résultat de la somme est 27.
  • Enfin, np.sqrt(np.sum((point1 - point2) ** 2)) prend la racine carrée du résultat de la somme, ce qui est la distance euclidienne entre les deux points d'échantillon. Dans cet exemple, la distance euclidienne est sqrt(27) ≈ 5.196.

Dans les applications réelles, pour chaque échantillon de l'ensemble d'entraînement, il est nécessaire de calculer sa distance avec tous les autres échantillons (ou les échantillons à prédire), ce qui se fait généralement dans une structure de boucle en appelant la fonction de calcul de distance ci-dessus, afin de construire une matrice de distance, fournissant les données de base pour la recherche des K plus proches voisins ultérieure.

3.3 Recherche des K plus proches voisins

Après avoir calculé les distances, l'étape suivante consiste à trouver les K voisins les plus proches de chaque échantillon. Une méthode simple et directe consiste à trier la matrice de distances obtenue, puis à sélectionner les K échantillons avec la plus petite distance comme voisins. En Python, on peut utiliser la fonction argsort de la bibliothèque numpy pour réaliser le tri, un exemple de code est le suivant :

import numpy as np

def trouver_k_voisins_proches(distances, k):
    # Trier les distances et retourner les indices triés
    indices_tries = np.argsort(distances)
    # Sélectionner les indices des K plus proches voisins
    indices_k_voisins = indices_tries[:k]
    return indices_k_voisins

# Exemple de tableau de distances, supposons que les distances entre chaque échantillon et un échantillon ont déjà été calculées
distances = np.array([3.5, 1.2, 4.7, 2.1, 0.8])
k = 3
indices_proches = trouver_k_voisins_proches(distances, k)
print(f"Indices des {k} voisins les plus proches: {indices_proches}")

Dans le code ci-dessus, la fonction trouver_k_voisins_proches reçoit le tableau de distances distances et le nombre de voisins k comme paramètres. np.argsort(distances) trie le tableau de distances et retourne les indices triés, plutôt que les valeurs de distance elles-mêmes. Par exemple, pour le tableau de distances [3.5, 1.2, 4.7, 2.1, 0.8], np.argsort(distances) retourne le tableau d'indices [4, 1, 3, 0, 2], indiquant que l'échantillon avec la plus petite distance est l'indice 4, le suivant est l'indice 1, et ainsi de suite. Ensuite, par l'opération de tranche [:k], on sélectionne les k premiers indices, obtenant les indices des k voisins les plus proches.

Lorsque l'ensemble de données est grand, la méthode de balayage linéaire et de tri consomme beaucoup de ressources et est peu efficace. Pour optimiser le processus de recherche, on peut utiliser la structure de données KD-arbre (K-Dimensional Tree). Le KD-arbre est une structure de données arborescente pour stocker et récupérer rapidement des instances dans un espace à k dimensions, il divise continuellement l'espace à k dimensions avec des hyperplans perpendiculaires aux axes de coordonnées, formant une série de régions de rectangles hyperdimensionnels, chaque nœud correspondant à une région de rectangle hyperdimensionnel. Lors de la recherche des K plus proches voisins dans un KD-arbre, on peut utiliser la structure de l'arbre pour exclure rapidement la plupart des points qui ne peuvent pas être des voisins proches, réduisant ainsi le nombre de calculs de distance, améliorant considérablement l'efficacité de recherche. Dans la bibliothèque scikit-learn, la classe KDTree a déjà implémenté la construction et la recherche de voisins proches du KD-arbre, on peut l'appeler facilement. Un exemple d'utilisation est le suivant :

from sklearn.neighbors import KDTree
import numpy as np

# Exemple de données d'entraînement
donnees_entrainement = np.array([[1, 2], [3, 4], [5, 6], [7, 8], [9, 10]])

# Construire le KD-arbre
arbre = KDTree(donnees_entrainement)

# Exemple de point à interroger
point_interroge = np.array([4, 5])
k = 3

# Rechercher les K plus proches voisins
distances, indices = arbre.query([point_interroge], k=k)
print(f"Distances des {k} voisins les plus proches: {distances[0]}")
print(f"Indices des {k} voisins les plus proches: {indices[0]}")

Dans le code ci-dessus, on utilise d'abord la classe KDTree pour construire un KD-arbre selon les données d'entraînement donnees_entrainement. Ensuite, pour un point donné à interroger point_interroge, on appelle la méthode query pour rechercher ses k voisins les plus proches, la méthode query retourne deux tableaux, distances représente la distance de chaque point interrogé à ses voisins proches, indices représente les indices des voisins proches dans les données d'entraînement. De cette manière, le processus de recherche des K plus proches voisins est optimisé en utilisant le KD-arbre, améliorant l'efficacité de l'algorithme sur de grandes masses de données.

3.4 Décision de classification/régression

Après avoir terminé la recherche des K plus proches voisins, il est nécessaire de prendre une décision basée sur les résultats des K plus proches voisins pour réaliser les tâches de classification ou de régression.

Pour les tâches de classification, on utilise généralement la méthode de vote majoritaire. Voici un exemple de code Python simple pour implémenter la décision de classification :

def vote_majoritaire(etiquettes):
    from collections import Counter
    # Compter le nombre d'occurrences de chaque catégorie
    compteur = Counter(etiquettes)
    # Retourner la catégorie la plus fréquente
    return compteur.most_common(1)[0][0]

# Exemple d'étiquettes des K plus proches voisins
etiquettes_k_voisins = [0, 1, 0, 0, 2]
categorie_predite = vote_majoritaire(etiquettes_k_voisins)
print(f"Catégorie prédite: {categorie_predite}")

Dans le code ci-dessus, la fonction vote_majoritaire reçoit une liste d'étiquettes contenant les étiquettes des K plus proches voisins. À l'intérieur de la fonction, on utilise la classe collections.Counter pour compter le nombre d'occurrences de chaque étiquette, Counter.most_common(1) retourne une liste composée de l'élément le plus fréquent et de son nombre d'occurrences, [0][0] extrait cette étiquette la plus fréquente, la retournant comme catégorie prédite.

Pour les tâches de régression, on prédit généralement en calculant la moyenne des valeurs cibles des K plus proches voisins. Voici un exemple de code pour la décision de régression :

def prediction_moyenne(valeurs):
    return np.mean(valeurs)

# Exemple de valeurs cibles des K plus proches voisins
valeurs_k_voisins = [2.5, 3.1, 2.8, 3.3, 2.9]
valeur_predite = prediction_moyenne(valeurs_k_voisins)
print(f"Valeur prédite: {valeur_predite}")

Dans ce code, la fonction prediction_moyenne reçoit une liste de valeurs contenant les valeurs cibles des K plus proches voisins, utilise la fonction np.mean pour calculer la moyenne de ces valeurs, la retournant comme valeur prédite. À travers ces méthodes de décision, combinées aux étapes précédentes de préparation des données, calcul des distances et recherche des K plus proches voisins, on complète l'implémentation de l'algorithme d'apprentissage des plus proches voisins du sud pour les tâches de classification et de régression.

4. Mise en pratique : implémentation Python de l'apprentissage des plus proches voisins du sud

4.1 Affichage du code complet

Voici un code complet implémentant l'apprentissage des plus proches voisins du sud (pour une tâche de classification) basé sur Python et la bibliothèque scikit-learn :

from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.neighbors import KNeighborsClassifier
from sklearn.metrics import accuracy_score

# 1. Préparation des données
iris = load_iris()
caracteristiques = iris.data
categories = iris.target
X_entrainement, X_test, y_entrainement, y_test = train_test_split(caracteristiques, categories, test_size=0.3, random_state=42)

# 2. Entraînement du modèle
# Créer un classifieur KNN, n_neighbors=5 signifie que K=5
classifieur_knn = KNeighborsClassifier(n_neighbors=5)
classifieur_knn.fit(X_entrainement, y_entrainement)

# 3. Prédiction du modèle
y_pred = classifieur_knn.predict(X_test)

# 4. Évaluation du modèle
precision = accuracy_score(y_test, y_pred)
print(f"Précision du modèle sur l'ensemble de test: {precision * 100:.2f}%")

4.2 Analyse et explication du code

Explication ligne par ligne du code et de sa logique d'implémentation :

  • Partie de préparation des données :
    • from sklearn.datasets import load_iris : Importer depuis la bibliothèque scikit-learn la fonction load_iris pour charger l'ensemble de données Iris.
    • from sklearn.model_selection import train_test_split : Importer la fonction train_test_split utilisée pour diviser l'ensemble de données.
    • iris = load_iris() : Charger l'ensemble de données Iris, retourner un objet contenant des données et des étiquettes.
    • caracteristiques = iris.data : Extraire les données de caractéristiques de l'ensemble de données, stockées dans caracteristiques, de forme (150, 4), indiquant 150 échantillons, chaque échantillon ayant 4 caractéristiques.
    • categories = iris.target : Extraire les étiquettes de catégorie réelles de l'ensemble de données, stockées dans categories, de forme (150,), chaque élément correspondant à la catégorie d'un échantillon.
    • X_entrainement, X_test, y_entrainement, y_test = train_test_split(caracteristiques, categories, test_size=0.3, random_state=42) : Diviser l'ensemble de données selon la proportion 70% ensemble d'entraînement, 30% ensemble de test, random_state=42 définit la graine aléatoire, garantissant que les résultats de division sont les mêmes à chaque exécution du code.
  • Partie d'entraînement du modèle :
    • from sklearn.neighbors import KNeighborsClassifier : Importer depuis scikit-learn le classifieur KNN KNeighborsClassifier.
    • classifieur_knn = KNeighborsClassifier(n_neighbors=5) : Créer un objet classifieur KNN, définir n_neighbors=5, c'est-à-dire sélectionner 5 voisins les plus proches pour la décision de classification.
    • classifieur_knn.fit(X_entrainement, y_entrainement) : Utiliser les données d'entraînement X_entrainement et les étiquettes y_entrainement pour entraîner le classifieur KNN, le modèle apprendra les modèles et les régularités dans les données.
  • Partie de prédiction du modèle :
    • y_pred = classifieur_knn.predict(X_test) : Utiliser le classifieur KNN entraîné pour prédire les données de l'ensemble de test X_test, obtenir les étiquettes de catégorie prédites y_pred.
  • Partie d'évaluation du modèle :
    • from sklearn.metrics import accuracy_score : Importer depuis scikit-learn la fonction accuracy_score pour calculer la précision.
    • precision = accuracy_score(y_test, y_pred) : Calculer la précision entre les résultats de prédiction y_pred et les étiquettes réelles y_test, c'est-à-dire le ratio du nombre d'échantillons correctement prédits au nombre total d'échantillons.
    • print(f"Précision du modèle sur l'ensemble de test: {precision * 100:.2f}%") : Afficher la précision du modèle sur l'ensemble de test, conserver deux décimales et convertir en forme de pourcentage.

4.3 Résultats d'exécution et analyse

En exécutant le code ci-dessus, le résultat de sortie est le suivant :

Précision du modèle sur l'ensemble de test: 97.78%

Cela indique que la précision de classification du modèle sur l'ensemble de test atteint 97.78%, montrant de bonnes performances du modèle. Une haute précision signifie que le modèle peut classer avec précision les échantillons inconnus, performant bien sur l'ensemble de données Iris. Cependant, évaluer le modèle uniquement par la précision n'est pas suffisant, on peut combiner d'autres indicateurs comme la précision, le rappel, la valeur F1 pour une évaluation plus approfondie de l'effet de classification du modèle sur différents types d'échantillons. Par exemple, si l'ensemble de données présente un déséquilibre de catégories, la précision peut masquer le problème d'une capacité de classification insuffisante pour les échantillons de minorité, où la précision et le rappel peuvent fournir des informations plus précieuses. En même temps, dans les applications réelles, on peut utiliser des méthodes comme la validation croisée pour évaluer davantage la capacité de généralisation du modèle, ensuring qu'il maintienne des performances stables sous différentes divisions de données.

5. Scénarios d'application et études de cas de l'apprentissage des plus proches voisins du sud

5.1 Domaine de la reconnaissance d'images

Dans le domaine de la reconnaissance d'images, l'apprentissage des plus proches voisins du sud a des applications larges et importantes, la reconnaissance de chiffres manuscrits en est un exemple représentatif. L'ensemble de données MNIST est couramment utilisé dans la reconnaissance de chiffres manuscrits, il contient 60 000 images d'entraînement et 10 000 images de test, ces images sont des images en niveaux de gris de chiffres manuscrits de 28x28 pixels, les chiffres allant de 0 à 9.

Lors de l'utilisation de l'algorithme d'apprentissage des plus proches voisins du sud pour la reconnaissance de chiffres manuscrits, on d'abord pré-traite les données, convertissant les données d'images en vecteurs de caractéristiques. Comme les images sont de 28x28 pixels, on peut développer chaque image en un vecteur unidimensionnel de 784 dimensions (28x28 = 784), chaque élément du vecteur correspondant à la valeur de gris d'un pixel de l'image. On divise ensuite l'ensemble de données en ensembles d'entraînement et de test, l'ensemble d'entraînement est utilisé pour entraîner le modèle d'apprentissage des plus proches voisins du sud, l'ensemble de test pour évaluer les performances du modèle.

Pendant le processus d'entraînement, le modèle calculera le vecteur de caractéristiques de chaque image de chiffre manuscrit dans l'ensemble de test avec tous les vecteurs de caractéristiques d'images dans l'ensemble d'entraînement (par exemple en utilisant la distance euclidienne), trouvant les K voisins les plus proches. Selon les étiquettes de ces K voisins, on utilise la méthode de vote majoritaire pour prédire la catégorie de chiffre correspondant à l'image de test. Supposons K = 5, pour une image de chiffre manuscrit à identifier, on trouve ses 5 images voisines les plus proches dans l'ensemble d'entraînement, si parmi ces 5 voisins, 3 correspondent au chiffre "3", 1 au "2", 1 au "4", alors le modèle prédira que cette image de test correspond au chiffre "3".

Par vérification expérimentale, sur l'ensemble de données MNIST, l'algorithme d'apprentissage des plus proches voisins du sud avec un réglage approprié peut atteindre une haute précision de reconnaissance, bien qu'il puisse ne pas être aussi performant que certains modèles d'apprentissage profond complexe (comme les réseaux de neurones convolutifs), il possède les avantages d'un principe simple, facile à comprendre et à implémenter, et peut encore fournir des résultats de reconnaissance fiables dans des situations avec un petit volume de données et des ressources de calcul limitées. En même temps, il fournit une base pour une compréhension plus approfondie des problèmes de classification de modèles dans la reconnaissance d'images, de nombreux algorithmes de reconnaissance d'images complexes s'inspirent également des idées de l'apprentissage par voisins, réalisant la classification décisionnelle en trouvant des modèles similaires.

5.2 Assistance au diagnostic médical

Dans le domaine médical, l'apprentissage des plus proches voisins du sud peut aider au diagnostic des maladies en analysant les symptômes des patients et les données de cas historiques, fournissant aux médecins des informations de référence précieuses. Prenons le diagnostic du diabète comme exemple, en collectant un grand nombre de données de patients diabétiques et non diabétiques, ces données incluent des informations multidimensionnelles telles que l'âge, le sexe, le poids, la taille, le niveau de sucre dans le sang, la tension artérielle, les antécédents familiaux, etc.

On utilise ces données comme ensemble d'entraînement pour construire un modèle d'apprentissage des plus proches voisins du sud. Lorsqu'un nouveau patient se présente à la consultation, on collecte les données de caractéristiques correspondantes du patient, les entrant comme échantillon de test dans le modèle. Le modèle calculera la distance entre cet échantillon de test et tous les échantillons de l'ensemble d'entraînement (par exemple en utilisant la distance de Manhattan, car les données médicales peuvent avoir différentes importances et unités de mesure pour différentes caractéristiques, la distance de Manhattan peut parfois mieux refléter les différences entre les échantillons dans ce cas), trouvant les K voisins les plus proches.

Selon les catégories de maladie (diabète ou non) de ces K voisins, on utilise la méthode de vote majoritaire pour prédire la probabilité que le nouveau patient ait le diabète. Si la majorité des K voisins sont des patients diabétiques, le modèle indiquera au médecin que le risque de diabète pour ce patient est élevé ; au contraire, si la majorité sont des patients non diabétiques, il indiquera un risque de maladie plus faible.

À travers l'analyse d'un grand nombre de cas réels, le modèle d'apprentissage des plus proches voisins du sud peut atteindre une certaine précision dans l'assistance au diagnostic du diabète. Il peut aider les médecins à juger rapidement de l'état de santé des patients, en particulier face à des symptômes complexes et des diagnostics incertains, fournissant aux médecins plus de pistes de diagnostic et de références. En même temps, en combinant d'autres techniques de diagnostic médical et l'expérience professionnelle des médecins, on peut améliorer l'exactitude et la fiabilité du diagnostic, fournissant un soutien solide pour le traitement et la gestion de santé des patients.

5.3 Construction de systèmes de recommandation

Dans la construction de systèmes de recommandation, l'apprentissage des plus proches voisins du sud peut être utilisé pour calculer la similarité entre les utilisateurs ou les articles, réalisant ainsi des recommandations personnalisées, fournissant aux utilisateurs un contenu ou des produits plus conformes à leurs intérêts et besoins. Prenons le système de recommandation de commerce électronique comme exemple, supposons qu'il y a une plateforme de commerce électronique possédant un grand nombre d'enregistrements d'achat d'utilisateurs et d'informations sur les produits.

Pour le calcul de similarité entre utilisateurs, on convertit l'historique d'achat de chaque utilisateur en un vecteur, les dimensions du vecteur peuvent être les catégories de produits ou les ID de produits spécifiques, les éléments du vecteur représentant le nombre d'achats, les évaluations ou les comportements de navigation de l'utilisateur pour les produits correspondants. Grâce à l'algorithme d'apprentissage des plus proches voisins du sud, on calcule la similarité entre différents vecteurs d'utilisateurs (par exemple en utilisant la similarité cosinus, qui peut mesurer le degré de similarité en direction entre deux vecteurs, adapté au traitement de vecteurs d'intérêt utilisateur avec de nombreuses dimensions et plages de valeurs différentes). On trouve les utilisateurs K les plus similaires à l'utilisateur cible, puis selon les enregistrements d'achat de ces utilisateurs similaires, on recommande à l'utilisateur cible les produits qu'ils ont achetés mais que l'utilisateur cible n'a pas encore achetés. Par exemple, les utilisateurs A et B ont une similarité cosinus très élevée dans leurs vecteurs d'historique d'achat, l'utilisateur B a acheté une nouvelle montre intelligente, tandis que l'utilisateur A n'en a pas acheté, alors la plateforme de commerce électronique peut recommander cette montre intelligente à l'utilisateur A.

Pour le calcul de similarité entre articles, on convertit également chaque produit en un vecteur de caractéristiques, les éléments du vecteur pouvant être les attributs, les catégories, les plages de prix, les évaluations des utilisateurs, etc. Grâce à l'apprentissage des plus proches voisins du sud, on calcule la similarité entre les produits, lorsque l'utilisateur consulte ou achète un produit, on recommande à l'utilisateur d'autres produits similaires à ce produit. Par exemple, un utilisateur recherche une paire de chaussures de sport, le système calcule qu'une autre paire de chaussures de sport de la même marque, du même type mais d'une couleur différente a une similarité très élevée avec la recherche de l'utilisateur, alors elle peut être recommandée à l'utilisateur.

À travers des applications réelles et l'analyse de données, les systèmes de recommandation construits en utilisant l'apprentissage des plus proches voisins du sud peuvent améliorer efficacement l'exactitude et la satisfaction des utilisateurs, augmenter le taux d'interaction et de conversion d'achat entre les utilisateurs et la plateforme, apportant de meilleurs avantages économiques et expérience utilisateur aux plateformes de commerce électronique.

6. Résumé des avantages et inconvénients de l'apprentissage des plus proches voisins du sud

6.1 Avantages

  • Simple et facile à comprendre : Les principes et le processus d'implémentation de l'apprentissage des plus proches voisins du sud sont intuitifs, leur idée centrale basée sur "les échantillons similaires ont des catégories similaires" est facile à comprendre, ne nécessitant pas de modèles mathématiques complexes et de dérivations théoriques. Même pour les débutants dans le domaine de l'apprentissage automatique, ils peuvent rapidement maîtriser ses concepts de base et méthodes d'application. Par exemple, dans l'exemple de classification de fruits mentionné précédemment, juger de la catégorie d'un fruit inconnu en calculant la distance entre les caractéristiques des échantillons de fruits est très intuitif, facilement accepté par le grand public.
  • Pas besoin d'estimation de paramètres : Contrairement à de nombreux autres algorithmes d'apprentissage automatique, l'apprentissage des plus proches voisins du sud n'a pas besoin d'effectuer d'hypothèses sur la distribution des données, ni d'estimer des paramètres de modèle complexes. Il utilise directement les instances de l'ensemble de données d'entraînement pour la décision de classification ou de régression, évitant le biais du modèle dû à une estimation de paramètres inexacte. Par exemple, dans le cas d'assistance au diagnostic du diabète, on juge directement du risque de maladie en fonction des données de caractéristiques du patient et de la distance avec les échantillons de l'ensemble d'entraînement, sans nécessiter de modélisation paramétrique complexe des données.
  • Adapté aux problèmes de classification multi-classe : Qu'il s'agisse de classification binaire ou multi-classe, l'apprentissage des plus proches voisins du sud peut y faire face efficacement. Pendant le processus de classification, par la méthode de vote majoritaire, selon la fréquence d'apparition des catégories des échantillons K voisins, on détermine la catégorie de l'échantillon inconnu, pouvant bien gérer des ensembles de données avec plusieurs catégories. Comme dans la tâche de classification de l'ensemble de données Iris, l'algorithme d'apprentissage des plus proches voisins du sud peut classer avec précision les iris en 3 variétés différentes.
  • Fort adaptation à la distribution des données : Il ne dépend pas d'hypothèses spécifiques sur la distribution des données, peut traiter diverses situations de distribution de données complexes. Dans les applications réelles, les données ont souvent des distributions irrégulières, l'algorithme d'apprentissage des plus proches voisins du sud peut juger selon les relations de distance réelles entre les échantillons, sans être limité par la forme de distribution des données, ayant une forte capacité de généralisation.

6.2 Inconvénients

  • Grand volume de calcul : Dans l'apprentissage des plus proches voisins du sud, chaque fois qu'on classe ou prédit un échantillon inconnu, il faut calculer sa distance avec tous les échantillons de l'ensemble d'entraînement, et trier pour trouver les K plus proches voisins. Lorsque l'ensemble de données d'entraînement est de grande taille, le volume de calcul augmente rapidement, conduisant à un temps de longue exécution et à une faible efficacité de l'algorithme. Par exemple, dans une tâche de reconnaissance d'images, si l'ensemble d'entraînement contient un grand nombre d'échantillons d'images, calculer la distance entre chaque nouvelle image et chaque image d'entraînement consomme beaucoup de ressources de calcul et de temps.
  • Sensible aux valeurs des caractéristiques : Les performances de l'algorithme dépendent grandement des valeurs des caractéristiques des données. Si les données contiennent du bruit, des valeurs aberrantes ou des problèmes d'échelle de caractéristiques incohérents, cela peut affecter gravement le calcul des distances entre les échantillons, affectant ainsi l'exactitude de la classification ou de la régression. Par exemple, dans une tâche de prévision de prix de l'immobilier, si l'ensemble de données mélange des données de superficie de maisons mal étiquetées (valeurs aberrantes), cela peut entraîner de grands écarts dans la prédiction des prix par le modèle d'apprentissage des plus proches voisins du sud.
  • Fortement influencé par la distribution des données : L'apprentissage des plus proches voisins du sud suppose que dans l'espace des caractéristiques, les échantillons proches en distance ont des catégories similaires. Cependant, lorsque la distribution des données est non uniforme, certains problèmes peuvent apparaître. Par exemple, dans certains ensembles de données, certains échantillons de catégories peuvent être très dispersés dans l'espace, tandis que d'autres sont relativement denses. À ce moment, pour les échantillons dans les régions dispersées, leurs K voisins peuvent provenir en grande partie d'autres catégories de régions denses, conduisant à des erreurs de classification.
  • Élevés besoins de stockage : Il est nécessaire de stocker l'ensemble de données d'entraînement entier, afin de calculer les distances lors de la prédiction. Pour les grands ensembles de données, cela occupera beaucoup d'espace mémoire, posant des exigences élevées sur les équipements de stockage matériel. Par exemple, dans les systèmes de recommandation de commerce électronique, à mesure que les données d'utilisateurs et de produits s'accumulent, l'espace de stockage nécessaire pour ces données augmente continuellement, pouvant exercer une pression de stockage sur le système.

7. Stratégies d'optimisation et perspectives d'avenir

7.1 Stratégies d'optimisation de l'algorithme

Pour améliorer l'efficacité et les performances de l'apprentissage des plus proches voisins du sud, diverses stratégies d'optimisation peuvent être adoptées. Pour accélérer la recherche de voisins proches, le KD-arbre est une structure de données efficace, il divise récursivement l'espace à k dimensions en régions de rectangles hyperdimensionnels, construisant une structure arborescente. Lors de la construction du KD-arbre, on choisit la dimension avec la plus grande variance pour la division, garantissant la dispersion des données, généralement en utilisant la médiane comme seuil de division, pour équilibrer le volume de données entre les sous-arbres gauche et droit. Lors de la recherche, à partir du nœud racine, selon la valeur du point de test dans la dimension courante, on choisit les sous-arbres gauche ou droit, jusqu'au nœud feuille, enregistrant le point le plus proche actuel, puis en remontant pour vérifier si des points plus proches peuvent exister dans les nœuds frères, en comparant la distance du point de test au plan de division avec la distance la plus proche actuelle pour décider si rechercher le sous-arbre frère, réduisant ainsi les calculs de distance inutiles, réduisant la complexité de recherche de \(O(n)\) à \(O(\log n)\) dans des conditions idéales. Par exemple, lors du traitement d'un ensemble de points de données bidimensionnels, le KD-arbre peut rapidement localiser les voisins les plus proches du point de requête, améliorant l'efficacité de recherche.

Le Ball Tree est également une structure de données pour optimiser la recherche de voisins proches, il organise les données en une structure de hypersphères imbriquées, chaque nœud définit une hypersphère contenant toutes les données de ses nœuds enfants, l'hypersphère étant décrite par un centre \(C\) et un rayon \(R\). Lors de la recherche, on calcule la distance \(d_{PC}\) du point de test \(P\) au centre \(C\) de l'hypersphère, si \(d_{PC} - R > d_{current}\) (\(d_{current}\) étant la distance la plus proche actuelle), alors il n'y a pas de point plus proche dans l'hypersphère, on saute ce sous-arbre ; sinon on recherche récursivement les nœuds enfants. Le Ball Tree convient aux données non uniformément distribuées, couvrant par des hypersphères les régions à haute densité, réduisant les calculs redondants.

En plus d'optimiser les structures de recherche, la réduction de dimension et la sélection de caractéristiques sont également des stratégies d'optimisation importantes. La réduction de dimension peut réduire la dimensionnalité des données, diminuant la complexité de calcul, tout en évitant le problème de la malédiction de la dimensionnalité. L'analyse en composantes principales (ACP) est une méthode de réduction de dimension linéaire couramment utilisée, elle résout les valeurs propres et vecteurs propres de la matrice de covariance, sélectionne les k premiers vecteurs propres correspondant aux plus grandes valeurs propres comme nouvel espace de caractéristiques, projetant les données de haute dimension dans un espace de faible dimension, conservant les informations principales des données tout en réduisant la dimension. Par exemple, dans la reconnaissance d'images, après avoir réduit la dimensionnalité des vecteurs de caractéristiques d'images par ACP, on peut réduire la dimension lors du calcul des distances par l'algorithme d'apprentissage des plus proches voisins du sud, améliorant l'efficacité de calcul.

La sélection de caractéristiques consiste à sélectionner les caractéristiques les plus influentes de l'ensemble de caractéristiques original, réduisant ainsi la dimensionnalité des données. Les méthodes basées sur les statistiques, telles que le calcul de la corrélation entre les caractéristiques et les variables cibles, des statistiques comme la variance, etc., pour sélectionner les caractéristiques contribuant le plus à la variable cible ; les méthodes basées sur les modèles, telles que la sélection automatique des caractéristiques ayant un impact significatif sur les performances du modèle pendant le processus d'entraînement de modèles comme Lasso, forêts aléatoires, etc. Par une sélection de caractéristiques raisonnable, on peut supprimer les caractéristiques non pertinentes ou redondantes, améliorant les performances et la stabilité de l'algorithme d'apprentissage des plus proches voisins du sud.

7.2 Tendances futures

L'apprentissage des plus proches voisins du sud a des perspectives de développement广阔es. Dans la combinaison avec l'apprentissage profond, on peut utiliser la puissente capacité d'extraction de caractéristiques de l'apprentissage profond, fournissant à l'apprentissage des plus proches voisins du sud des caractéristiques plus représentatives. Par exemple, dans la reconnaissance d'images, on d'extraite d'abord les caractéristiques des images par un réseau de neurones convolutifs (CNN), obtenant des représentations de caractéristiques d'images de haut niveau, puis on entre ces caractéristiques dans l'algorithme d'apprentissage des plus proches voisins du sud pour la classification. De cette manière, en combinant les avantages de l'apprentissage profond et de l'apprentissage des plus proches voisins du sud, on peut à la fois utiliser la capacité d'apprentissage des modèles complexes de l'apprentissage profond et发挥 les avantages simples et intuitifs, sans nécessiter d'entraînement de modèle complexe de l'apprentissage des plus proches voisins du sud, améliorant la précision et l'efficacité de la reconnaissance d'images.

L'intégration avec l'apprentissage par transfert est également une tendance importante. L'apprentissage par transfert vise à transférer les connaissances apprises d'une ou plusieurs tâches source à la tâche cible, réduisant la dépendance de la tâche cible à un grand nombre de données étiquetées. L'apprentissage des plus proches voisins du sud peut s'appuyer sur l'apprentissage par transfert, transférant les connaissances apprises sur les données de domaine source, comme les métriques de similarité et les modèles de classification, au domaine cible. Par exemple, dans le domaine médical, les données de maladies entre différents hôpitaux présentent une certaine similarité, par l'apprentissage par transfert, on peut transférer le modèle d'apprentissage des plus proches voisins du sud entraîné sur les données d'un hôpital à la tâche de classification des données d'autres hôpitaux, utilisant les connaissances des données sources pour s'adapter rapidement aux nouvelles données cibles, améliorant la capacité de généralisation et l'effet de classification du modèle dans les nouveaux scénarios.

En termes de perspectives d'application, avec le développement de technologies telles que l'Internet des objets et le big data, l'apprentissage des plus proches voisins du sud devrait trouver des applications dans plus de domaines. Dans les maisons intelligentes, on peut analyser les modes de comportement et les préférences des utilisateurs en fonction des données historiques de comportement et des données de capteurs environnementaux, réalisant le contrôle automatique des appareils intelligents et les services de recommandation personnalisés. Dans la production industrielle, en utilisant l'apprentissage des plus proches voisins du sud pour analyser les données de fonctionnement des équipements, on peut réaliser la prédiction et le diagnostic des pannes d'équipement, détectant les problèmes potentiels à l'avance, réduisant le temps d'arrêt des équipements, améliorant l'efficacité et la qualité de production. Avec le progrès continu des technologies et l'expansion continue des scénarios d'application, l'apprentissage des plus proches voisins du sud jouera un rôle plus important dans la promotion du développement intelligent de divers domaines.

8. Conclusion

L'apprentissage des plus proches voisins du sud, en tant qu'algorithme classique et pratique dans le domaine de l'apprentissage automatique, montre une valeur unique dans de nombreux domaines avec ses principes intuitifs et sa mise en œuvre simple. Son idée centrale de décision basée sur la similarité des échantillons lui permet d'utiliser efficacement les informations des données d'entraînement pour fournir des prédictions raisonnables pour les échantillons inconnus dans les tâches de classification et de régression. À travers une analyse détaillée des principes de l'apprentissage des plus proches voisins du sud, y compris les méthodes de mesure de distance, la sélection de la valeur K et les règles de décision pour la classification et la régression, nous avons compris son mécanisme interne. Dans le processus d'implémentation, de la préparation des données au calcul des distances, à la recherche des K plus proches voisins et à la décision finale de classification/régression, chaque étape est étroitement liée, construisant ensemble le système d'algorithmes de l'apprentissage des plus proches voisins du sud. À travers la mise en pratique du code Python, nous avons non seulement maîtrisé les méthodes d'implémentation spécifiques de l'apprentissage des plus proches voisins du sud, mais aussi évalué et analysé ses performances sur des ensembles de données réels.

Dans les applications, l'apprentissage des plus proches voisins du sud a obtenu des résultats significatifs dans les domaines de la reconnaissance d'images, de l'assistance au diagnostic médical et de la construction de systèmes de recommandation. Il peut nous aider à résoudre divers problèmes dans la vie quotidienne, fournissant un soutien solide pour le développement de domaines connexes. Cependant, l'apprentissage des plus proches voisins du sud présente également certaines insuffisances, tels qu'un grand volume de calcul, une sensibilité aux valeurs des caractéristiques, une forte influence par la distribution des données et des besoins de stockage élevés. Pour résoudre ces problèmes, nous avons exploré une série de stratégies d'optimisation, y compris l'utilisation de structures de données comme le KD-arbre et le Ball Tree pour accélérer la recherche de voisins proches, l'utilisation de méthodes comme l'ACP et la sélection de caractéristiques pour la réduction de dimension et l'optimisation des caractéristiques.

En regardant vers l'avenir, l'apprentissage des plus proches voisins du sud devrait de nouvelles percées dans sa combinaison avec des technologies comme l'apprentissage profond et l'apprentissage par transfert, étendant davantage ses scénarios d'application et améliorant ses performances. Nous espérons que les lecteurs pourront avoir une compréhension plus complète et approfondie de l'apprentissage des plus proches voisins du sud à travers cet article, et explorer et appliquer activement cet algorithme dans leurs projets pratiques, exploitant continuellement son potentiel pour contribuer à la résolution de problèmes plus complexes.

Étiquettes: apprentissage automatique algorithmes de voisinage classification supervisée Régression Python

Publié le 2 juillet à 23h01

Étiquettes Populaires

©2026 L'Atelier Monstre