📌 Leçon - 11

Guide Ultime des Algorithmes Classiques du ML

Maîtrisez KNN, Régression Linéaire/Logistique et SVM avec des explications visuelles

Les 4 algorithmes fondamentaux du Machine Learning expliqués visuellement

🎯 Ce que vous allez apprendre

Fonctionnement

Comprendre la logique interne de chaque algorithme avec des visualisations claires

Cas d'usage

Savoir quel algorithme choisir selon votre type de problème et données

Mathématiques

Les formules clés expliquées simplement avec des exemples concrets

Implémentation

Avantages, limites et bonnes pratiques pour chaque méthode

1

K-Nearest Neighbors (KNN)

Définition : Algorithme d'apprentissage supervisé non paramétrique qui classe un point en fonction de la majorité des classes de ses k plus proches voisins dans l'espace des features.

Classification Régression Non-paramétrique

Comment KNN classe les points en fonction de leurs voisins (k=3 vs k=7)

💡 Cas pratique réel

Recommandation de produits : Un système e-commerce qui suggère des articles similaires à ceux qu'un client a aimé, basé sur les préférences des k clients les plus proches dans l'espace des caractéristiques produits.

🧮 Comment ça marche mathématiquement ?

d(x,y) = √Σ(x_i - y_i)² // Distance euclidienne

Où x et y sont deux vecteurs de features, et la somme porte sur toutes les dimensions.

Points forts

• Simple à comprendre et implémenter
• Aucune phase d'entraînement explicite
• Adaptable naturellement aux nouveaux données
• Fonctionne bien pour les problèmes non linéaires

Limitations

• Coûteux en calcul pour les grands datasets
• Sensible au choix de k et à la métrique de distance
• Nécessite un prétraitement des données
• Mauvaise performance en haute dimension

🔍 Paramètre clé : Le choix de k

k trop petit
Sensible au bruit (overfitting)

k trop grand
Lissages des frontières (underfitting)

2

Régression Linéaire

Définition : Modèle qui établit une relation linéaire entre des variables explicatives (X) et une variable cible continue (y) en minimisant l'erreur quadratique.

Régression Paramétrique Supervisé

La droite de régression minimise la somme des carrés des résidus

💡 Cas pratique réel

Prédiction immobilière : Estimation du prix d'une maison en fonction de sa surface, nombre de pièces, localisation, etc. Chaque caractéristique a un poids (coefficient) dans l'équation finale.

🧮 Équation fondamentale

y = β₀ + β₁x₁ + β₂x₂ + ... + β_nx_n + ε

Où β₀ est l'ordonnée à l'origine, β_i les coefficients, et ε l'erreur résiduelle.

Points forts

• Interprétabilité forte (coefficients quantifiables)
• Calculs rapides et efficaces
• Base solide pour des modèles plus complexes
• Tests statistiques disponibles (p-value, R²)

Limitations

• Hypothèse forte de linéarité
• Sensible aux outliers
• Problèmes de colinéarité
• Ne capture pas les relations complexes

⚖️ Techniques avancées : Régularisation

Ridge (L2)

Réduit l'amplitude des coefficients sans les annuler

min(Σ(y-ŷ)² + λΣβ_i²)

Lasso (L1)

Peut annuler des coefficients (sélection de features)

min(Σ(y-ŷ)² + λΣ|β_i|)

📊 Comparaison Visuelle des Algorithmes

Critère	KNN	Régression Linéaire	Régression Logistique	SVM
Type de problème	Classification/Régression	Régression	Classification	Classification/Régression
Complexité	Faible	Faible	Moyenne	Élevée
Interprétabilité	⭐	⭐⭐⭐⭐⭐	⭐⭐⭐⭐	⭐⭐
Performance grands datasets	❌	✅✅	✅✅	✅
Frontière de décision	Non linéaire	Linéaire	Linéaire	Linéaire/non linéaire

🧠 Quiz : Quel algorithme choisiriez-vous ?

1. Prédiction du prix de vente de maisons avec interprétabilité

📚 Pour Aller Plus Loin

Livres Recommandés

• Introduction to Statistical Learning
• Pattern Recognition and Machine Learning

Cours en Ligne

• Machine Learning - Coursera (Andrew Ng)
• Scikit-learn Documentation

Outils Pratiques

• Google Colab pour l'expérimentation
• Scikit-learn pour l'implémentation