Informatik KI – Logistische Regression
Karteikarten zum Thema „Informatik“ · 14 Karten · von atrio. Beispiele: Was modelliert die Logistische Regression? · Wie lautet die Sigmoid-Funktion mathemat…
Karten
14 KartenWas modelliert die Logistische Regression?
Rückseite
Die Wahrscheinlichkeit einer binären Zielvariablen (Klasse 1) gegeben die Eingangsvariablen, mittels Sigmoid-Funktion auf Werte zwischen 0 und 1 abgebildet.
Wie lautet die Sigmoid-Funktion mathematisch?
Rückseite
σ(z) = 1 / (1 + e^(-z)), wobei z die Linearkombination der Features mit Gewichten plus Bias ist.
Was ist der Logit (Log-Odds) in der Logistischen Regression?
Rückseite
Der Logarithmus des Odds Ratio: log(p/(1-p)) = β₀ + β₁x₁ + ... + βₙxₙ, also die Linearkombination vor der Sigmoid-Transformation.
Wie werden die Parameter (Gewichte) geschätzt?
Rückseite
Durch Maximum-Likelihood-Schätzung: Maximierung der Likelihood-Funktion (oder Minimierung der negativen Log-Likelihood / Cross-Entropy Loss) über alle Trainingsdaten.
Wie interpretiert man einen Koeffizienten βᵢ als Odds Ratio?
Rückseite
e^βᵢ gibt den Faktor an, um den sich die Odds für Klasse 1 ändern, wenn Feature xᵢ um 1 Einheit steigt (alle anderen Features konstant).
Wo liegt die Standard-Entscheidungsgrenze bei binärer Klassifikation?
Rückseite
Bei p = 0,5, also dort, wo der Logit z = 0 ist (Sigmoid(0) = 0,5). Die Grenze ist linear im Feature-Raum.
Wozu dient Regularisierung (L1/L2) bei der Logistischen Regression?
Rückseite
Verhindert Overfitting durch Strafterm in der Loss-Funktion: L2 (Ridge) schrumpft Gewichte, L1 (Lasso) führt zu Sparsität und Feature-Selektion.
Welche Evaluationsmetrik eignet sich bei unbalancierten Klassen besser als Accuracy?
Rückseite
F1-Score (harmonisches Mittel aus Precision und Recall) oder AUC-ROC (Fläche unter der ROC-Kurve), da sie Klassenverteilung unabhängig bewerten.
Was misst der AUC-ROC-Wert?
Rückseite
Die Wahrscheinlichkeit, dass ein zufällig gewähltes positives Sample einen höheren Score erhält als ein negatives Sample. 1,0 = perfekt, 0,5 = zufällig.
Wie erweitert man Logistische Regression auf Multiklassen-Probleme?
Rückseite
One-vs-Rest (ein Klassifikator pro Klasse gegen alle anderen) oder Multinomial Logistische Regression mit Softmax-Funktion statt Sigmoid.
Welche Annahmen stellt die Logistische Regression an die Daten?
Rückseite
Linearität der Logits in den Features, Unabhängigkeit der Beobachtungen, keine starke Multikollinearität zwischen Prädiktoren.
Warum ist Feature-Skalierung bei Regularisierung wichtig?
Rückseite
Ohne Skalierung dominieren Features mit großen Wertebereichen den Regularisierungsterm, was zu verzerrten Koeffizientenschätzungen führt.
Was ist der Unterschied zur Linearen Regression?
Rückseite
Lineare Regression sagt kontinuierliche Werte voraus (MSE-Loss), Logistische Regression klassifiziert diskret (Cross-Entropy-Loss) und nutzt Sigmoid als Link-Funktion.
Wie trainiert man ein Logistisches Regressionsmodell in scikit-learn?
Rückseite
from sklearn.linear_model import LogisticRegression; model = LogisticRegression(penalty='l2', C=1.0, solver='lbfgs'); model.fit(X_train, y_train).