Informatik KI – Lineare Regression
Karteikarten zum Thema „Informatik“ · 14 Karten · von atrio. Beispiele: Was modelliert die lineare Regression? · Wie lautet die Gleichung der multiplen linea…
Karten
14 KartenWas modelliert die lineare Regression?
Rückseite
Einen linearen Zusammenhang zwischen einer Zielvariablen y und einer oder mehreren Prädiktorvariablen x durch Anpassung der Koeffizienten β.
Wie lautet die Gleichung der multiplen linearen Regression?
Rückseite
y = β₀ + β₁x₁ + β₂x₂ + ... + βₚxₚ + ε, wobei β₀ der Achsenabschnitt, β₁...βₚ die Steigungen und ε der Fehlerterm ist.
Welche vier Annahmen stellt das Gauss-Markov-Theorem?
Rückseite
Linearität in den Parametern, Erwartungswert der Fehler null, Homoskedastizität (konstante Varianz), keine Autokorrelation der Fehler.
Wie werden die Koeffizienten β beim OLS-Verfahren geschätzt?
Rückseite
Durch Minimierung der Summe quadrierter Residuen: β̂ = (XᵀX)⁻¹Xᵀy – die Normalgleichung liefert die geschlossene Lösung.
Was besagt der Bestimmtheitsmaß R²?
Rückseite
R² gibt den Anteil der Varianz der Zielvariablen an, der durch das Modell erklärt wird – Wertebereich 0 bis 1.
Wie interpretierst du einen Koeffizienten βⱼ in der multiplen Regression?
Rückseite
Bei Erhöhung von xⱼ um eine Einheit ändert sich y um βⱼ Einheiten, sofern alle anderen Prädiktoren konstant bleiben (ceteris paribus).
Was ist Multikollinearität und wie erkennst du sie?
Rückseite
Hohe Korrelation zwischen Prädiktoren; erkennbar an VIF > 5–10, instabilen Koeffizienten und großen Standardfehlern trotz signifikanter Gesamtmodell-F-Statistik.
Worin unterscheiden sich Ridge- und Lasso-Regularisierung?
Rückseite
Ridge (L2) quadriert Koeffizienten und verkleinert sie; Lasso (L1) betragsgewichtet und kann Koeffizienten auf exakt null setzen (Feature Selection).
Wann überanpasst (overfitting) ein lineares Regressionsmodell?
Rückseite
Bei zu vielen Prädiktoren relativ zur Stichprobengröße – das Modell lernt Rauschen statt Signal und generalisiert schlecht auf Testdaten.
Warum ist ein Train-Test-Split bei Regression notwendig?
Rückseite
Um die Generalisierungsfähigkeit unverzerrt zu schätzen: Trainingsfehler unterschätzt den wahren Vorhersagefehler systematisch.
Müssen Merkmale bei linearer Regression skaliert werden?
Rückseite
Nicht für OLS-Schätzung selbst, aber essenziell für Regularisierung (Ridge/Lasso) und Gradient Descent – sonst dominieren großskalige Features.
Wie beeinflussen Ausreißer die OLS-Schätzung?
Rückseite
Stark: OLS minimiert quadrierte Residuen, daher ziehen einzelne Ausreißer die Regressionsgerade unverhältnismäßig stark an sich (Hebelwirkung).
Was ist polynomiale Regression und wann nutzt du sie?
Rückseite
Erweiterung um Potenzen der Prädiktoren (x², x³...), um nicht-lineare Zusammenhänge zu modellieren – bleibt linear in den Parametern β.
Welche Metriken bewerten Regressionsmodelle neben R²?
Rückseite
MSE (mittlerer quadratischer Fehler), RMSE (Wurzel MSE, gleiche Einheit wie y), MAE (mittlerer absoluter Fehler, robuster gegen Ausreißer).