Mein Projekt IA Tötender Stiller: Verstehen der Datenverschiebung

In der Welt der AI kann sich das auf viele Arten manifestieren. Vielleicht entwickeln sich die demografischen Daten Ihrer Kunden subtil weiter, was die Verteilung der Merkmale in Ihrer Nutzerempfehlungsmaschine verändert. Vielleicht betritt ein neuer Mitbewerber den Markt und verändert das Verhalten der Nutzer in einem Sentiment-Analysemodell. Oder, wie es mir kürzlich erging, hat eine Änderung in einer vorgelagerten Datenpipeline das Format eines bestimmten Merkmals geändert, wodurch der Code nicht kaputt ging, aber die Werte subtil anders wurden, als das Modell erwartet hatte.

Mein jüngstes Treffen mit diesem Problem betraf ein Modell für natürliche Sprachverarbeitung (NLP), das ich für einen Kunden entwickelt habe, um Support-Tickets zu kategorisieren. Wir haben es auf einem Jahr historischer Daten trainiert, eine fantastische Genauigkeit erhalten und es eingesetzt. Für etwa drei Monate war es ein Traum. Dann begann der Kunde zu bemerken, dass immer mehr Tickets falsch kategorisiert wurden, insbesondere neue Problemtpyen, die zuvor nicht häufig waren. Das Modell stürzte nicht ab; es klassifizierte einfach selbstbewusst die neuen Tickets als „Rechnungsanforderung“ in Kategorien wie „Technischer Support“ oder „Funktionsanfrage“. Die Supportmitarbeiter verbrachten mehr Zeit damit, die Klassifikationen des Modells zu korrigieren, was den gesamten Sinn der Automatisierung zunichte machte.

Wenn sich das Terrain ändert: Typen der Datenverschiebung

Es ist hilfreich, die Datenverschiebung zu kategorisieren, um zu verstehen, wie man sie erkennen kann. Die beiden Haupttypen, auf die ich achte, sind:

• Konzeptverschiebung: Das ist der Fall, wenn sich die Beziehung zwischen Ihren Eingangsmerkmalen und der Zielvariablen ändert. Die „Regeln“ des Spiels ändern sich. In meinem NLP-Beispiel bedeutete die Einführung eines neuen Produkts, dass die Schlüsselwörter und Phrasen, die mit „technischer Unterstützung“ für die alten Produkte verbunden waren, nun irrelevant oder sogar irreführend für das neue Produkt waren. Der zugrunde liegende Sinn bestimmter Begriffe hatte sich geändert.
• Covariateverschiebung: Dies passiert, wenn sich die Verteilung Ihrer Eingangsmerkmale im Laufe der Zeit ändert, aber die Beziehung zwischen Eingaben und Ausgaben gleich bleiben könnte. Stellen Sie sich ein Modell vor, das auf Bildern von Katzen und Hunden trainiert wurde, die hauptsächlich im Freien aufgenommen wurden. Wenn plötzlich alle neuen Bilder drinnen mit unterschiedlichem Licht gemacht werden, könnte das Modell Schwierigkeiten haben, auch wenn sich die Tiere selbst nicht verändert haben. Die Merkmale der Eingabedaten haben sich geändert.

Mein NLP-Ticketklassifizierer litt unter einer Mischung aus beidem. Die Einführung neuer Produkte und Dienstleistungen verursachte eine Konzeptverschiebung, da sich der Sinn und der Kontext bestimmter Schlüsselwörter geändert hatten. Aber auch das Gesamtvolumen bestimmter Tickettypen hatte sich geändert (Covariateverschiebung), was bedeutete, dass das Modell eine andere Kombination von Eingaben sah als die, auf der es trainiert wurde, was seine schlechte Leistung bei den neuen Konzepten verschärfte.

Mein persönlicher Aktionsplan: Den unsichtbaren Feind erkennen

Also, wie fängt man an, etwas zu debuggen, das nicht explizit kaputt ist? Hier wird proaktive Überwachung zu Ihrem besten Freund. Darauf zu warten, dass Ihre Stakeholder Ihnen sagen, dass das Modell sich seltsam verhält, ist ein Rezept für eine Katastrophe. So habe ich begonnen, dies anzugehen.

1. Eine Basislinie festlegen

Bevor Sie überhaupt an den Einsatz denken, müssen Sie eine Basislinie festlegen. Wie sehen Ihre Trainingsdaten aus? Wie sind die Verteilungen Ihrer Schlüsselmerkmale? Wie hoch ist die Korrelation zwischen diesen Merkmalen? Machen Sie ein Foto von allem. Für mein NLP-Modell bedeutete das, die Häufigkeitsverteilungen der Wörter, die durchschnittliche Dokumentenlänge und die Verteilung der Kategorien im Trainingsdatensatz zu speichern.

2. Überwachung der Merkmalsverteilungen

Das ist das Wesentliche der Driftüberwachung. Für kontinuierliche Merkmale verfolge ich Mittelwerte, Mediane, Standardabweichungen und Quartile. Für kategoriale Merkmale überwache ich die Häufigkeit jeder Kategorie. Der Schlüssel ist, diese Statistiken Ihrer Live-Inferenzdaten mit Ihrer Basislinie der Trainingsdaten zu vergleichen oder mit einem kürzlichen Zeitraum von Live-Daten, die als gut anerkannt sind.

Hier ist ein vereinfachtes Beispiel in Python, wie Sie beginnen könnten, den Mittelwert und die Standardabweichung eines kontinuierlichen Merkmals zu überwachen:

import pandas as pd
import numpy as np

# Simulation historischer Trainingsdaten
np.random.seed(42)
training_data = pd.DataFrame({
 'feature_A': np.random.normal(loc=10, scale=2, size=1000),
 'feature_B': np.random.uniform(low=0, high=1, size=1000)
})

# Grundstatistiken berechnen
baseline_mean_A = training_data['feature_A'].mean()
baseline_std_A = training_data['feature_A'].std()

print(f"Basiswert Merkmal A - Mittelwert: {baseline_mean_A:.2f}, Standardabweichung: {baseline_std_A:.2f}")

# Neue Inferenzdaten simulieren
# Szenario 1: Keine Drift
new_data_no_drift = pd.DataFrame({
 'feature_A': np.random.normal(loc=10.1, scale=2.1, size=100),
 'feature_B': np.random.uniform(low=0, high=1, size=100)
})

# Szenario 2: Drift des Mittelwerts
new_data_mean_drift = pd.DataFrame({
 'feature_A': np.random.normal(loc=15, scale=2, size=100), # Verschobener Mittelwert
 'feature_B': np.random.uniform(low=0, high=1, size=100)
})

# Szenario 3: Drift der Standardabweichung
new_data_std_drift = pd.DataFrame({
 'feature_A': np.random.normal(loc=10, scale=5, size=100), # Verschobene Standardabweichung
 'feature_B': np.random.uniform(low=0, high=1, size=100)
})

def check_for_drift(current_data, baseline_mean, baseline_std, feature_name, threshold=0.5):
 current_mean = current_data[feature_name].mean()
 current_std = current_data[feature_name].std()

 mean_diff = abs(current_mean - baseline_mean)
 std_diff = abs(current_std - baseline_std)

 print(f"\nÜberwachung von {feature_name}:")
 print(f" Aktueller Mittelwert: {current_mean:.2f}, Aktuelle Standardabweichung: {current_std:.2f}")
 print(f" Mittelwertdifferenz zur Basis: {mean_diff:.2f}, Standardabweichungsdifferenz zur Basis: {std_diff:.2f}")

 if mean_diff > baseline_mean * threshold or std_diff > baseline_std * threshold:
 print(f" ALARM: Potenzielle Drift in {feature_name} erkannt!")
 else:
 print(f" {feature_name} scheint stabil zu sein.")

check_for_drift(new_data_no_drift, baseline_mean_A, baseline_std_A, 'feature_A')
check_for_drift(new_data_mean_drift, baseline_mean_A, baseline_std_A, 'feature_A')
check_for_drift(new_data_std_drift, baseline_mean_A, baseline_std_A, 'feature_A')

Für kategoriale Merkmale verwende ich Techniken wie Chi-Quadrat-Tests oder überwache einfach die prozentuale Änderung der Häufigkeit jeder Kategorie. Für mein NLP-Modell habe ich die 100 häufigsten Wörter in eingehenden Tickets erfasst und deren Häufigkeiten mit denen des Trainingsdatensatzes verglichen. Als einige neue Produktnamen im Top 20 auftauchten, die während des Trainings nicht einmal im Top 500 waren, war dies ein großes Warnsignal.

3. Überwachung der Ausgabe und der Modellleistung

Das ist entscheidend. Während die Merkmal Drift Ihnen sagt, *warum* die Leistung möglicherweise nachlässt, sagt die Überwachung der Ausgabe Ihnen, *dass* dies der Fall ist. Wenn Sie verfügbare Ground-Truth-Daten haben (z.B. manuell etikettierte Daten für Ihren Klassifikator), berechnen Sie regelmäßig die Genauigkeit, den Präzisionswert, den Rückruf, den F1-Score Ihres Modells oder jede andere Metrik, die am passendsten ist. Wenn die Ground-Truth nicht sofort verfügbar ist, suchen Sie nach Proxy-Metriken.

Für mein NLP-Modell hatten wir keine unmittelbare Ground-Truth für jedes Ticket, aber wir hatten einen Feedbackschleifen: Die Agenten konnten falsch kategorisierte Tickets korrigieren. Also begann ich, die Anzahl der Korrekturen zu überwachen, die von den Agenten vorgenommen wurden. Als dieser Satz von 2 % auf 10 % anstieg, war das ein klares Signal. Eine weitere Proxy-Metrik, die ich verwendete, war die Überwachung der Vertrauenswerte der Modellvorhersagen. Ein plötzlicher Anstieg der Vorhersagen mit niedrigem Vertrauen kann darauf hindeuten, dass das Modell mit Daten konfrontiert wird, bei denen es unsicher ist.

Hier ist ein konzeptionelles Beispiel zur Überwachung von Proxy-Metriken:

# Angenommen, es gibt eine Funktion zur Abfrage der täglichen Leistungsdaten des Modells
def get_daily_performance_metrics(date):
 # In einem realen System würde dies eine Datenbank oder ein Protokolldatei abfragen
 if date == "2026-03-15":
 return {"agent_correction_rate": 0.02, "avg_confidence": 0.88}
 elif date == "2026-03-16":
 return {"agent_correction_rate": 0.03, "avg_confidence": 0.87}
 elif date == "2026-03-17":
 return {"agent_correction_rate": 0.05, "avg_confidence": 0.85}
 elif date == "2026-03-18":
 return {"agent_correction_rate": 0.08, "avg_confidence": 0.80}
 elif date == "2026-03-19": # Daten von heute, die eine Drift zeigen
 return {"agent_correction_rate": 0.12, "avg_confidence": 0.72}
 return {"agent_correction_rate": 0.0, "avg_confidence": 0.0}

baseline_correction_rate = 0.025 # Durchschnitt der ersten Monat des deployments
baseline_avg_confidence = 0.87

current_date = "2026-03-19"
daily_metrics = get_daily_performance_metrics(current_date)

current_correction_rate = daily_metrics["agent_correction_rate"]
current_avg_confidence = daily_metrics["avg_confidence"]

correction_rate_threshold = 0.05 # Alarm, wenn die Fehlerquote über 5% liegt
confidence_drop_threshold = 0.10 # Alarm, wenn das Vertrauen um mehr als 10% im Vergleich zur Basis sinkt

print(f"Überwachung für {current_date}:")
print(f" Aktuelle Fehlerquote des Agenten: {current_correction_rate:.2f} (Basis: {baseline_correction_rate:.2f})")
print(f" Aktuelles durchschnittliches Vertrauen: {current_avg_confidence:.2f} (Basis: {baseline_avg_confidence:.2f})")

if current_correction_rate > correction_rate_threshold:
 print(f" Alarm: Die Fehlerquote des Agenten ({current_correction_rate:.2f}) liegt über dem Schwellenwert!")
if (baseline_avg_confidence - current_avg_confidence) / baseline_avg_confidence > confidence_drop_threshold:
 print(f" Alarm: Das durchschnittliche Vertrauen ist signifikant gesunken!")

4. Statistische Tests auf Drift

Für eine rigorosere Erkennung sind statistische Tests Ihre Verbündeten. Die Kullback-Leibler-Divergenz (KL), die Jensen-Shannon-Divergenz (JS) oder der Bevölkerungstabilitätsindex (PSI) werden häufig verwendet, um den Unterschied zwischen zwei Wahrscheinlichkeitsverteilungen (Ihr Trainingsdaten vs. Ihre Live-Daten) zu quantifizieren. Diese geben Ihnen einen einzigen Wert, der angibt, wie stark die Verteilungen divergiert sind. Die Festlegung von Schwellenwerten für diese Werte kann automatisierte Warnungen auslösen.

Ich finde sie besonders nützlich, wenn ich mit vielen Merkmalen arbeite, da sie eine objektivere Messung bieten, als sich nur auf Mittelwerte und Standardabweichungen zu verlassen, auch wenn ich das immer noch für schnelle Überprüfungen mache.

Drift beheben: Was tun, wenn Sie sie finden

Nachdem Sie die Drift in den Daten bestätigt haben, was tun Sie dann? Die Lösung ist nicht immer eindeutig, aber hier sind meine bevorzugten Strategien:

• Neu-Training mit neuen Daten: Dies ist die häufigste und oft effektivste Lösung. Sammeln Sie aktuelle, relevante Daten, die die aktuelle Betriebsumgebung widerspiegeln, und trainieren Sie Ihr Modell neu. Für mein NLP-Modell haben wir die letzten drei Monate von Kundentickets abgerufen, einschließlich derjenigen, die falsch kategorisiert und von den Agenten korrigiert wurden, und diese für das Neu-Training verwendet. Das hat die Leistung sofort verbessert.
• Kontinuierliches Lernen/Onlinelernen: Für Systeme mit schneller und konstanter Drift sollten Sie Modelle in Betracht ziehen, die sich im Laufe der Zeit schrittweise anpassen können, ohne ein vollständiges Neu-Training durchzuführen. Das ist komplexer in der Umsetzung und Überwachung, kann aber in sich ständig verändernden Umgebungen entscheidend sein.
• Feature-Engineering-Anpassungen: Manchmal liegt die Drift nicht nur in den Werten der Daten, sondern in der Relevanz bestimmter Merkmale. Möglicherweise müssen Sie neue Merkmale hinzufügen, die aufkommende Trends erfassen, oder Merkmale entfernen, die nicht mehr informativ sind.
• Änderungen der Modellarchitektur: In extremen Fällen von Konzeptdrift ist Ihre derzeitige Modellarchitektur möglicherweise nicht für die neuen Datenmuster geeignet. Sie müssen möglicherweise verschiedene Modelltypen oder sogar Ensemble-Methoden erkunden, um die sich entwickelnden Beziehungen besser zu erfassen.
• Untersuchung der Quelldaten: Vergessen Sie nicht, auch upstream zu schauen! Gibt es ein Problem mit der Art und Weise, wie die Daten erfasst, verarbeitet oder gespeichert werden, das die Drift verursacht? In einem Fall führte eine Änderung in einer Drittanbieter-API dazu, dass ein bestimmtes Merkmal mit Standardwerten anstelle der tatsächlichen Benutzereingabe befüllt wurde, was zu einem signifikanten Covariate-Shift führte.

Wichtige umsetzbare Punkte für Ihr nächstes KI-Projekt

Wenn Sie sich nichts anderes aus diesem langen Vortrag merken, denken Sie an diese drei Dinge:

1. Proaktive Überwachung ist unerlässlich: Warten Sie nicht darauf, dass Ihr Modell spektakulär versagt. Implementieren Sie eine umfassende Überwachung der Eingabemerkmalsverteilungen und der Leistungs-/Produktionsmetriken des Modells vom ersten Tag an.
2. Schwellenwerte festlegen: Sie können Drift nicht erkennen, wenn Sie nicht wissen, wie das „Normale“ aussieht. Erfassen Sie detaillierte Statistiken Ihrer Trainingsdaten und der anfänglichen Leistungswerte im Einsatz.
3. Automatisierte Warnungen einrichten: Manuelles Überprüfen von Dashboards jeden Tag ist nicht nachhaltig. Richten Sie automatisierte Warnungen basierend auf Schwellenwerten für Drift- oder Leistungsabnahme-Metriken ein. Lassen Sie sich benachrichtigen, wenn etwas abnormal erscheint.

Das Debuggen von KI-Modellen besteht nicht nur darin, Fehler zu erkennen, wenn sie abstürzen; es geht darum, die dynamische Welt zu verstehen und sich anzupassen, in der sie operieren. Daten Drift ist eine stille und allgegenwärtige Herausforderung in der KI, aber mit den richtigen Überwachungswerkzeugen und einer proaktiven Denkweise können Sie Ihre Modelle auf einem optimalen Niveau halten und diese langsamen und schmerzhaften Qualitätseinbußen vermeiden. Bis zum nächsten Mal, halten Sie diese Modelle scharf!

Verwandte Artikel

• Fehler im Tokenizer der Transformers-Bibliothek beheben: Ein vollständiger Leitfaden
• Debugging von Sicherheitsanfälligkeiten in der KI
• OpenRouter AI API: Ein API-Schlüssel für jedes KI-Modell

🕒 Published: March 28, 2026