Zum Inhalt springen
arthova
WissenVorlage

Abnahme vor Go-live: Die Checkliste für KI-gestützte Abläufe

Eine ausfüllbare Abnahme für normale, unvollständige und bewusst irreführende Eingaben.

Damit arbeiten Sie weiter

Ein System ist bereit, wenn Regeln, Grenzen, Übergaben und Messung getestet sind.

PDF herunterladen

Den Ausnahmeweg prüfen

Eine Abnahme prüft normale, unvollständige und bewusst irreführende Eingaben. Anthropic empfiehlt klare Erfolgskriterien, getestete Schnittstellen und menschliche Aufsicht. Google Cloud empfiehlt stabile Metriken, Referenzfälle und wiederholbare Prüfungen sowie Tests gegen bewussten Missbrauch, Versionierung und laufende Evaluation.

Die Abnahme-Checkliste ist ein zweiseitiges Arbeitsblatt. Der CSV-Testregister-Download eignet sich für die laufende Pflege.

Zehn Fragen vor der Freigabe

Tabelle – bei Bedarf seitlich scrollen

BereichFrageNachweis
ZielIst der Prozessausgang beobachtbar definiert?Beispielausgabe, Besitzer
EingangWas passiert bei fehlenden oder widersprüchlichen Angaben?Testfall und Übergabe
RegelwerkSind Preis-, Freigabe- und Ausschlussregeln dokumentiert?versionierte Regelkarte
AktionWelche Aktion darf automatisch erfolgen?Erlaubnisliste, Protokoll
MenschWann entscheidet eine Person?Stop-Kriterium, Frist
QualitätWelche minimale Schwelle gilt?Metrik, Stichprobe
SicherheitKann eine bewusst irreführende Eingabe Regeln umgehen?Missbrauchstest und erwartete Blockade
RegressionWas wird nach einer Änderung erneut getestet?versioniertes Testset
BetriebWer prüft den laufenden Prozess?Review-Rhythmus, Rollback
WirkungWelche geschäftliche oder finanzielle Kennzahl wird nach Go-live gemessen?Baseline, Zeitraum

Vorgeschlagene Testfälle für einen Offertenprozess

Prüfen Sie diese vier Gruppen von Testfällen: die Zeitgrenzen 21:59, 22:00, 05:59 und 06:00; die Distanzen 19, 20 und 21 km; fehlende Einsatzdetails; widersprüchliche Angaben. Diese Liste ist eine Abnahmevorlage, keine Behauptung, dass jeder Fall im Hofmann-Projekt ausgeführt wurde. Schreiben Sie vor jedem Lauf die erwartete Preislogik und die erwartete Route auf: automatisch oder manuell.

Im Fallmaterial sind 38 Anfragen in 7,5 Wochen, 21 von 38 ausserhalb der Bürozeiten und eine Laufzeit unter 60 Sekunden ausgewiesen. Diese Zahlen beschreiben Nutzung und Ablauf. Sie sind kein Beleg dafür, dass die vorgeschlagenen Testfälle ausgeführt oder bestanden wurden. Die spätere Conversion muss separat gemessen werden.

Risiko statt Abhakliste

Gewichten Sie jeden Test mit hoch, mittel oder niedrig. Ein hohes Risiko blockiert die Freigabe, wenn die erwartete Grenze verletzt wird: zum Beispiel falscher Preis, unberechtigte Aktion, Datenleck oder eine nicht protokollierte Übergabe. Mittlere Risiken brauchen eine benannte Massnahme und einen Termin. Niedrige Risiken können mit einer Beobachtung im Betrieb freigegeben werden. Das ist eine Entscheidungsregel, keine Zertifizierung.

Bei einer Änderung an Regelkarte, Prompt, Modell oder Datenbestand wird das relevante Testset erneut ausgeführt. Für variable Antworten reicht ein einzelner Lauf nicht: Wiederholen Sie jeden wichtigen Fall mit derselben Eingabe und halten Sie Treffer, Abweichung und Begründung fest. Halten Sie Test-ID, erwartete Ausgabe, tatsächliche Ausgabe, Besitzer, Version, Datum und offene Massnahme im Register fest. Das ist keine Behauptung, dass ein System fehlerfrei bleibt; es macht Änderungen und Schwankungen sichtbar.

Ihre Arbeitshilfe

Arbeitshilfe herunterladen

Direkter Download. Ohne Anmeldung.

PDF

Quellen & Einordnung

Die Arbeitsvorlage ist eine redaktionelle Ableitung von Arthova. Externe Quellen und eigene Projektnachweise sind getrennt verlinkt.

  1. Anthropic: Building Effective AI Agents
  2. Google Cloud: Deploy and operate generative AI applications
Zum dokumentierten Projekt
Vom Lesen ins Anwenden

Bringen Sie einen konkreten Ablauf mit.

Wir besprechen, was sich sinnvoll automatisieren lässt, welche Angaben fehlen und wie Sie die Wirkung prüfen können.

Ablauf besprechen

Der nächste sinnvolle Schritt

Kapazität vor ROI: Ein ehrliches ProzessmodellRegeln vor KI: Die Regelkarte für einen belastbaren Prozess