Eine Beispiel-Auswertung – auf Deutsch erklärt

Frage

Bitte stellen Sie sich vor und beschreiben Sie Ihre relevanteste praktische Erfahrung für die Schwerpunkte dieser Stelle: Unternehmenswissensdatenbanken und Notfallwiederherstellung im IT-Betrieb.

Die tatsächliche Antwort — Original (Chinesisch, wörtlich)

「我看这个岗位是JD里企业知识库和运维栽培的场景跟我的经验对得上。我既有RAG落地,也有私有化部署。我在两家公司都是从零把AI能力做到上线,来你们这边做运维栽培方向的大模型落地,节奏是我熟悉的。」

Deutsche Übersetzung

“Aus meiner Sicht passen die Unternehmenswissensdatenbank und die „Betriebsaufzucht“ in der Stellenanzeige zu meiner Erfahrung. Ich habe RAG produktiv umgesetzt und Erfahrung mit On-Premises-Bereitstellungen. Bei zwei Unternehmen habe ich KI-Funktionen von null bis zum Produktivbetrieb aufgebaut. Große Sprachmodelle für die „Betriebsaufzucht“ bei Ihnen einzuführen, ist also ein Tempo, das ich gut kenne.”

Das Problem

Die Antwort zeigt ein erhebliches Verständnisproblem beim zentralen Anwendungsfall: Aus „Notfallwiederherstellung im IT-Betrieb“ wird „Betriebsaufzucht“. Zudem bleibt es bei pauschalen Behauptungen. Konkrete Ansätze zur Aufteilung von Wissensdatenbankinhalten, Suche, Evaluation oder On-Premises-Bereitstellung fehlen.

Eine bessere Antwort

Zuerst das Verständnis des Anwendungsfalls korrigieren. Dann für die Notfallwiederherstellung und die Betriebsüberwachung von Rechenzentren konkrete technische Erfahrungen und Kennzahlen einer On-Premises-RAG-Pipeline nennen: etwa Dokumentaufteilung und Bereinigung, kombinierte Vektor- und Volltextsuche sowie die Verarbeitung langer Kontexte mit selbst betriebenen Open-Source-Modellen.

Frage

Bitte erläutern Sie ein aussagekräftiges Ergebnis aus der Modellfeinabstimmung oder Qualitätsoptimierung und die Kennzahlen, mit denen Sie es bewertet haben.

Die tatsächliche Antwort — Original (Chinesisch, wörtlich)

「漏洞检测项目,我们标注了六万多条数据,用Lora微调大模型,把静态分析误报率从65%降到25%。另外结合AST和CFG图结构,做代码审计,多任务指令微调加思维链,内部测试准确率到98%。」

Deutsche Übersetzung

“Für das Projekt zur Schwachstellenerkennung haben wir über 60.000 Datensätze annotiert und ein großes Sprachmodell mit LoRA feinabgestimmt. Dadurch sank die Falsch-Positiv-Rate der statischen Analyse von 65 % auf 25 %. Außerdem haben wir AST- und CFG-Graphstrukturen für Code-Audits kombiniert. Mit Multitask-Instruction-Tuning und Chain-of-Thought erreichten wir bei internen Tests eine Genauigkeit von 98 %.”

Das Problem

Die genannten Zahlen, insbesondere 98 % Genauigkeit bei Code-Audits, liegen laut dieser Auswertung weit außerhalb realistischer Praxiswerte. Es fehlen Kriterien für den Evaluationsdatensatz, ein Vergleich mit einer Ausgangsmessung und eine Analyse tatsächlicher Fehlerfälle. Die Auswertung sieht darin deutliche Anzeichen für einen geschönten Lebenslauf und eine Aneinanderreihung von Schlagwörtern.

Eine bessere Antwort

Größe des Evaluationsdatensatzes, Aufbau des Benchmarks und Bewertungsmetriken wie Precision, Recall und F1 sachlich benennen. An seltenen Schwachstellen oder Halluzinationen erklären, welche Fehler tatsächlich auftraten und wie sie abgefangen wurden, statt nur eine unrealistisch hohe Genauigkeit zu nennen.