Пример отчёта по собеседованию с пояснениями на русском

Вопрос

Представьтесь и расскажите о вашем наиболее подходящем практическом опыте для работы с корпоративной базой знаний и аварийным восстановлением ИТ-систем.

Ответ кандидата — Оригинал на китайском, дословно

「我看这个岗位是JD里企业知识库和运维栽培的场景跟我的经验对得上。我既有RAG落地,也有私有化部署。我在两家公司都是从零把AI能力做到上线,来你们这边做运维栽培方向的大模型落地,节奏是我熟悉的。」

Перевод на русский

“Как я понимаю, указанные в описании вакансии корпоративная база знаний и «выращивание эксплуатации» соответствуют моему опыту. У меня есть опыт внедрения RAG и развёртывания в инфраструктуре заказчика. В двух компаниях я с нуля доводил ИИ-решения до запуска, поэтому внедрение больших моделей для «выращивания эксплуатации» у вас — знакомый мне темп работы.”

Замечание

Кандидат плохо понимает ключевую задачу бизнеса: вместо «аварийного восстановления ИТ-систем» говорит о «выращивании эксплуатации». Ответ остаётся на уровне общих заявлений. Не предложено конкретного подхода к разбиению документов базы знаний на фрагменты, поиску, оценке качества или развёртыванию в инфраструктуре заказчика.

Как ответить точнее

Сначала уточните понимание задачи бизнеса. Затем на примере аварийного восстановления дата-центра и проверок ИТ-инфраструктуры опишите конкретные решения и метрики вашего локально развёрнутого RAG: разбиение и очистку документов, гибридный векторный и полнотекстовый поиск, обработку длинного контекста в самостоятельно размещённых моделях с открытым исходным кодом.

Вопрос

Расскажите подробнее о показательном результате дообучения модели или улучшения её качества и о метриках, по которым вы его оценивали.

Ответ кандидата — Оригинал на китайском, дословно

「漏洞检测项目,我们标注了六万多条数据,用Lora微调大模型,把静态分析误报率从65%降到25%。另外结合AST和CFG图结构,做代码审计,多任务指令微调加思维链,内部测试准确率到98%。」

Перевод на русский

“В проекте по поиску уязвимостей мы разметили более 60 тысяч примеров и дообучили большую модель с помощью LoRA, снизив долю ложных срабатываний статического анализа с 65% до 25%. Кроме того, для аудита кода мы объединили графовые структуры AST и CFG, многозадачное дообучение на инструкциях и цепочку рассуждений. Во внутренних тестах точность достигла 98%.”

Замечание

Названные показатели, в частности точность аудита кода 98%, сильно расходятся с обычной промышленной практикой. Не объяснены принципы формирования тестовой выборки, сравнение с базовым решением и причины ошибок на реальных примерах. Модель отмечает признаки приукрашенного резюме и перечисления модных терминов.

Как ответить точнее

Укажите объём тестовой выборки, устройство сравнения и метрики: precision, recall, F1. Разберите реальные трудности с редкими уязвимостями или выдуманными ответами модели и способы их обработки. Не ограничивайтесь неправдоподобно высоким показателем точности.