Собеседование с руководителем
Риск отказа- Убедительность
- Слабая сторона
- Структура ответа
- Слабая сторона
- Соответствие вакансии
- Слабая сторона
- Работа с уточняющими вопросами
- Слабая сторона
- Подача и темп речи
- Слабая сторона
- Качество ваших вопросов
- Слабая сторона
Это собеседование проходило на китайском. Для вашего собеседования выберите русский: вопросы, уточняющие вопросы и отчёт будут на русском.
Вопрос интервьюера
Расскажите подробнее о показательном результате дообучения модели или улучшения её качества и о метриках, по которым вы его оценивали.
Что сказал кандидат · Оригинал, дословно
Убедительность“漏洞检测项目,我们标注了六万多条数据,用Lora微调大模型,把静态分析误报率从65%降到25%。另外结合AST和CFG图结构,做代码审计,多任务指令微调加思维链,内部测试准确率到98%。”Перевод
В проекте по поиску уязвимостей мы разметили более 60 тысяч примеров и дообучили большую модель с помощью LoRA, снизив долю ложных срабатываний статического анализа с 65% до 25%. Кроме того, для аудита кода мы объединили графовые структуры AST и CFG, многозадачное дообучение на инструкциях и цепочку рассуждений. Во внутренних тестах точность достигла 98%.
В чём проблема
Названные показатели, в частности точность аудита кода 98%, сильно расходятся с обычной промышленной практикой. Не объяснены принципы формирования тестовой выборки, сравнение с базовым решением и причины ошибок на реальных примерах. Модель отмечает признаки приукрашенного резюме и перечисления модных терминов.
Как ответить лучше
Укажите объём тестовой выборки, устройство сравнения и метрики: precision, recall, F1. Разберите реальные трудности с редкими уязвимостями или выдуманными ответами модели и способы их обработки. Не ограничивайтесь неправдоподобно высоким показателем точности.
Читайте это замечание как подозрение интервьюера, а не как установленный факт. Отчёт видит, что цифра 98 % прозвучала без описания тестового набора, базового уровня для сравнения и случаев ошибок, — этот пробел стоит закрыть до настоящего собеседования. Но был ли проект на самом деле, отчёт знать не может.
О примере: ответы озвучены синтезатором речи для тестирования, это не запись реального человека. Вакансия и опыт работы — демонстрационные данные. Замечания созданы моделью и не проходили независимую проверку.