現場面接（配属先の上司）
不合格リスク- 説得力
- 弱い
- 構成
- 弱い
- 職種とのマッチ度
- 弱い
- 深掘りへの対応
- 弱い
- 話し方とテンポ
- 弱い
- 逆質問の質
- 弱い
このサンプルの面接は中国語で行われました。ご自身の面接では、面接の言語に日本語を選ぶと、質問とフィードバックレポートが日本語になり、日本語で回答できます。
面接官の質問
モデルのファインチューニングや品質改善で、代表的な実績と評価指標を詳しく教えてください。
候補者の発言 · 原文（そのまま）
説得力“漏洞检测项目,我们标注了六万多条数据,用Lora微调大模型,把静态分析误报率从65%降到25%。另外结合AST和CFG图结构,做代码审计,多任务指令微调加思维链,内部测试准确率到98%。”回答を再生（中国語の音声）
0:00 / --:--
翻訳
脆弱性検出のプロジェクトでは、6万件を超えるデータにラベルを付け、LoRAで大規模言語モデルをファインチューニングし、静的解析の誤検知率を65%から25%に下げました。また、ASTとCFGのグラフ構造を組み合わせたコード監査で、マルチタスクの指示チューニングと思考の連鎖を用い、社内テストでは正解率98%に達しました。
問題点
提示された数値、特にコード監査のテスト正解率98%は、実務の一般的な水準から大きく離れています。評価データセットの作成基準、ベースラインとの比較、実際の失敗例の原因分析もありません。職務経歴を誇張し、流行の技術用語を並べている兆候が見られます。
よりよい答え方
評価データセットの規模、ベンチマークの方法、適合率・再現率・F1スコアといった評価指標を客観的に説明します。まれな脆弱性やハルシネーションで実際に何が問題になり、どう対処したかを振り返ります。非現実的に高い正解率を挙げるだけでは、判断の根拠になりません。
サンプルについて：回答音声は読み上げによるテスト用データで、実在する人物の録音ではありません。職種と職歴はデモ用です。指摘はAIモデルの出力であり、第三者による検証は行っていません。