実際のフィードバックレポートを日本語で読む

質問

自己紹介をお願いします。あわせて、この職種で扱う企業内ナレッジベースと災害復旧・運用に最も関連する実務経験を教えてください。

実際の回答 — 中国語の原文（発言をそのまま引用）

「我看这个岗位是JD里企业知识库和运维栽培的场景跟我的经验对得上。我既有RAG落地,也有私有化部署。我在两家公司都是从零把AI能力做到上线,来你们这边做运维栽培方向的大模型落地,节奏是我熟悉的。」

日本語訳

“求人票にある企業内ナレッジベースと『運用栽培』の用途は、私の経験に合っていると考えています。RAGの実用化も、オンプレミス環境への導入も経験しています。2社でAI機能をゼロから公開まで担当してきましたので、御社で『運用栽培』向けの大規模言語モデルを実用化する進め方にも慣れています。”

問題点

業務の中心となる用途への理解が大きく不足しています。『運用・災害復旧』を『運用栽培』と言い間違え、抽象的な実績の主張にとどまっています。ナレッジベースの分割、検索、評価、オンプレミス環境への導入といった主要な工程について、具体的な方法を示していません。

回答の改善例

まず業務内容を正しく理解します。そのうえで、データセンターの災害復旧や運用点検に向けたオンプレミスのRAGについて、具体的な実装と指標を説明します。たとえば、文書の分割・整形、ベクトル検索と全文検索の併用、社内環境に導入したオープンソースモデルでの長いコンテキストの扱いなどです。

質問

モデルのファインチューニングや品質改善で、代表的な実績と評価指標を詳しく教えてください。

実際の回答 — 中国語の原文（発言をそのまま引用）

「漏洞检测项目,我们标注了六万多条数据,用Lora微调大模型,把静态分析误报率从65%降到25%。另外结合AST和CFG图结构,做代码审计,多任务指令微调加思维链,内部测试准确率到98%。」

日本語訳

“脆弱性検出のプロジェクトでは、6万件を超えるデータにラベルを付け、LoRAで大規模言語モデルをファインチューニングし、静的解析の誤検知率を65%から25%に下げました。また、ASTとCFGのグラフ構造を組み合わせたコード監査で、マルチタスクの指示チューニングと思考の連鎖を用い、社内テストでは正解率98%に達しました。”

問題点

提示された数値、特にコード監査のテスト正解率98%は、実務の一般的な水準から大きく離れています。評価データセットの作成基準、ベースラインとの比較、実際の失敗例の原因分析もありません。職務経歴を誇張し、流行の技術用語を並べている兆候が見られます。

回答の改善例

評価データセットの規模、ベンチマークの方法、適合率・再現率・F1スコアといった評価指標を客観的に説明します。まれな脆弱性やハルシネーションで実際に何が問題になり、どう対処したかを振り返ります。非現実的に高い正解率を挙げるだけでは、判断の根拠になりません。