Um exemplo de feedback de simulação, explicado em português

Pergunta

Apresente-se e conte sua experiência prática mais relevante para o foco desta vaga em base de conhecimento corporativa e operações de recuperação de desastres.

O que a pessoa respondeu — Original em chinês (citação literal)

「我看这个岗位是JD里企业知识库和运维栽培的场景跟我的经验对得上。我既有RAG落地,也有私有化部署。我在两家公司都是从零把AI能力做到上线,来你们这边做运维栽培方向的大模型落地,节奏是我熟悉的。」

Tradução para português do Brasil

“Pelo que entendi, os cenários de base de conhecimento corporativa e de “cultivo de operações” da descrição da vaga combinam com a minha experiência. Já coloquei RAG em produção e fiz implantações em infraestrutura própria. Em duas empresas, levei recursos de IA do zero à produção. Então, implantar modelos de linguagem para “cultivo de operações” aqui é um ritmo que eu conheço bem.”

O problema

A pessoa demonstra desconhecimento grave do cenário central do negócio, trocando “recuperação de desastres em operações” por “cultivo de operações”. A resposta fica em afirmações genéricas, sem apresentar uma solução concreta para etapas essenciais, como divisão de documentos, recuperação de informações, avaliação ou implantação em infraestrutura própria.

Uma resposta melhor

Primeiro, corrija a compreensão do negócio. Depois, para o cenário de recuperação de desastres e inspeção de operações em centros de dados, apresente o trabalho de engenharia e as métricas da sua solução de RAG em infraestrutura própria. Por exemplo: divisão e limpeza de documentos, busca híbrida vetorial e textual e tratamento de contextos longos com modelos de código aberto hospedados internamente.

Pergunta

Detalhe um resultado representativo que você entregou com ajuste de modelos ou melhoria de qualidade e as métricas usadas para avaliá-lo.

O que a pessoa respondeu — Original em chinês (citação literal)

「漏洞检测项目,我们标注了六万多条数据,用Lora微调大模型,把静态分析误报率从65%降到25%。另外结合AST和CFG图结构,做代码审计,多任务指令微调加思维链,内部测试准确率到98%。」

Tradução para português do Brasil

“No projeto de detecção de vulnerabilidades, rotulamos mais de 60 mil amostras e ajustamos um modelo de linguagem com LoRA, reduzindo a taxa de falsos positivos da análise estática de 65% para 25%. Também combinamos estruturas de grafos AST e CFG para auditoria de código, com ajuste por instruções para múltiplas tarefas e cadeia de raciocínio, e chegamos a 98% de acurácia nos testes internos.”

O problema

Os números apresentados, como 98% de acurácia nos testes de auditoria de código, estão muito distantes do que costuma ocorrer na indústria. Não há explicação dos critérios de construção do conjunto de avaliação, comparação com uma referência nem análise de falhas reais. O feedback identifica sinais claros de exagero no currículo e acúmulo de termos da moda.

Uma resposta melhor

Informe o tamanho do conjunto de avaliação, como o teste de referência foi montado e quais métricas foram usadas: precisão, revocação e F1. Explique os problemas reais encontrados com vulnerabilidades raras ou alucinações e as medidas de proteção adotadas, em vez de apresentar uma acurácia alta sem sustentação.