Condições controladas
Mesmo prompt, contrato e testes públicos. Cada LLM trabalhou em sua própria pasta no OpenCode.
Projeto 03 · Engenharia de software · Experimentos
Três LLMs. O mesmo desafio.
Um laboratório pessoal para avaliar inteligência artificial aplicada ao desenvolvimento: menos impressão de que uma resposta “parece boa”, mais código, testes reproduzíveis e análise dos erros.
Da opinião ao teste automatizado.
Após atualizar o OpenCode para a versão 2.2.5, comparei GLM-5.3-Flash, DeepSeek V4.1 Flash e Nemotron 3.5 Lightning em sessões separadas. Primeiro pedi análises da arquitetura de um projeto real. Depois, cada modelo implementou a mesma função Python para validar comandos /pedido.
02 / Método
Mesma tarefa, pastas separadas.
Implementação Python
Validação de tipos, formatos, comprimento, e-mail, normalização e protocolo determinístico em SHA-256.
Avaliação independente
Dez testes públicos e vinte adicionais, além de checagem de integridade dos arquivos.
03 / Resultados do segundo benchmark
Empate no topo; um defeito encontrado.
100/100DeepSeek V4.1 Flash · 30/30 testes
100/100Nemotron 3.5 Lightning · 30/30 testes
96/100GLM-5.3-Flash · 29/30 testes
O GLM falhou ao validar um domínio iniciado por hífen. DeepSeek e Nemotron passaram nos 30 casos avaliados. Passar nos testes não prova ausência de outros erros; este é um experimento pontual, não um ranking universal de modelos.
04 / Aprendizado
Metodologia, ressalvas e próximos testes Testar código é diferente de avaliar explicações.
No primeiro desafio, as notas de arquitetura foram qualitativas. No segundo, o resultado veio de testes objetivos. Um modelo que explica com clareza pode falhar em um caso extremo; um modelo menos convincente na teoria pode entregar código correto para aquele contrato.