Benchmark LionClaw
Um report direto do que cada modelo construiu, o que funcionou no teste real e onde quebrou. Todos os episódios rodaram no mesmo pipeline, com o mesmo prompt e zero intervenção humana.
Claude Opus 5.0 (High)
Anthropic
Nota 94.8
Sprints
9
SPEC
1466 linhas
Tempo
6h25
Custo
US$ 133,80
O novo número 1 da série em nota geral, e o único episódio em que o modelo validou a própria entrega de ponta a ponta antes de declarar pronto: subiu o servidor de produção, testou cadastro e sessão via browser, streaming SSE real nos dois providers, tool calls ao vivo na barra e o tema conferido em pixel, documentando três achados não bloqueantes com oferta de correção. As três classes de bug que mataram episódios anteriores foram evitadas por construção: multi-turno via transcript único, detecção de CLI cacheada que nunca roda por mensagem e retry sem mensagem órfã. Na câmera, funcionou de primeira nas duas runs, com a melhor apresentação de tool calls da série. O que o segura fora do topo em coding: zero testes automatizados no repositório e a eficiência, com US$ 133,80 em 6h25, o Claude mais caro e mais longo da série, first-pass de 7 em 9 sprints.
GPT 5.6 Sol (xHigh)
OpenAI
Nota 94.6
Sprints
16
SPEC
761 linhas
Tempo
8h57
Custo
US$ 162,99
Construiu o NeonChat com Fastify e SQLite no backend, React com Vite no front, integrando os SDKs oficiais do Claude Agent e do Codex com streaming real. No teste ao vivo foi o único da série a funcionar 100% de primeira nas duas rodadas, com os dois providers ok e zero correção. É também o mais bem testado: 302 testes cobrindo adapters, tool calls, cancelamento e timeout, incluindo um teste com os CLIs reais que falha em vez de pular, além de documentação impecável. O porém é o preço: US$ 162,99 e quase 9 horas, o episódio mais caro e mais longo. Veredito: a referência da série, engenharia de gente grande com custo de gente grande.
Kimi K3.0 (Max)
Moonshot
Nota 93.6
Sprints
9
SPEC
624 linhas
Tempo
5h40
Custo
US$ 24,37
Entregou de primeira, zero correção. App em monorepo com Express, SQLite e os SDKs oficiais de Claude e Codex no servidor, React com Zustand no front. Na câmera funcionou completo: os dois provedores, cadastro, login e logout, streaming token a token e tool calls na barra de atividade, com UI limpa. A engenharia é a mais madura da série: senha com scrypt e salt, cookie assinado com HMAC, um único evento terminal por turno e cancelamento de subprocesso via varredura do /proc. O calcanhar é o mesmo do pelotão: zero testes automatizados. Veredito: vice-líder, engenharia de ponta voando sem rede de testes.
Claude Fable 5 (Medium)
Anthropic
Nota 92.8
Sprints
7
SPEC
647 linhas
Tempo
2h06
Custo
US$ 67,42
Entregou o app em monorepo com Express, SQLite e SDKs oficiais no servidor, e React com Zustand no front. Na câmera funcionou de primeira: GPT e Claude, cadastro, login, streaming e tool calls na barra de atividade, zero correção. A ressalva é que o modo de desenvolvimento que o próprio README manda usar devolve 403 em todo envio, então o teste rodou no build de produção. Qualidade é o calcanhar: zero testes automatizados, nem na camada de providers, e um bug bobo de email sensível a maiúsculas no login. Veredito: o app que simplesmente funciona, mas voando sem rede de segurança.
Claude Sonnet 5 (Max)
Anthropic
Nota 89.4
Sprints
9
SPEC
525 linhas
Tempo
3h05
Custo
US$ 51,13
Montou backend Express com Drizzle e SQLite e um front React encorpado com Tailwind, Radix, React Query e Zustand. Na câmera os dois providers responderam, mas as tool calls do Claude vieram com bug, a barra de atividade ficou mal posicionada embaixo do chat e o modelo inventou features fora do pedido, como múltiplas conversas e contador de caracteres. Zero testes automatizados no projeto inteiro, documentação boa porém com o PRD desatualizado em dois pontos, e faltou botão de parar o turno. O acerto grande foi evitar de fábrica o bug de multi-turno que derrubou outros episódios. Veredito: funciona com arranhões, criativo demais para o escopo e descoberto de testes.
Claude Fable 5 (High)
Anthropic
Nota 89.0
Sprints
7
SPEC
668 linhas
Tempo
2h36
Custo
US$ 89,46
Construiu monorepo com Fastify, SQLite e argon2 no servidor e React com Tailwind no front, com segurança acima do que foi pedido. Na câmera decepcionou: a conversa multi-turno nunca tinha funcionado, o segundo turno sempre morria, e só andou depois que o juiz corrigiu o formato de envio do histórico ao SDK, além de outro conserto no gate de status que bloqueava mensagens. Tem 17 testes, todos concentrados na camada de providers, deixando auth, rotas e 100% do frontend descobertos, e a documentação é excelente apesar de um PRD defasado. Veredito: engenharia bonita no papel que entregou um chat que não conversava.
GPT 5.6 Terra (Max)
OpenAI
Nota 88.3
Sprints
10
SPEC
769 linhas
Tempo
3h58
Custo
US$ 39,86
Entregou o app com Fastify e React usando os SDKs oficiais do Claude Agent e do Codex, pelo menor custo entre os quatro primeiros, cerca de US$ 40. Na câmera o Claude funcionou, mas o Codex nem conectou, deixando metade dos modelos morta, e a barra de atividade virou um despejo de logs JSON em vez de uma barra de verdade, num front cru e sem acabamento. Tinha 26 arquivos de teste, todos com dublês de SDK: a suíte passou verde enquanto a conexão real do Codex estava quebrada, ou seja, o caminho crítico nunca foi protegido. A documentação é forte, com a melhor matriz de aceitação da série. Veredito: a lição do benchmark, teste com dublê não prova que o app funciona.
GLM 5.2 (Max)
Zhipu
Nota 84.8
Sprints
7
SPEC
1421 linhas
Tempo
2h47
Custo
US$ 15,39
Chat web TypeScript de ponta a ponta: React com Vite e Tailwind no front, Express com SQLite no back, cerca de 7,5 mil linhas e o visual mais bonito da série. No teste real o app nasceu travado: o login ficava preso em “Entrando…” para sempre por um bug de carregamento no modo dev, corrigido com uma linha em dois arquivos. Destravado, as ferramentas funcionaram, mas 2 dos 3 modelos Claude falhavam porque o app passa ids internos inválidos ao CLI, e a integração Codex usa uma flag inventada que quebra no binário real. Documentação forte e streaming caprichado no servidor, porém zero testes automatizados no projeto inteiro. Veredito: o mais bonito e um dos mais sólidos por dentro, derrubado por bugs que uma rodada manual teria pego.
MiniMax M3
MiniMax
Nota 82.4
Sprints
6
SPEC
917 linhas
Tempo
2h31
Custo
US$ 11,71
Chat em React com Vite no front e Express com SQLite no back, o único da série que integrou os SDKs oficiais da Anthropic e da OpenAI em vez de improvisar por cima do CLI. No teste real parecia todo quebrado: qualquer falha virava o banner de “limite de mensagens atingido”. Eram dois bugs empilhados: um limite de 1 turno que matava toda chamada de ferramenta e um status 429 fixo no front que fantasiava qualquer erro de rate limit; corrigidos os dois, o chat com ferramentas funcionou bem no Claude, só o Codex seguiu fora do ar. Zero testes automatizados e o chat esquece o histórico: cada mensagem chega ao modelo sem contexto anterior. Veredito: a arquitetura mais honesta da série, sabotada por dois detalhes bobos.
Claude Opus 4.8 (High)
Anthropic
Nota 82.1
Sprints
7
SPEC
549 linhas
Tempo
1h40
Custo
US$ 32,69
Opus no modo High: frontend impecável e autenticação sólida, mas o chat nasce morto. A UI é sofisticada e o login com sessão httpOnly funciona de verdade, e a integração dos dois SDKs oficiais é genuína. O código é limpo, strict, sem any. Mas repete o erro exato do Grok: em backend/src/domains/chat/chat.routes.ts o stream escuta o close do request em vez do da resposta, e no Node 22 esse evento dispara assim que o corpo é lido, abortando o turno antes de escrever um byte. O chat responde 200 e fecha vazio em um milissegundo, sempre. Nenhum teste automatizado pegou o bug. A US$ 32,69 e 21 milhões de tokens, é um dos runs mais caros da série e entrega o mesmo paradoxo do Grok: planejamento e execução de ponta anulados por um cancelamento prematuro de uma linha.
GPT 5.5 (xHigh)
OpenAI
Nota 81.3
Sprints
9
SPEC
995 linhas
Tempo
4h10
Custo
US$ 70,87
Backend Fastify com SQLite e front React com Vite, tudo TypeScript, sem SDK oficial: o servidor spawna os CLIs diretamente. No teste real o app não mandava nem um oi: o comando do Claude CLI saía sem a flag --verbose, que é obrigatória, e todo turno morria num genérico “a resposta foi interrompida”. O Codex também falhava, porque o id de modelo escolhido não é aceito em conta de assinatura, e o app ainda redigia o erro real dos logs, impossível de diagnosticar. Por dentro é o mais profissional: 42 testes de integração no servidor, documentação que o código cumpre quase à risca e segurança exemplar. Veredito: engenharia de primeira num app que nunca respondeu uma mensagem sem conserto.
Grok 4.5 (High)
xAI
Nota 81.1
Sprints
7
SPEC
851 linhas
Tempo
1h28
Custo
US$ 9,24
Melhor cérebro da série e a pior entrega. Orquestração e documentação são as mais fortes de todo o campo: respostas específicas e justificadas em cada fase, decisões coerentes, memória aplicada, e uma SPEC que cobre 100% da Definição de Pronto com critério verificável. O código é limpo (strict, zero any em 6,6 mil linhas, bcrypt, cookie httpOnly) e a integração dos dois SDKs oficiais é genuína, não mockada. Mas o produto está morto na entrega: uma linha em server/routes/chat.ts usa o listener de close do request em vez do da resposta, e no Node 22 esse evento dispara logo após o envio, abortando o stream antes de qualquer byte. O chat responde 200 e fecha vazio, sempre. Zero testes automatizados, o que teria pego o bug. Veredito: engenharia e planejamento de ponta anulados por um cancelamento prematuro de 1 linha.
GPT 5.6 Luna (Max)
OpenAI
Nota 80.2
Sprints
21
SPEC
833 linhas
Tempo
13h16
Custo
US$ 69,73
Chamou os dois CLIs de verdade, confirmado nos logs de Claude e Codex, mas travou os agentes num sandbox de fixture: por design, o modelo só lê um arquivo fixo de validação e não acessa o repositório. As chamadas funcionam e autenticam, porém os agentes não fazem trabalho real, e num teste o modelo afirmou ter lido o arquivo antes de ler de fato. É o único da leva com suíte de testes real, 13 arquivos, e higiene forte com strict e zero any, mas peca por over-engineering pesado, quase 10 mil linhas para um leitor de fixture, e por construir tudo sobre um cenário de validação sintético. Veredito: engenharia caprichada resolvendo o problema errado.
Claude Opus 4.8 (Max)
Anthropic · re-run
Nota 73.8
Sprints
8
SPEC
646 linhas
Tempo
2h04
Custo
US$ 43,21
Backend Fastify com SQLite, front React com Vite, com o visual e a barra de atividade mais completos da série. No teste real nem o cadastro passou: o app foi desenhado para usuário único e veio com um usuário de teste residual ocupando a única vaga, então toda tentativa dizia que já existia conta. Limpo o banco, o envio de mensagem falhava sempre: os dois providers são cascas que só devolvem erro e os SDKs de Claude e Codex nem constam do package.json, ou seja, o núcleo do produto nunca foi implementado. Auth e frontend impecáveis, mas zero testes e nenhum caminho para uma conversa real. Veredito: acabamento de primeira em volta de um motor que não existe.
Kimi K2.7
Moonshot
Nota 72.2
Sprints
6
SPEC
1001 linhas
Tempo
2h25
Custo
US$ 7,81
Express com SQLite no back, React com Vite, Tailwind e Zustand no front, cerca de 4 mil linhas, e o único a acertar as cores exatas da marca. No teste real o chat nunca funcionou: o mesmo bug da flag --verbose do GPT 5.5 derrubava todo turno Claude, e mesmo depois da correção o streaming não renderizava, porque o parser de eventos do front nunca anexa o tipo do evento. O seletor de modelos é fachada: a escolha nunca é passada ao CLI e tudo roda no modelo padrão. Zero testes automatizados, exatamente o cenário em que um teste de integração do stream teria pego o bug fatal. Veredito: esqueleto decente, mas o coração do app ficou morto de ponta a ponta.