Benchmark LionClaw
0–100 pontos
Ranking Geral
Soma dos três benchmarks: Orquestração (30) + Documentação (20) + Coding (50).
GPT 5.6 Sol (xHigh)
líder
OpenAI
Claude Fable 5 (Medium)
Anthropic
Claude Sonnet 5 (Max)
Anthropic
Claude Fable 5 (High)
Anthropic
GPT 5.6 Terra (Max)
OpenAI
GLM 5.2 (Max)
Zhipu
MiniMax M3
MiniMax
GPT 5.5 (xHigh)
OpenAI
Claude Opus 4.8 (Max)
Anthropic
Kimi K2.7
Moonshot
O prompt do desafio, na íntegra
Peso 30
Bench 1: Orquestração
A qualidade das respostas e decisões que o modelo deu conduzindo o pipeline: discovery, aprovações nos validadores, decisões técnicas justificadas, coerência do início ao fim e uso da memória do usuário.
GPT 5.6 Sol (xHigh)
líder
OpenAI
Claude Fable 5 (Medium)
Anthropic
Claude Sonnet 5 (Max)
Anthropic
GPT 5.6 Terra (Max)
OpenAI
GLM 5.2 (Max)
Zhipu
Claude Fable 5 (High)
Anthropic
Claude Opus 4.8 (Max)
Anthropic
MiniMax M3
MiniMax
GPT 5.5 (xHigh)
OpenAI
Kimi K2.7
Moonshot
Peso 20
Bench 2: Documentação Técnica
PRD, SPEC e plano de sprints escritos pelo próprio modelo: cobertura dos critérios de pronto, testabilidade, edge cases, consistência entre documentos e se o app entregue cumpre o que a própria SPEC prometeu.
GPT 5.6 Sol (xHigh)
líder
OpenAI
Claude Fable 5 (Medium)
Anthropic
GPT 5.6 Terra (Max)
OpenAI
Claude Fable 5 (High)
Anthropic
Claude Sonnet 5 (Max)
Anthropic
GPT 5.5 (xHigh)
OpenAI
GLM 5.2 (Max)
Zhipu
Claude Opus 4.8 (Max)
Anthropic
MiniMax M3
MiniMax
Kimi K2.7
Moonshot
Peso 50
Bench 3: Coding
O app de verdade: backend (auth, streaming, integrações), frontend (tema, estados, UX), qualidade de código (build, tipos, testes) e funcionalidade (critérios de pronto e bugs).
GPT 5.6 Sol (xHigh)
líder
OpenAI
Claude Fable 5 (Medium)
Anthropic
Claude Fable 5 (High)
Anthropic
Claude Sonnet 5 (Max)
Anthropic
MiniMax M3
MiniMax
GPT 5.6 Terra (Max)
OpenAI
GPT 5.5 (xHigh)
OpenAI
GLM 5.2 (Max)
Zhipu
Kimi K2.7
Moonshot
Claude Opus 4.8 (Max)
Anthropic
Backend
peso 10 de 50
GPT 5.6 Sol (xHigh)
96.9%
Claude Fable 5 (Medium)
92.5%
GLM 5.2 (Max)
90.2%
Claude Sonnet 5 (Max)
90.1%
MiniMax M3
89.3%
Claude Fable 5 (High)
88.9%
GPT 5.6 Terra (Max)
88.2%
GPT 5.5 (xHigh)
82.3%
Kimi K2.7
71.2%
Claude Opus 4.8 (Max)
55.2%
Frontend
peso 10 de 50
Claude Fable 5 (Medium)
96.1%
GLM 5.2 (Max)
94.8%
MiniMax M3
94.2%
GPT 5.6 Sol (xHigh)
93.8%
Claude Fable 5 (High)
92.7%
Claude Sonnet 5 (Max)
91.2%
Claude Opus 4.8 (Max)
90.9%
Kimi K2.7
89.3%
GPT 5.5 (xHigh)
84.6%
GPT 5.6 Terra (Max)
84.2%
Qualidade de Código
peso 15 de 50
GPT 5.6 Sol (xHigh)
92.4%
Claude Fable 5 (High)
86.2%
Claude Fable 5 (Medium)
84.2%
GPT 5.6 Terra (Max)
81.0%
Claude Sonnet 5 (Max)
80.1%
GPT 5.5 (xHigh)
78.4%
GLM 5.2 (Max)
72.3%
MiniMax M3
71.1%
Kimi K2.7
68.7%
Claude Opus 4.8 (Max)
68.2%
App Funcional
peso 15 de 50
GPT 5.6 Sol (xHigh)
95.8%
Claude Fable 5 (Medium)
95.1%
MiniMax M3
89.2%
Claude Sonnet 5 (Max)
87.0%
Claude Fable 5 (High)
82.1%
GPT 5.6 Terra (Max)
81.1%
GPT 5.5 (xHigh)
78.8%
GLM 5.2 (Max)
70.4%
Kimi K2.7
48.3%
Claude Opus 4.8 (Max)
43.2%
Fora dos 100
Painel de Eficiência
Custo e tempo para completar o mesmo pipeline. Não entra na nota: rende um ranking próprio de custo-benefício.
GPT 5.6 Sol (xHigh)
Custo
US$ 162,99
Tokens in
176,5M
Tokens out
1,25M
Tempo
8h57
Nota geral
94.6
Claude Fable 5 (High)
Custo
US$ 89,46
Tokens in
28,0M
Tokens out
620K
Tempo
2h36
Nota geral
89.0
GPT 5.5 (xHigh)
Custo
US$ 70,87
Tokens in
53,7M
Tokens out
699K
Tempo
4h10
Nota geral
81.3
Claude Fable 5 (Medium)
Custo
US$ 67,42
Tokens in
21,2M
Tokens out
410K
Tempo
2h06
Nota geral
92.8
Claude Sonnet 5 (Max)
Custo
US$ 51,13
Tokens in
68,0M
Tokens out
866K
Tempo
3h05
Nota geral
89.4
Claude Opus 4.8 (Max)
Custo
US$ 43,21
Tokens in
30,8M
Tokens out
477K
Tempo
2h04
Nota geral
73.8
GPT 5.6 Terra (Max)
Custo
US$ 39,86
Tokens in
68,0M
Tokens out
905K
Tempo
3h58
Nota geral
88.3
GLM 5.2 (Max)
Custo
US$ 15,39
Tokens in
41,7M
Tokens out
516K
Tempo
2h47
Nota geral
84.8
MiniMax M3
Custo
US$ 11,71
Tokens in
70,5M
Tokens out
616K
Tempo
2h31
Nota geral
82.4
Kimi K2.7
Custo
US$ 7,81
Tokens in
30,4M
Tokens out
377K
Tempo
2h25
Nota geral
72.2
Fora dos 100
Custo em Perspectiva
Dois cortes visuais sobre o mesmo pipeline: quanto cada ponto de qualidade custou, e quanto custou cada token processado.
Qualidade da entrega × custo
Nota geral (0 a 100) contra o custo total do pipeline em US$, escala log.
Tokens processados × custo
Volume total de tokens (entrada + cache + saída) contra o custo em US$, conferido request a request nos transcripts dos CLIs. Quanto mais abaixo e à direita, mais barato o token efetivo.
Metodologia
Como Funciona
Mesmo desafio, checks determinísticos e um Juiz com régua fixa. A nota final soma Orquestração (30) + Documentação (20) + Coding (50).
1
Mesmo desafio, uma variável
Mesmo prompt, mesma definição de pronto, mesma memória, mesmo harness: o LionClaw, sistema de coding da comunidade LionLab. Só o modelo muda entre episódios, e ele ocupa todas as cadeiras: orquestrador, analista, arquiteto, coder e avaliador.
2
Checks determinísticos
Antes de qualquer opinião, a máquina decide: install, build, typecheck, testes, lint e varredura estática rodam idênticos em todo projeto. Código e lógica passam ou não passam sem interpretação.
3
Juiz com régua fixa
Quem avalia nunca é o modelo competidor. Um Juiz externo analisa exatamente as mesmas dimensões em todo código — orquestração, documentação, backend, frontend, qualidade e app funcional com a mesma rubrica e evidência citada (arquivo e linha) para cada nota.
30
Orquestração
20
Documentação
50
Coding