Benchmark LionClaw
0–100 pontos
Ranking Geral
Soma dos três benchmarks: Orquestração (30) + Documentação (20) + Coding (50).
Claude Opus 5.0 (High)
líder
Anthropic
94.8%
GPT 5.6 Sol (xHigh)
OpenAI
Kimi K3.0 (Max)
Moonshot
Claude Fable 5 (Medium)
Anthropic
Claude Sonnet 5 (Max)
Anthropic
Claude Fable 5 (High)
Anthropic
GPT 5.6 Terra (Max)
OpenAI
GLM 5.2 (Max)
Zhipu
MiniMax M3
MiniMax
Claude Opus 4.8 (High)
Anthropic
82.1%
GPT 5.5 (xHigh)
OpenAI
Grok 4.5 (High)
xAI
81.1%
GPT 5.6 Luna (Max)
OpenAI
Claude Opus 4.8 (Max)
Anthropic
Kimi K2.7
Moonshot
O prompt do desafio, na íntegra
Peso 30
Bench 1: Orquestração
A qualidade das respostas e decisões que o modelo deu conduzindo o pipeline: discovery, aprovações nos validadores, decisões técnicas justificadas, coerência do início ao fim e uso da memória do usuário.
Claude Opus 5.0 (High)
líder
Anthropic
94.5%
GPT 5.6 Sol (xHigh)
OpenAI
Claude Fable 5 (Medium)
Anthropic
Grok 4.5 (High)
xAI
93.4%
Claude Opus 4.8 (High)
Anthropic
93.4%
Claude Sonnet 5 (Max)
Anthropic
GPT 5.6 Terra (Max)
OpenAI
Kimi K3.0 (Max)
Moonshot
GLM 5.2 (Max)
Zhipu
Claude Fable 5 (High)
Anthropic
Claude Opus 4.8 (Max)
Anthropic
GPT 5.6 Luna (Max)
OpenAI
MiniMax M3
MiniMax
GPT 5.5 (xHigh)
OpenAI
Kimi K2.7
Moonshot
Peso 20
Bench 2: Documentação Técnica
PRD, SPEC e plano de sprints escritos pelo próprio modelo: cobertura dos critérios de pronto, testabilidade, edge cases, consistência entre documentos e se o app entregue cumpre o que a própria SPEC prometeu.
Claude Opus 5.0 (High)
líder
Anthropic
96.0%
Kimi K3.0 (Max)
Moonshot
GPT 5.6 Sol (xHigh)
OpenAI
Claude Fable 5 (Medium)
Anthropic
Grok 4.5 (High)
xAI
94.7%
Claude Opus 4.8 (High)
Anthropic
94.7%
GPT 5.6 Terra (Max)
OpenAI
Claude Fable 5 (High)
Anthropic
Claude Sonnet 5 (Max)
Anthropic
GPT 5.5 (xHigh)
OpenAI
GLM 5.2 (Max)
Zhipu
GPT 5.6 Luna (Max)
OpenAI
Claude Opus 4.8 (Max)
Anthropic
MiniMax M3
MiniMax
Kimi K2.7
Moonshot
Peso 50
Bench 3: Coding
O app de verdade: backend (auth, streaming, integrações), frontend (tema, estados, UX), qualidade de código (build, tipos, testes) e funcionalidade (critérios de pronto e bugs).
GPT 5.6 Sol (xHigh)
líder
OpenAI
Claude Opus 5.0 (High)
Anthropic
94.6%
Kimi K3.0 (Max)
Moonshot
Claude Fable 5 (Medium)
Anthropic
Claude Fable 5 (High)
Anthropic
Claude Sonnet 5 (Max)
Anthropic
MiniMax M3
MiniMax
GPT 5.6 Terra (Max)
OpenAI
GPT 5.5 (xHigh)
OpenAI
GLM 5.2 (Max)
Zhipu
GPT 5.6 Luna (Max)
OpenAI
Claude Opus 4.8 (High)
Anthropic
70.3%
Grok 4.5 (High)
xAI
68.4%
Kimi K2.7
Moonshot
Claude Opus 4.8 (Max)
Anthropic
Backend
peso 10 de 50
GPT 5.6 Sol (xHigh)
96.9%
Kimi K3.0 (Max)
94.8%
Claude Opus 5.0 (High)
94.8%
Claude Fable 5 (Medium)
92.5%
GLM 5.2 (Max)
90.2%
Claude Sonnet 5 (Max)
90.1%
MiniMax M3
89.3%
Claude Fable 5 (High)
88.9%
GPT 5.6 Terra (Max)
88.2%
Claude Opus 4.8 (High)
87.5%
GPT 5.5 (xHigh)
82.3%
Grok 4.5 (High)
81.2%
GPT 5.6 Luna (Max)
79.2%
Kimi K2.7
71.2%
Claude Opus 4.8 (Max)
55.2%
Frontend
peso 10 de 50
Claude Opus 5.0 (High)
97.2%
Claude Fable 5 (Medium)
96.1%
Kimi K3.0 (Max)
95.2%
GLM 5.2 (Max)
94.8%
MiniMax M3
94.2%
GPT 5.6 Sol (xHigh)
93.8%
Claude Fable 5 (High)
92.7%
Claude Opus 4.8 (High)
92.5%
Claude Sonnet 5 (Max)
91.2%
Claude Opus 4.8 (Max)
90.9%
Kimi K2.7
89.3%
Grok 4.5 (High)
89.2%
GPT 5.6 Luna (Max)
84.9%
GPT 5.5 (xHigh)
84.6%
GPT 5.6 Terra (Max)
84.2%
Qualidade de Código
peso 15 de 50
GPT 5.6 Sol (xHigh)
92.4%
Claude Opus 5.0 (High)
90.0%
Kimi K3.0 (Max)
87.2%
Claude Fable 5 (High)
86.2%
Claude Fable 5 (Medium)
84.2%
GPT 5.6 Terra (Max)
81.0%
Claude Sonnet 5 (Max)
80.1%
Grok 4.5 (High)
79.1%
Claude Opus 4.8 (High)
79.1%
GPT 5.5 (xHigh)
78.4%
GLM 5.2 (Max)
72.3%
GPT 5.6 Luna (Max)
71.3%
MiniMax M3
71.1%
Kimi K2.7
68.7%
Claude Opus 4.8 (Max)
68.2%
App Funcional
peso 15 de 50
Kimi K3.0 (Max)
97.2%
Claude Opus 5.0 (High)
97.2%
GPT 5.6 Sol (xHigh)
95.8%
Claude Fable 5 (Medium)
95.1%
MiniMax M3
89.2%
Claude Sonnet 5 (Max)
87.0%
Claude Fable 5 (High)
82.1%
GPT 5.6 Terra (Max)
81.1%
GPT 5.6 Luna (Max)
79.0%
GPT 5.5 (xHigh)
78.8%
GLM 5.2 (Max)
70.4%
Kimi K2.7
48.3%
Claude Opus 4.8 (Max)
43.2%
Grok 4.5 (High)
35.2%
Claude Opus 4.8 (High)
35.2%
Fora dos 100
Painel de Eficiência
Custo e tempo para completar o mesmo pipeline. Não entra na nota: rende um ranking próprio de custo-benefício.
GPT 5.6 Sol (xHigh)
Custo
US$ 162,99
Tokens in
176,5M
Tokens out
1,25M
Tempo
8h57
Nota geral
94.6
Claude Opus 5.0 (High)
Custo
US$ 133,80
Tokens in
120,4M
Tokens out
1,5M
Tempo
6h25
Nota geral
94.8
Claude Fable 5 (High)
Custo
US$ 89,46
Tokens in
28,0M
Tokens out
620K
Tempo
2h36
Nota geral
89.0
GPT 5.5 (xHigh)
Custo
US$ 70,87
Tokens in
53,7M
Tokens out
699K
Tempo
4h10
Nota geral
81.3
GPT 5.6 Luna (Max)
Custo
US$ 69,73
Tokens in
395,1M
Tokens out
2,76M
Tempo
13h16
Nota geral
80.2
Claude Fable 5 (Medium)
Custo
US$ 67,42
Tokens in
21,2M
Tokens out
410K
Tempo
2h06
Nota geral
92.8
Claude Sonnet 5 (Max)
Custo
US$ 51,13
Tokens in
68,0M
Tokens out
866K
Tempo
3h05
Nota geral
89.4
Claude Opus 4.8 (Max)
Custo
US$ 43,21
Tokens in
30,8M
Tokens out
477K
Tempo
2h04
Nota geral
73.8
GPT 5.6 Terra (Max)
Custo
US$ 39,86
Tokens in
68,0M
Tokens out
905K
Tempo
3h58
Nota geral
88.3
Claude Opus 4.8 (High)
Custo
US$ 32,69
Tokens in
21,0M
Tokens out
388K
Tempo
1h40
Nota geral
82.1
Kimi K3.0 (Max)
Custo
US$ 24,37
Tokens in
38,6M
Tokens out
560K
Tempo
5h40
Nota geral
93.6
GLM 5.2 (Max)
Custo
US$ 15,39
Tokens in
41,7M
Tokens out
516K
Tempo
2h47
Nota geral
84.8
MiniMax M3
Custo
US$ 11,71
Tokens in
70,5M
Tokens out
616K
Tempo
2h31
Nota geral
82.4
Grok 4.5 (High)
Custo
US$ 9,24
Tokens in
12,2M
Tokens out
342K
Tempo
1h28
Nota geral
Kimi K2.7
Custo
US$ 7,81
Tokens in
30,4M
Tokens out
377K
Tempo
2h25
Nota geral
72.2
Fora dos 100
Custo em Perspectiva
Dois cortes visuais sobre o mesmo pipeline: quanto cada ponto de qualidade custou, e quanto custou cada token processado.
Qualidade da entrega × custo
Nota geral (0 a 100) contra o custo total do pipeline em US$, escala log.
Tokens processados × custo
Volume total de tokens (entrada + cache + saída) contra o custo em US$, conferido request a request nos transcripts dos CLIs. Quanto mais abaixo e à direita, mais barato o token efetivo.
Metodologia
Como Funciona
Mesmo desafio, checks determinísticos e um Juiz com régua fixa. A nota final soma Orquestração (30) + Documentação (20) + Coding (50).
1
Mesmo desafio, uma variável
Mesmo prompt, mesma definição de pronto, mesma memória, mesmo harness: o LionClaw, sistema de coding da comunidade LionLab. Só o modelo muda entre episódios, e ele ocupa todas as cadeiras: orquestrador, analista, arquiteto, coder e avaliador.
2
Checks determinísticos
Antes de qualquer opinião, a máquina decide: install, build, typecheck, testes, lint e varredura estática rodam idênticos em todo projeto. Código e lógica passam ou não passam sem interpretação.
3
Juiz com régua fixa
Quem avalia nunca é o modelo competidor. Um Juiz externo analisa exatamente as mesmas dimensões em todo código — orquestração, documentação, backend, frontend, qualidade e app funcional com a mesma rubrica e evidência citada (arquivo e linha) para cada nota.
30
Orquestração
20
Documentação
50
Coding