LLM アリーナ

npm run arena          # scores the default local field via Ollama

​

タスクのはしご

​

自分のモデルを持ち込む

# Local models (Ollama)
ARENA_MODELS="gemma4:e4b,qwen3:4b" npm run arena

# Any hosted model — one OpenRouter key covers most of the market
ARENA_API=openai ARENA_BASE_URL=https://openrouter.ai/api/v1 \
ARENA_API_KEY=sk-or-... ARENA_TIER=B-tier \
ARENA_MODELS="deepseek/deepseek-v3.2,z-ai/glm-5.1,xiaomi/mimo-v2.5" \
npm run arena

# Direct providers work too (any /v1/chat/completions endpoint):
#   DeepSeek:  ARENA_BASE_URL=https://api.deepseek.com/v1
#   vLLM/LM Studio: point ARENA_BASE_URL at your server

node scripts/arena-graphic.mjs    # light + dark SVGs from your own results

​

毎回の実行が記録するもの

• 量子化とパラメータサイズ（Ollama /api/show）と 常駐 VRAM（/api/ps、モデルがまだ 載っている間にサンプリング）— なので「8 GB カードで実際に何が動き、q4 で足りるか？」が 表から答えられます。同じモデルを q4 / q8 / fp16 ではしごに通すと、スコアが落ちる場所が 見えます。プローブが答えられないときはこれらの欄は空です（ホスト型エンドポイントに同等のものは ありません）— 推測しません。
• comfyui-mcp のバージョン。読めればすべての項目に押されます（自分のパッケージバージョンを 読めない実行は 未バージョン として記録され、スタンプ以前の実行と同じです）。絶対スコアは ツール面が変わると動くので、レポートはバージョンが混ざった（または未バージョンの実行が混ざった） リーダーボードを 直接比較できない と旗を立てます。
• 失敗時にモデルが手を伸ばしたすべてのツール、成功したものだけではありません。2 つ以上の モデルが同じ間違ったツールを選んで同じシナリオに失敗し（かつ合格した実行がそのツールを使って いない）とき、レポートは 疑わしいシナリオ と旗を立てます — フィールド全体の誤選択は ツールの 説明 の疑いであり、能力の隙間ではありません（前例: #557/#654。間違っていたのは モデルではなくこちらの文言でした）。そのシナリオのスコアを信じる前に説明を確認してください。

​

現在のリーダーボード

• gemini-3.1-pro-preview だけが毎回完璧（20-20-20）。
• claude-opus-4.8 と gpt-5.5 はどちらも 20 に届きますが、他の実行では 1 点落としました。
• B-tier はフロンティアから 1 点差 — GLM-5.1（19-19-19、フィールドでいちばん安定）、 Kimi-k2.5 と MiMo-v2.5 が 19 — フロンティア価格のごく一部です。
• 小さなローカルモデルは Basics と Gauntlet の一部はクリアしますが、Crucible のグラフ構成で 止まります。llama3.1:8b はツール形式をまったく保てません。

​

パネルのスモークテスト

SMOKE_MODELS="gemma4:e4b,xiaomi/mimo-v2.5" npm run smoke:panel