Бенчмарки Sonnet 5.5: цифры вендора и независимые замеры

сверено 29 октября 2026≈ 6 мин чтения#тесты

Цифры о модели приходят из двух мест: из анонса самой Anthropic и с независимых лидербордов. Первые подробнее, вторые сопоставимы между вендорами. Ниже — обе группы и разбор, почему они расходятся.

Таблица Anthropic

Тест	Что проверяет	Sonnet 5.5	Sonnet 5	Opus 5.5
Terminal-Bench 4.0	агентные задачи в терминале	70,6 %	10,3 %	66,4 %
FrontierCode 1.1	сложное программирование	46,2 % / 52,1 %	42,4 %	54,4 %
CursorBench 4.0	агентное программирование	55,5 %	34,1 %	57,8 %
GDPval-AA v2.1	офисные задачи, Эло	1844	1449	1846
AA-Briefcase v1.1	работа со знаниями, Эло	1811	1359	1822
HLE с инструментами	вопросы экспертного уровня	64,5 %	54,9 %	67,7 %
OSWorld 2.1 partial	управление компьютером	80,1 %	57,0 %	81,8 %
Chartography	чтение графиков без инструментов	61,6 %	15,6 %	64,4 %

Источник — анонс от 28 сентября 2026 года. FrontierCode у Sonnet 5.5: 46,2 % на уровне Max и 52,1 % на Xhigh. Результат Opus 5.5 на Terminal-Bench — на уровне Xhigh. Humanity's Last Exam без инструментов у Sonnet 5.5 — 56,9 %.

Про FrontierCode у самой Anthropic есть оговорка: на уровне Max модель набрала меньше, чем на Xhigh, потому что запускала в Claude Code дополнительных субагентов для ревью, упиралась в тайм-ауты и правила код за пределами задачи. Это полезная деталь для практики: максимальный уровень усилия не гарантирует максимального результата.

Те же тесты в анонсе Haiku 5.5 от 7 октября дают для Sonnet 5.5 немного другие числа: GDPval-AA 1840, AA-Briefcase 1824, OSWorld 2.1 на офлайн-подвыборке 83,9 %. Это другие прогоны и подвыборки; сравнивать между собой стоит цифры из одного анонса.

Цена результата

Anthropic отдельно показывает, сколько стоит результат на разных уровнях усилия:

Terminal-Bench 4.0: уже на medium — больше, чем у Sonnet 5 на её максимуме, при стоимости задачи меньше десятой части.
FrontierCode: на high — вровень с максимальным результатом GPT-6 Sol примерно за пятую часть цены.
CursorBench: на low — выше максимума Sonnet 5 меньше чем за десятую часть стоимости; максимальный собственный результат отстаёт от Opus 5.5 примерно на два пункта.
AA-Briefcase: на medium — выше максимума Sonnet 5 примерно за девятую часть цены.

Независимые замеры

Источник и метрика	Sonnet 5.5	Opus 5.5
Artificial Analysis, индекс v5	54,2 (8-е из 52)	58,4
AA, Terminal-Bench 4.0	63,6 %	59,6 %
AA, Humanity's Last Exam	55,0 %	61,4 %
AA, скорость вывода, токенов в секунду	136,9	98,3
AA, выходных токенов на прогон индекса	340 млн	220 млн
LMArena Text, Эло	1478 (xHigh)	1509 (High)
ARC-AGI-3, стандартный харнесс	24,3 %	нет замера
ARC-AGI-2	83,9 %	91,7 %

Снято 29 октября 2026: Artificial Analysis (замер на уровне Max), датасет LMArena (срез 22 октября 2026, вид со style control), ARC Prize (данные лидерборда на 28 октября).

Самое показательное — Terminal-Bench 4.0: в независимом замере Sonnet 5.5 тоже набирает больше Opus 5.5, хотя абсолютные значения ниже вендорских (63,6 против 70,6). Из 27 моделей, которые мы сверяли по лидерборду AA, выше на этом тесте только Kimi K3.1 Pro (67,2) и Gemini 4 Carbon (65,2).

Арена показывает другую сторону: в слепом сравнении ответов в чате люди чаще выбирают Opus 5.5 — 1509 против 1478. Арена меряет предпочтения в диалоге, а не агентную работу, так что противоречия здесь нет. Индекс AA ставит Sonnet 5.5 на восьмое место, рядом GPT-6.1 Sol с 54,5. И модель многословна: на максимальном уровне усилия она выдала на прогон индекса 340 млн токенов — больше всех в таблице AA, поэтому средняя задача обошлась в $10,02, почти как у Opus 5.5.

Чего нет

SWE-bench Verified: лидерборд на swebench.com последний раз пополнялся 26 февраля 2026 года, моделей поколения 5.5 там нет. GPQA Diamond, MMLU-Pro, AIME и LiveCodeBench Anthropic для Sonnet 5.5 не публикует, а Artificial Analysis у новых моделей эти тесты больше не гоняет. Если где-то видите такие цифры для Sonnet 5.5, проверьте, откуда они. В российских рейтингах — MERA и арене llmarena.ru — моделей Claude поколения 5.5 тоже нет.

Как перенести цифры на свою задачу

Бенчмарк — ориентир, а не прогноз для вашего репозитория. Рабочий порядок: взять 20–30 реальных задач из своей истории — закрытые баги, миграции, тесты, — прогнать их на двух-трёх уровнях усилия и считать не только долю решённых, но и стоимость в токенах. Для Sonnet 5.5 это особенно важно: уровни перекалиброваны относительно Sonnet 5, и одинаковое название не значит одинаковый расход. Результаты других моделей на тех же и соседних тестах собраны в общей таблице бенчмарков нейросетей.

Вопросы и ответы

Какой результат у Sonnet 5.5 на Terminal-Bench?

По данным Anthropic — 70,6 % на Terminal-Bench 4.0 (у Opus 5.5 — 66,4 %, у Sonnet 5 — 10,3 %). В независимом замере Artificial Analysis — 63,6 % против 59,6 % у Opus 5.5.

Есть ли у Sonnet 5.5 результат SWE-bench Verified?

Нет. Anthropic в анонсах поколения 5.5 этот тест не публикует, а лидерборд swebench.com последний раз пополнялся 26 февраля 2026 года, моделей 5.5 там нет.

Какое место Sonnet 5.5 в рейтинге Artificial Analysis?

Индекс Intelligence v5 — 54,2 балла, восьмое место из 52 моделей на 29 октября 2026 года. Рядом GPT-6.1 Sol с 54,5, у Opus 5.5 — 58,4.

Почему у Anthropic и у Artificial Analysis разные цифры?

Разные обвязки агента, настройки и прогоны. Вендор публикует результат в своих условиях, AA гоняет все модели одинаково. Сравнивать стоит цифры внутри одного источника.