Как снизить расходы на токены без отказа от Claude 3.7

Счета за API съедают бюджет проекта. Обработка текста через Claude 3.7 Sonnet по $3 за миллион входных токенов или прямая аренда инстансов AWS H100 по $6.88 в час делают массовую генерацию нерентабельной. Переписывать продакшен с привычного стека PyTorch и CUDA на JAX ради экономии долго. Свободных инженерных рук на такие масштабные задачи обычно нет.

Разберем механики ценообразования на рынке железа и настроим гибридную маршрутизацию через единый шлюз для перенаправления рутинных задач на дешевые чипы TPU.

Откуда взялся дефицит видеокарт и при чем здесь 108 миллиардов долларов

Рынок долго верил в естественную нехватку вычислительных мощностей. Расследование The Wall Street Journal показало скрытую механику формирования цен. Руководство Nvidia во главе с бывшим CEO Дженсеном Хуангом форсировало сделки кольцевого финансирования с облачными провайдерами и ИИ-стартапами во второй половине 2026 года. Схема работала прямолинейно. Производитель чипов выдавал стартапам кредиты или инвестировал в них деньги при условии покупки оборудования Nvidia. Компания активно поглощала избыток полупроводниковых пластин от TSMC. Это помогало искусственно удержать цены на графические процессоры на стабильно высоком уровне. Стартапы получали железо, а Nvidia показывала рекордную выручку.

Внутри компании начались острые конфликты вокруг масштабов гарантированных сделок. Дженсен Хуанг раскритиковал финдиректора Колетт Кресс после ее назначения на пост временного CEO. Она потребовала резко сократить финансовые обязательства и свернуть соглашение с OpenAI. Договор включал гарантии на 250 миллиардов долларов для строительства крупнейшего дата-центра.

Официальный финансовый отчет Nvidia за квартал до 26 июля 2026 года зафиксировал максимальный объем кредитных и арендных гарантий перед клиентами на сумму 108.5 миллиарда долларов. Из этой суммы 105 миллиардов долларов приходятся на поддержку кампуса дата-центра OpenAI в штате Огайо. Подобные финансовые вливания создали видимость бесконечного спроса на оборудование. Юридические последствия пока не наступили. Минюст США и SEC официально не предъявили обвинений Nvidia в картельном сговоре или манипулировании рынком акций. Внутри компании подобные сделки квалифицируются как обычное вендорное проектное финансирование.

Перенаправление кремниевых пластин TSMC, памяти DRAM и NAND в сторону ИИ-ускорителей дата-центров вызвало мгновенный взлет потребительских цен. Производители памяти переключили конвейеры на выпуск чипов HBM для серверов. Обычная оперативная память DDR5 подорожала вслед за видеокартами. Видеокарты GeForce превышали 160% от рекомендованной розничной цены. Флагманская модель RTX 5090 стала практически недоступна для свободной покупки. Геймеры и независимые исследователи потеряли возможность собирать локальные рабочие станции по адекватной цене.

Рыночные ставки на аренду графических чипов искусственно разгонялись. Годовая аренда ускорителя H100 поднялась с $1.70 за час в октябре 2025 года до $2.35 в марте 2026 года. Медианная цена по требованию достигла $2.70 к июню 2026 года. Ставки на поколение Blackwell B200 колеблются от $5.30 до $7.05 за час работы чипа. На платформе AWS аренда инстанса H100 доходит до $6.88 за час. Типовой стек ИИ-стартапа с генерацией миллиона токенов в день стал обходиться на 40% дороже за один год.

Сколько стоит миллион токенов у разных вендоров

Разница в стоимости железа напрямую отражается на ценах API. Мы собрали актуальные тарифы на ноябрь 2026 года для популярных моделей генерации текста. Вендоры закладывают стоимость амортизации оборудования в каждый сгенерированный токен.

Модель Gemini 2.0 Flash обходится в 30 раз дешевле Claude 3.7 Sonnet на входных токенах. Разрыв в цене на выходных токенах между этими же моделями достигает 37.5 раз. Вызовы легковесной модели OpenAI GPT-4o-mini стоят $0.15 за миллион входных токенов и $0.60 за миллион выходных. Кэшированный контекст у GPT-4o-mini обходится разработчикам в $0.075.

Флагманская reasoning-модель Claude 3.7 Sonnet в API Anthropic стоит $3.00 за миллион входных токенов и $15.00 за миллион выходных токенов. Эта сумма включает обязательную генерацию thinking tokens. Попадание в кэш снижает стоимость входа до $0.30. Модель Claude Haiku 5.5 оценивается в $0.10 за миллион входных и $0.50 за миллион выходных токенов при промптах до 100 000 токенов.

Блендед-ставка у Gemini 2.0 Flash составляет $0.50 за миллион входных и миллион выходных токенов суммарно. Это на 33% дешевле предыдущего поколения Gemini 1.5 Flash. Разница в тарифах объясняется архитектурой дата-центров и стоимостью используемых чипов.

Точная внутренняя маржинальность за токен остается неизвестной. Ни OpenAI, ни Anthropic публично не раскрывают P&L в разрезе себестоимости каждого конкретного токена. Нельзя точно сказать, какая доля в $15 за миллион токенов Sonnet уходит на амортизацию кластеров Nvidia, а какая покрывает исследования, зарплаты и электроэнергию. Оценки картельной наценки рассчитываются аналитиками через стоимость аренды часа работы чипа и пропускную способность.

Почему инференс на TPU обходится дешевле

Экономика чипов строится на энергопотреблении и стоимости производства. Шестое поколение TPU Trillium потребляет 300 Вт TDP. Ускоритель Nvidia H100 требует 700 Вт TDP, а энергопотребление поколения Blackwell B200 доходит до 1200 Вт. Разница обеспечивает в 2.3 раза более высокую энергоэффективность на ватт при непрерывном инференсе. Кластер из десятков тысяч чипов экономит мегаватты электричества каждый час. Меньшее выделение тепла снижает затраты на системы жидкостного охлаждения дата-центров. Инфраструктура охлаждения забирает до трети бюджета при строительстве серверной фермы на базе Blackwell.

Почасовая аренда TPU v5e в Google Cloud составляет $1.20 за чип по требованию и $0.54 при трехлетнем контракте. Аренда TPU v6e Trillium обойдется в $2.70 по требованию и $1.22 при долгосрочном резервировании. Аренда инстанса AWS H100 стоит порядка $6.88 за час. Благодаря полной оптимизации аппаратного стека на собственных TPU-ускорителях удельная себестоимость инференса моделей Gemini у Google упала на 78% за 2025 год.

Полная себестоимость чипов Google TPU для третьих лиц тоже не публикуется. Google продает токены API Gemini с субсидированной маржой внутри своей экосистемы. Точная себестоимость производства TPU на заводах TSMC и чистая экономия Google на один сгенерированный токен остаются коммерческой тайной Alphabet.

Где специализированные чипы проигрывают графическим процессорам

Инференс на специализированных ASIC-чипах не дает автоматического выигрыша в скорости на любом запросе. При единичных интерактивных запросах с низким параллелизмом и размером батча от 1 до 4 современные графические процессоры Nvidia выдают сопоставимую или более низкую задержку первого токена. Огромная экосистема TensorRT и vLLM отлично оптимизирует одиночные вызовы. Архитектура GPU с высокой пропускной способностью памяти идеально подходит для моментального ответа одному пользователю. Графические процессоры быстрее загружают веса модели в память при частой смене контекста.

TPU дает выигрыш в цене на 50-70% только на больших пакетах от 32 запросов. Для этого требуется высокая утилизация кластера и постоянный поток токенов. При трехлетнем резервировании мощностей TPU Trillium себестоимость генерации миллиона токенов на примере плотных моделей 70B падает до $0.42. Аналогичная задача на инстансах AWS H100 по требованию обходится в $0.91 или $0.94. Разработчики чат-ботов с низкой нагрузкой могут не заметить разницы в скорости, но увидят разницу в счетах.

Создатели Claude тоже уходят от монополии CUDA

Зависимость от графических карт бьет по маржинальности самих разработчиков ИИ. Широко распространено убеждение о зависимости передовых лабораторий исключительно от стека CUDA. На практике ситуация меняется очень быстро.

Anthropic исторически обучала свои модели на кластерах Nvidia. В ноябре 2025 года компания заключила крупнейшую сделку в истории Google Cloud. Разработчики Claude зарезервировали сотни тысяч чипов TPU Trillium на 2026 год. Соглашение предусматривает масштабирование мощностей до миллиона чипов к 2027 году.

Anthropic использует эти мощности, чтобы снизить инфраструктурную зависимость от GPU Nvidia при инференсе. Масштабировать коммерческий API только на видеокартах оказалось невыгодно даже для лидеров рынка. Переход на другие чипы стал вопросом выживания бизнеса.

Гибридный роутинг через единый API заменяет переписывание кода

Самостоятельный переход с PyTorch и CUDA на JAX и XLA требует сотен инженерных часов. Для отдельной компании такой шаг часто экономически бессмысленен. Использовать разные SDK для разных вендоров тоже неудобно. Разработчикам приходится поддерживать несколько контрактов данных и обрабатывать разные форматы ошибок.

Проблему зоопарка библиотек решает маршрутизация моделей на уровне единого шлюза API. Приложение шлет стандартные JSON-запросы, а роутер направляет объемные контексты на сверхдешевый Gemini Flash. Дорогие GPU-модели остаются только для критического финального вывода.

Мы можем отправить текст на 50 000 токенов в модель Gemini 2.5 Flash для извлечения фактов. Отфильтрованные данные объемом 2 000 токенов мы передаем в Claude Sonnet 5.5 для финального форматирования. Без единого шлюза разработчику приходится писать интеграцию с двумя разными библиотеками. Код обрастает дополнительными проверками типов и обработчиками сетевых сбоев для каждого вендора отдельно. Поддержка такого зоопарка зависимостей отнимает время у продуктовой команды. В коде ручной каскад выглядит как последовательный вызов двух разных API.

from google import genai
import anthropic

gemini_client = genai.Client(api_key="YOUR_GEMINI_API_KEY")
claude_client = anthropic.Anthropic(api_key="YOUR_ANTHROPIC_API_KEY")

raw_documents = "Очень длинный текст из базы знаний на 50 000 токенов..."

# Шаг 1: Черновая обработка на дешевой модели
draft_response = gemini_client.models.generate_content(
    model='gemini-2.5-flash',
    contents=f"Извлеки только ключевые факты и цифры:\n{raw_documents}"
)
extracted_facts = draft_response.text

# Шаг 2: Финальный вывод на умной модели
final_response = claude_client.messages.create(
    model="claude-sonnet-5.5",
    max_tokens=1000,
    system="Напиши аналитический отчет на основе фактов.",
    messages=[
        {"role": "user", "content": extracted_facts}
    ]
)

print(final_response.content[0].text)

Если посчитать по прайсу, прямая отправка 50 000 токенов в Claude Sonnet 5.5 стоит $0.10. Обработка 50 000 токенов через Gemini 2.5 Flash обходится в $0.0135 по тарифу $0.27 за миллион. Последующая отправка сжатых 2 000 токенов в Claude Sonnet 5.5 стоит еще $0.004. Суммарные затраты составляют $0.0175.

Использование Gemini 2.5 Flash для чернового извлечения фактов снижает стоимость обработки длинного контекста на 82.5% по сравнению с прямой отправкой в Claude Sonnet 5.5. При объеме в десять тысяч запросов в день экономия достигает 825 долларов. Разница покрывает зарплату нескольких разработчиков за месяц.

Как разделить трафик в рабочем приложении

Выбор модели зависит от размера контекста и требований к задержке. Правила маршрутизации в коде помогают не переплачивать за рутину.

Массовый парсинг логов в фоне требует обработки миллионов строк. Отправка такого объема в Claude 3.7 Sonnet разорит проект за пару дней. Gemini 2.0 Flash справится с задачей за копейки. Сложные агенты с вызовом функций требуют строгой логики. Здесь Claude Sonnet 5.5 окупает свою цену за счет минимального процента галлюцинаций.

Фоновые задачи и большие тексты отправляются на модели с низкой ценой входного токена. Флагманские решения остаются для задач с высокой ценой ошибки. Разделение потоков снижает расходы на токены без потери качества финального ответа. Настройте каскадную обработку один раз, чтобы навсегда отвязать бюджет проекта от стоимости аренды видеокарт.