Даунґрейд - це останній важіль, а не перший
Перехід з Opus 4.8 на Sonnet 4.6 зменшує ціни за токен на 40 відсотків і перегенеровує кожну відповідь, яку дає ваш продукт. Саме цей крок більшість команд робить першим, і зазвичай це передчасно, адже дві більші знижки вже є в прайс-листі моделі, якою ви користуєтеся сьогодні: prompt caching читає повторюваний контекст приблизно за десяту частину ціни вводу, а Batch API дає рівну знижку вдвічі на все, що може почекати. Жодна з них не змінює жодної відповіді. Вони складаються. І якщо застосувати їх першими, даунґрейд, до якого ви готувалися, часто перестає бути потрібним.
Щоб числа лишалися чесними, ми продовжимо працювати з тим самим пацієнтом: чат-ботом підтримки, чий рахунок на $1,460 ми розібрали в першій частині. Чотири важелі, застосовані по порядку, без зміни моделі для трафіку, який має значення:
| Позиція | Сума |
|---|---|
| Рахунок частини 1 | $1,460 |
| + prompt caching | $1,332 |
| + маршрутизація | $799 |
| + скорочення виводу | $673 |
Чат-бот із частини 1, чотири важелі по тому
Opus 4.8, 10,000 розмов / місяць · важелі застосовано зліва направо
Змодельовано за припущеннями частини 1 (10,000 розмов із чотирьох реплік; системний блок на 1,500 токенів; запитання на 500 токенів, відповіді на 700 токенів; Opus 4.8 за $5 / $25 за 1M). Кешування використовує 5-хвилинні вікна й дотримується мінімального кешованого префікса Opus 4.8 у 4,096 токенів, тож починає окупатися лише з 3-ї репліки. Маршрутизація надсилає легшу половину розмов на Haiku 4.5 ($1 / $5) і змінює ці відповіді. Скорочення зменшує відповіді на ~30% за незмінного вводу, що робить оцінку консервативною.
Важіль 1: prompt caching, знижка, що ховається у вашому повторюваному контексті
Перша частина показала, що повторно надісланий контекст - це найбільший рядок у рахунку за розмови: той самий системний промпт і та сама історія, що розростається, тарифіковані знову на кожній репліці. Кешування атакує саме цей рядок. Ви позначаєте стабільний префікс свого запиту, платите одноразову премію за його запис (1.25x ціни вводу на рівні з 5-хвилинним вікном, 2x на рівні з вікном на 1 годину), і кожен наступний запит, що починається з тих самих байтів, читає його назад приблизно за десяту частину ціни.
| Рівень кешу | Премія за запис | Ціна читання | Окупається |
|---|---|---|---|
| 5 хвилин | 1.25x ціни вводу, одноразово | ~0.1x ціни вводу | За 2-го використання префікса |
| 1 година | 2x ціни вводу, одноразово | ~0.1x ціни вводу | За 3-го використання |
Два чесні застереження, перш ніж закладати 90 відсотків. По-перше, знижка застосовується до кешованої частини, а не до всього рахунку: наш чат-бот падає з $1,460 до $1,332, тобто на 9 відсотків, бо його розмови короткі. В Opus 4.8 нічого нижче 4,096 токенів взагалі не можна закешувати, тож розмова з чотирьох реплік перетинає цей поріг лише на третій репліці; найглибші, найдорожчі репліки отримують знижку, а ранні - ні. По-друге, премія за запис означає, що кешувати префікс, який ніхто не використовує повторно, - це спосіб переплатити. Кешування сяє там, де контекст великий або розмови глибокі, а це саме те місце, де, за словами першої частини, і живе біль.
Важіль 2: Batch API, рівна знижка вдвічі на все, що може почекати
Batch API - це найпростіша знижка в каталозі: надсилаєте роботу асинхронно, отримуєте результати за хвилини чи години, платите 50 відсотків стандартної ціни за кожен токен у завданні, включно з кешованими токенами. Жодного компромісу щодо якості немає; це та сама модель, що видає ті самі відповіді, просто не тоді, коли хтось дивиться на спінер.
Заковика в тому, як визначити «може почекати». Клієнт посеред розмови не може, тож живий трафік нашого чат-бота нічого не отримує від цього важеля, і саме тому він не з'являється у водоспаді вище. Але майже кожен AI-продукт несе тіньове навантаження, яке може почекати: нічні підсумки тих розмов із підтримкою, масову класифікацію, генерацію звітів, конвеєри контенту. Тарифікуйте їх окремо й обробляйте батчами за замовчуванням; оплата живої ставки за роботу, на яку ніхто не чекає, - це найтихіший витік у більшості рахунків.
Важіль 3: маршрутизуйте за складністю, а не за замовчуванням
Не кожна розмова потребує вашої найкращої моделі. Скидання паролів і запитання про статус доставки не вимагають Opus 4.8; вони вимагають правильного пошуку й ввічливого речення, що Haiku 4.5 забезпечує за $1 / $5 за мільйон токенів, уп'ятеро дешевше за токен. У нашій моделі надсилання легшої половини розмов до Haiku знижує рахунок з $1,332 до $799 - це найбільший окремий крок у водоспаді.
Ставтеся до цього важеля інакше, ніж до двох попередніх, бо це перший, що змінює відповіді. Кешування й батчинг повертають ідентичні відповіді; маршрутизація дає перенаправленій частині іншу модель. Дисципліна, що робить це безпечним: класифікуйте консервативно, маршрутизуйте лише той трафік, який дешевша модель доведено проходить на вашому власному тестовому наборі, і зберігайте шлях ескалації назад до великої моделі тієї миті, коли розмова перестає бути легкою.
Важіль 4: скоротіть вивід, бо він коштує вп'ятеро дорожче за ввід
Кожна модель Claude тарифікує токени виводу рівно вп'ятеро дорожче за ввід, тож довжина ваших відповідей - це цінове рішення, зробили ви його свідомо чи ні. Відповіді підтримки, роздуті переказом запитань і завершальними люб'язностями, коштують реальних грошей у масштабі. Інструкція асистенту відповідати в найкоротшій формі, що повністю розв'язує тікет, скорочує наші змодельовані відповіді приблизно на 30 відсотків, а рахунок - з $799 до $673, і в родині Opus налаштування зусиль - це той самий регулятор на рівень вище: зменшіть його для рутинного трафіку, і модель витрачатиме менше токенів на міркування, щоб дійти до того самого місця.
Обмеження тут не технічне, а людське: скоротіть за межу корисності, і відповіді почнуть звучати різко, що згодом проявиться як повторні звернення. Заберіть зайве, збережіть суть.
Звідки насправді беруться ці 50-90 відсотків
Складіть важелі на нашому чат-боті - і рахунок опускається до $673, на 54 відсотки нижче того, де його лишила перша частина, причому складна половина трафіку досі на тій самій моделі, що видає ті самі відповіді. Чи буде ваше власне число ближчим до 50 чи до 90, вирішують дві властивості вашого навантаження: яка частка вашого вводу є повторюваним контекстом і яка частина вашої роботи може почекати.
| Навантаження | Заощаджено |
|---|---|
| Живий чат-бот підтримки | -54% |
| Нічний документний конвеєр | -64% |
| Асинхронний агент, важкий спільний контекст | -88% |
Наскільки глибоким буде скорочення, залежить від форми
Заощаджена частка щомісячного рахунку, змодельовано за навантаженням
Три змодельовані навантаження, ті самі моделі повсюдно. Чат-бот: припущення частини 1 плюс три важелі вище ($1,460 до $673). Конвеєр: 60,000 документів на місяць на Sonnet 4.6 ($3 / $15), спільний блок інструкцій на 2,500 токенів (кешований) плюс документ на 3,000 токенів на вході й 500 токенів на виході, запуск уночі через Batch API ($1,440 до $518). Агент: 100,000 асинхронних викликів на місяць на Opus 4.8 зі спільним пакетом контексту на 10,000 токенів, що тримається теплим, 200 на вході / 300 на виході за виклик, батчами ($5,850 до $675). Влучання в кеш усередині батч-прогонів - це найкраще зусилля, тож сприймайте праві кінці як стелі.
Живий чат-бот перебуває на скромному кінці, бо короткі розмови кешуються пізно, а живий трафік не можна батчити. Нічний документний конвеєр справляється краще: його блок інструкцій кешується ідеально, і кожен токен у завданні отримує знижку за батч. А асинхронний агент із великим спільним пакетом контексту - це саме та форма, для якої й створювалися ці знижки; дев'ять десятих його вводу читаються з кешу, і весь прогін обробляється батчами, тож 88 відсотків рахунку просто зникають.
Перевірка на придатність
Перш ніж торкатися рядка з назвою моделі, проведіть своє навантаження цією таблицею один раз.
| Важіль | Що потрібно вашому навантаженню | Реалістична економія | На що зважати |
|---|---|---|---|
| Prompt caching | Стабільний префікс понад мінімум моделі, повторно використаний у межах вікна кешу | ~90% знижки на повторювану частину | Премія за запис шкодить нижче 2-3 повторних використань; короткі чати починають кешуватися пізно |
| Batch API | Толерантність до затримки в хвилини-години | Рівні -50% на все завдання | Ніколи для користувача, що чекає; влучання в кеш усередині батчів - це найкраще зусилля |
| Маршрутизація за складністю | Частина трафіку, з якою дешевша модель доведено справляється | До 5x на перенаправленій частині | Змінює відповіді; спершу протестуйте якість і збережіть шлях ескалації |
| Скорочення виводу + зусилля | Рахунки з великим виводом (вивід коштує 5x від вводу) | Пропорційна до скорочення | Надто агресивне звучить як різкі, неповні відповіді |
Проведіть аудит у такому порядку: спершу кешування, якщо якийсь контекст повторюється, потім обробляйте батчами все, на що користувач не чекає, скоротіть вивід, який ви все одно ніколи не читали, а тоді маршрутизуйте доведено легку частину. Лише коли всі чотири на місці, питання про даунґрейд заслуговує на відповідь, і на той час це вже набагато менше питання. А якщо число, на якому ви зупинитеся, все ще здається зависоким для того, що приносить ця функція, питання вже не в тому, як запустити її дешевше; воно в тому, чи має вона взагалі існувати, а саме для цього й призначена третя частина.
