Оцінка, яка ніколи не збігається з рахунком
Сторінка з цінами та рахунок описують дві різні речі. Сторінка з цінами описує токен: $5 за мільйон на Claude Opus 4.8, частка цента за питання клієнта. Ваш рахунок описує те, як ваш продукт насправді викликає модель, і цей шлях довший і значно дорожчий за токен, який ви оцінили. Ніхто не бере з вас зайвого.
Розрив - це не одна загадкова плата. Це невеликий набір конкретних, названих множників, і щойно ви їх побачите, ви зможете закласти їх у бюджет. Ось вони, по черзі, розраховані на чат-боті підтримки, що працює на Claude Opus 4.8.
| Стаття | Сума |
|---|---|
| Ваша оцінка | $200 |
| Багатокроковий контекст | + $1,260 |
| Ваш рахунок | $1,460 |
Що ви закладаєте в бюджет проти того, що вам виставляють
Чат-бот підтримки · 10,000 розмов / місяць · Claude Opus 4.8 ($5 / $25 за 1M)
Змодельовано, не пропозиція ціни. Припущення: чотирикрокова розмова; системний промпт на 1,500 токенів плюс отримані знання, що пересилаються на кожному кроці; повідомлення клієнта на ~500 токенів і відповідь на ~700 токенів на крок. Це ~15,200 токенів вводу і ~2,800 токенів виводу на розмову, або $760 вводу + $700 виводу на 10,000 розмов. Ваші числа відрізнятимуться; форма - ні.
Обачний власник оцінює $200 на місяць: 10,000 розмов, кожна з коротким питанням і довшою відповіддю, чесно розраховані за $5 за ввід і $25 за вивід. Рахунок - $1,460. Власник, який рахував лише питання клієнта - токени вводу, один крок - заклав у бюджет $25 і схибив майже в шістдесят разів. Жоден із них не помилився в арифметиці. Вони оцінили не ту величину.
Пастка 1: ви оцінили питання, але відповідь коштує вп'ятеро дорожче
У кожній актуальній моделі Claude токени виводу коштують рівно вп'ятеро дорожче за токени вводу. Fable 5 - це $10 за ввід і $50 за вивід. Opus 4.8 - це $5 і $25. Sonnet 5 - це $3 і $15 (за вступною ціною $2 і $10 до 31 серпня 2026 року). Це співвідношення ніколи не змінюється, і воно спрямоване проти того, як люди оцінюють: ми оцінюємо те, що набираємо, а воно коротке, і забуваємо про те, що модель пише у відповідь, а воно довге.
У прикладі підтримки питання клієнта - це близько 500 токенів, а відповідь - близько 700. Самі лише ці відповіді - 700 токенів помножити на 10,000 розмов за $25 за мільйон - виходять у $175 на місяць, що вже всемеро більше за всю оцінку лише за вводом у $25. Якщо ваш продукт підсумовує, складає чернетки, пояснює чи пише код, саме на боці виводу живуть ваші гроші, і саме цей бік прайс тихо недооцінює.
Пастка 2: розмова - це не питання
Це головна пастка, і саме вона перетворює охайну оцінку на несподіваний рахунок. API не має пам'яті. Він не пам'ятає ваш попередній крок. Тож, щоб продовжити розмову, ваш застосунок повторно надсилає її всю на кожному кроці: системний промпт, будь-які знання, які ви отримали, і весь діалог до цього моменту. Вам виставляють рахунок за все це знову, щоразу, коли модель говорить.
Пройдімо розмову підтримки через чотири кроки. Системний промпт на 1,500 токенів і фрагмент знань їдуть разом на кожному кроці. До четвертого кроку ви також повторно надсилаєте три попередні питання і три попередні відповіді. Складіть це, і одна чотирикрокова розмова споживає близько 15,200 токенів вводу, а не ті 500, які ви уявляли, коли дивилися на одне питання. Це приблизно в тридцять разів більше вводу, ніж ви оцінили, і саме тому пересиланий контекст, а не обрана вами модель, є найбільшим рядком у рахунку вище.
Це ще й накопичується. Оскільки кожен крок повторно оплачує всі кроки перед ним, сумарна вартість розмови зростає пропорційно квадрату її довжини, а не по прямій. Десятикрокова розмова коштує не вдесятеро більше за однокрокову, вона коштує значно більше. Функція чату, яка здається дешевою в демо з трьох повідомлень, може поводитися зовсім інакше, щойно реальні користувачі осядуть у гілках із двадцяти повідомлень.
Пастка 3: мислення, за яке ви платите, але ніколи не бачите
Модель міркує перед відповіддю, і це міркування тарифікується як вивід незалежно від того, чи ви його колись побачите. У Fable 5 це мислення завжди ввімкнене: запит, який повертає охайну відповідь на 500 токенів, міг спершу витратити кілька тисяч токенів на міркування, і кожен із цих невидимих токенів оцінюється за ставкою виводу $50. Відповідь на вашому екрані - це мала частина того, за що ви заплатили.
Той самий важіль існує в сімействі Opus через параметр effort. Підніміть effort - і модель думає довше й викликає більше інструментів, витрачаючи більше токенів заради більшої надійності. Опустіть його - і вона працює швидше й дешевше. Жоден варіант не хибний, але якщо ви ніколи не обирали рівень, ви платите стільки, скільки коштує значення за замовчуванням. Якщо ви зважуєте модель, що завжди мислить, проти стандартної, чесне порівняння - це не два прайси, а два лічильники токенів, які дає реальна задача, і саме про це йдеться в нашому розборі Fable 5 проти Opus 4.8.
Пастка 4: той самий текст, порахований як більше токенів
Ось та, що ловить навіть обачні команди. Коли ви переходите на новішу модель, її токенізатор - те, що ріже текст на тарифіковані токени - може порахувати ідентичний текст як більшу кількість токенів, ніж раніше. Ви змінили рядок моделі, не додали жодної функції, зберегли ту саму ціну за токен, а рахунок усе одно зріс.
| Модель | Сума |
|---|---|
| Sonnet 4.6 | $900 |
| Sonnet 5 | $1,170 |
| Різниця | + $270 |
Той самий текст, той самий прайс, більший рахунок
Одне щомісяця навантаження на ідентичному прайсі ($3 / $15 за 1M)
Опублікована цифра дрейфу токенізатора (~30%), застосована до фіксованого обсягу. Той самий набір документів токенізується у ~100M токенів на Sonnet 4.6 (50M вводу + 50M виводу = $150 + $750 = $900) і у ~130M на Sonnet 5 (65M + 65M = $195 + $975 = $1,170). Ті самі слова, той самий прайс, +$270 на місяць.
Sonnet 5 рахує приблизно на 30 відсотків більше токенів, ніж Sonnet 4.6, за ті самі слова. Токенізатор Opus 4.7 працює десь між тим самим і приблизно на 35 відсотків важче за Opus 4.6, залежно від вмісту. Тож оновлення, яке на сторінці з цінами виглядає безкоштовним, може тихо підняти рахунок на третину. Вихід не в тому, щоб уникати оновлень - новіші моделі зазвичай того варті - а в тому, щоб повторно виміряти свої реальні лічильники токенів після будь-якої зміни й планувати бюджет уже з нових чисел, а не припускати, що ідентичний прайс означає ідентичний рахунок.
Пастка 5: спроби, яких ви ніколи не бачите
Чистий запит-і-відповідь, який ви уявляєте, - це щасливий сценарій. У продакшені є тимчасові помилки, що спричиняють повтори, відмови з міркувань безпеки та цикли агента, що викликають інструмент, читають результат і викликають модель знову. Кожен із цих додаткових обмінів - це більше токенів на лічильнику, і жоден із них не з'являється у вашій уявній моделі "одне питання, одна відповідь".
Тут є справжній нюанс, який варто знати. У Fable 5 запит, у якому відмовлено перш ніж він видасть будь-який вивід, не тарифікується взагалі, тоді як той, у якому відмовлено посеред потоку, тарифікує ту частину, що вже передалася. Повтори дешево робити й легко залишити без обмежень, тож маленька помилка - агент, що зациклюється на один раз більше, ніж має, політика повторів без стелі - проявляється як рядок у рахунку, а не як стек-трейс.
Увесь прихований рахунок на одній сторінці
Між прайсом LLM і рахунком стоять шість множників. П'ять із них живуть у тому, як ви викликаєте модель; шостий - у тому, як ви плануєте роботу. Жоден із них не є хитрощами чи прихованою платою, і кожен має конкретний важіль, що зводить його нанівець.
| Прихована стаття | Що її спричиняє | Типовий розмір | Важіль, що зводить її нанівець |
|---|---|---|---|
| Вивід за ціною 5x від вводу | Кожна відповідь, яку пише модель | Зазвичай більшість рахунку | Скорочуйте відповіді, обмежте максимальний вивід, знизьте рівень effort |
| Пересиланий контекст | API без стану, тож історія пересилається на кожному кроці | Сумарна вартість розмови зростає пропорційно квадрату кількості кроків | Prompt caching (читання за ~0.1x на кешованому префіксі) |
| Токени мислення | Завжди ввімкнені міркування (Fable 5) або високе значення effort | Можуть переважити відповідь, яку ви насправді бачите | Узгоджуйте effort із задачею, використовуйте рівень без мислення для простої роботи |
| Дрейф токенізатора | Новіша модель рахує той самий текст як більше токенів | ~+30% від Sonnet 4.6 до Sonnet 5 | Повторно виміряйте лічильники токенів після будь-якої зміни моделі, потім переплануйте бюджет |
| Повтори та цикли інструментів | Тимчасові помилки, відмови, обміни агента | Кожна невдала спроба може повторно тарифікуватися | Ідемпотентність плюс backoff, тримайте цикли інструментів обмеженими |
| Непакетована фонова робота | Запуск толерантних до затримки задач на живому API | Повна ціна за роботу, що могла б зачекати | Batch API (-50% на все) |
Більшість рахунку - необов'язкова
Перечитайте цю таблицю й зверніть увагу на праву колонку. Майже проти кожного множника стоїть знижка, і три найбільші - це не "перейти на дешевшу модель", а речі, які ви можете зробити на моделі, яку вже використовуєте.
- Prompt caching б'є по пересиланому контексту напряму. Той системний промпт на 1,500 токенів, який ви надсилаєте на кожному кроці, можна кешувати один раз, а потім зчитувати приблизно за десяту частину ціни вводу на кожному наступному кроці. Є невелика одноразова надбавка за запис кеша, тож він окупається саме тоді, коли ви багато разів повторно використовуєте той самий контекст, а це рівно те, що робить функція чату.
- Batch API знімає 50 відсотків з усього для роботи, що може стерпіти невелику затримку: нічні підсумки, масова класифікація, будь-що, на що користувач не чекає в реальному часі.
- Підбір розміру моделі та виводу - спрямування легшої половини трафіку на дешевший рівень, обмеження довжини відповіді, свідомий вибір рівня effort - обтинає бік рахунку з виводом 5x, не змінюючи жодної відповіді, яка важлива для користувачів.
Складені в правильному порядку, вони можуть скоротити рахунок більш ніж удвічі без погіршення досвіду, і це тема цілої окремої статті. Якщо ви ще на етапі рішення, чи взагалі варто будувати AI-функцію, чесна відправна точка - та сама, за яку виступає ця стаття: оцініть за реальним шляхом виклику, а потім порівняйте це з тим, чого варта задача. Наш посібник із практичної AI-автоматизації для менших компаній - хороша наступна зупинка.
