Odhad, který nikdy nesedí s fakturou
Stránka s cenami a faktura popisují dvě různé věci. Cenová stránka popisuje token: $5 za milion u Claude Opus 4.8, zlomek centu za jednu zákaznickou otázku. Vaše faktura popisuje, jak váš produkt model ve skutečnosti volá, a tahle cesta je delší a mnohem dražší než token, který jste si nacenili. Nikdo vám neúčtuje nic navíc.
Ten rozdíl není jeden tajemný poplatek. Je to malá množina konkrétních, pojmenovatelných násobičů, a jakmile je uvidíte, můžete s nimi počítat v rozpočtu. Tady jsou, jeden po druhém, spočítané na podpůrném chatbotu běžícím na Claude Opus 4.8.
| Položka | Částka |
|---|---|
| Váš odhad | $200 |
| Vícetahový kontext | + $1,260 |
| Vaše faktura | $1,460 |
Kolik rozpočtujete vs kolik vám účtují
Chatbot zákaznické podpory · 10,000 konverzací / měsíc · Claude Opus 4.8 ($5 / $25 za 1M)
Modelováno, nejde o cenovou nabídku. Předpoklady: čtyřtahová konverzace; systémový prompt o 1,500 tokenech plus získané znalosti posílané znovu při každém tahu; zpráva zákazníka o ~500 tokenech a odpověď o ~700 tokenech na tah. To je ~15,200 vstupních a ~2,800 výstupních tokenů na konverzaci, neboli $760 za vstup + $700 za výstup napříč 10,000 konverzacemi. Vaše čísla se budou lišit; tvar nikoli.
Pečlivý majitel odhaduje $200 měsíčně: 10,000 konverzací, každá krátká otázka a delší odpověď, poctivě naceněné na $5 za vstup a $25 za výstup. Faktura zní na $1,460. Majitel, který počítal jen se zákaznickou otázkou - vstupní tokeny, jedno kolo - naplánoval $25 a minul se skoro šedesátkrát. Ani jeden z nich neudělal chybu v aritmetice. Odhadovali špatnou veličinu.
Past 1: nacenili jste otázku, ale odpověď stojí pětkrát víc
U každého současného modelu Claude stojí výstupní tokeny přesně pětkrát víc než vstupní. Fable 5 je $10 za vstup a $50 za výstup. Opus 4.8 je $5 a $25. Sonnet 5 je $3 a $15 (v úvodní ceně $2 a $10 do 31. srpna 2026). Ten poměr se nikdy nemění a míří přesně proti tomu, jak lidé odhadují: naceníme to, co píšeme my, což je krátké, a zapomeneme na to, co model píše zpátky, což je dlouhé.
V příkladu s podporou má zákaznická otázka zhruba 500 tokenů a odpověď kolem 700. Jen samotné tyhle odpovědi - 700 tokenů krát 10,000 konverzací po $25 za milion - dají $175 měsíčně, což je už teď sedmkrát víc než celý odhad počítaný jen se vstupem ve výši $25. Pokud váš produkt shrnuje, píše návrhy, vysvětluje nebo generuje kód, peníze leží na výstupní straně, a přesně tu cenovka potichu podceňuje.
Past 2: konverzace není otázka
Tohle je ta zásadní past, ta, která z úhledného odhadu udělá překvapivou fakturu. API nemá žádnou paměť. Nepamatuje si vaše minulé kolo. Takže aby konverzace pokračovala, vaše aplikace posílá celou věc znovu při každém jednotlivém kole: systémový prompt, veškeré znalosti, které jste vytáhli, a celou dosavadní výměnu tam a zpátky. Za to všechno platíte, znovu, pokaždé, když model promluví.
Projděte si podpůrnou konverzaci napříč čtyřmi koly. Systémový prompt a útržek znalostí o 1,500 tokenech jedou s sebou v každém kole. Ve čtvrtém kole navíc znovu posíláte tři předchozí otázky a tři předchozí odpovědi. Sečtěte to a jediná čtyřkolová konverzace spotřebuje asi 15,200 vstupních tokenů, ne 500, které jste si představovali, když jste se dívali na jednu otázku. To je zhruba třicetkrát víc vstupu, než jste odhadli, a proto je znovu posílaný kontext, ne model, který jste zvolili, tou největší položkou na faktuře výše.
Navíc se to nabaluje. Protože každé kolo znovu platí za všechna kola před ním, celkové náklady konverzace rostou s druhou mocninou její délky, ne přímočaře. Desetikolová konverzace nestojí desetkrát tolik co jednokolová, stojí mnohem víc. Chatovací funkce, která v třízprávové ukázce působí lacině, se může chovat úplně jinak, jakmile se skuteční uživatelé usadí do dvacetizprávových vláken.
Past 3: přemýšlení, které platíte, ale nikdy nevidíte
Model uvažuje, než odpoví, a tohle uvažování se účtuje jako výstup, ať už ho někdy uvidíte, nebo ne. U Fable 5 je tohle přemýšlení vždycky zapnuté: požadavek, který vrátí úhlednou odpověď o 500 tokenech, mohl nejdřív spotřebovat několik tisíc tokenů na uvažování, a každý z těch neviditelných tokenů je naceněný výstupní sazbou $50. Odpověď na vaší obrazovce je jen malá část toho, co jste zaplatili.
Stejná páka existuje u rodiny Opus přes nastavení effort. Zvyšte effort a model přemýšlí déle a volá víc nástrojů, utrácí víc tokenů výměnou za větší spolehlivost. Snižte ho a model je rychlejší a levnější. Ani jedno není špatně, ale pokud jste si úroveň nikdy nezvolili, platíte to, co stojí výchozí hodnota. Pokud zvažujete model, který přemýšlí vždy, proti standardnímu, poctivé srovnání nejsou dvě cenové tabulky, ale dva počty tokenů, které skutečná úloha vyprodukuje - a přesně do toho jde náš rozbor Fable 5 versus Opus 4.8.
Past 4: stejný text, spočítaný jako víc tokenů
Tady je ta, na kterou naletí i pečlivé týmy. Když přejdete na novější model, jeho tokenizér - to, co seká text na účtovatelné tokeny - může tentýž text spočítat jako víc tokenů než dřív. Změnili jste řetězec s názvem modelu, nepřidali žádné funkce, nechali úplně stejnou cenu za token, a faktura přesto vzrostla.
| Model | Částka |
|---|---|
| Sonnet 4.6 | $900 |
| Sonnet 5 | $1,170 |
| Rozdíl | + $270 |
Stejný text, stejný ceník, vyšší účet
Jedna měsíčně zátěž na identickém ceníku ($3 / $15 za 1M)
Zveřejněný údaj o posunu tokenizeru (~30%) aplikovaný na pevný objem. Stejná sada dokumentů se tokenizuje na ~100M tokenů na Sonnet 4.6 (50M vstup + 50M výstup = $150 + $750 = $900) a na ~130M na Sonnet 5 (65M + 65M = $195 + $975 = $1,170). Stejná slova, stejný ceník, +$270 měsíčně.
Sonnet 5 napočítá za stejná slova zhruba 30 procent víc tokenů než Sonnet 4.6. Tokenizér Opus 4.7 se pohybuje někde mezi stejnou hodnotou a asi o 35 procent těžší než Opus 4.6, podle obsahu. Takže upgrade, který na cenové stránce vypadá zadarmo, může fakturu potichu zvednout o třetinu. Řešení není upgradu se vyhýbat - novější modely obvykle stojí za to - ale po každé změně znovu změřit své skutečné počty tokenů a přepočítat rozpočet z nových čísel, místo aby člověk předpokládal, že stejný ceník znamená stejnou fakturu.
Past 5: pokusy, které nikdy nevidíte
Čistý požadavek a odpověď, jak si to představujete, je ideální scénář. V produkci se objevují přechodné chyby, které se opakují, bezpečnostní odmítnutí a agentní smyčky, které zavolají nástroj, přečtou výsledek a zavolají model znovu. Každá z těch cest tam a zpátky navíc je víc tokenů na počítadle, a žádná z nich se neobjeví ve vaší představě "jedna otázka, jedna odpověď".
Stojí za to znát tu skutečnou nuanci. U Fable 5 se požadavek, který je odmítnut dřív, než vyprodukuje jakýkoli výstup, neúčtuje vůbec, zatímco ten odmítnutý uprostřed streamu naúčtuje část, která už proběhla. Opakování se snadno spouštějí a snadno se nechají bez omezení, takže malá chyba - agent, který se zacyklí o jedno kolo víc, než má, politika opakování bez stropu - se projeví jako položka na faktuře, ne jako stack trace.
Celá skrytá faktura na jedné stránce
Mezi ceníkem LLM a fakturou sedí šest násobičů. Pět z nich žije v tom, jak model voláte; šestý žije v tom, jak si práci naplánujete. Žádný z nich není trik ani skrytý poplatek a každý má konkrétní páku, která ho srovná.
| Skrytý náklad | Co ho spouští | Typická velikost | Páka, která ho srovná |
|---|---|---|---|
| Výstup naceněný na 5x vstupu | Každá odpověď, kterou model napíše | Obvykle většina faktury | Zkraťte odpovědi, omezte maximální výstup, snižte úroveň effort |
| Znovu posílaný kontext | API je bezstavové, takže historie se znovu posílá při každém kole | Celkové náklady konverzace rostou s druhou mocninou počtu kol | prompt caching (čtení za ~0.1x u cachovaného prefixu) |
| Tokeny na přemýšlení | Vždy zapnuté uvažování (Fable 5) nebo vysoké nastavení effort | Může zastínit odpověď, kterou skutečně vidíte | Přizpůsobte effort úloze, na jednoduchou práci použijte tier bez přemýšlení |
| Posun tokenizéru | Novější model napočítá tentýž text jako víc tokenů | ~+30% ze Sonnet 4.6 na Sonnet 5 | Po každé změně modelu znovu změřte počty tokenů a přepočítejte rozpočet |
| Opakování a smyčky nástrojů | Přechodné chyby, odmítnutí, cesty agenta tam a zpátky | Každý neúspěšný pokus se může znovu naúčtovat | Idempotence plus backoff, držte smyčky nástrojů omezené |
| Nedávkovaná práce na pozadí | Spouštění úloh tolerantních k latenci na živém API | Plná cena za práci, která mohla počkat | Batch API (-50% na všechno) |
Většina faktury je volitelná
Přečtěte si tu tabulku znovu a všimněte si pravého sloupce. Skoro každý násobič má naproti sobě slevu, a ty tři největší nejsou "přejděte na levnější model" - jsou to věci, které můžete udělat na modelu, který už provozujete.
- Prompt caching útočí přímo na znovu posílaný kontext. Ten systémový prompt o 1,500 tokenech, který posíláte při každém kole, se dá jednou zacachovat a pak ho v každém dalším kole číst zhruba za desetinu vstupní ceny. Zápis cache stojí malou jednorázovou přirážku, takže se vyplatí přesně tehdy, když stejný kontext hodně opakovaně používáte, což je přesně to, co chatovací funkce dělá.
- Batch API sráží 50 procent ze všeho u práce, která snese trochu latence - noční shrnutí, hromadná klasifikace, cokoli, na co uživatel nečeká v reálném čase.
- Správné dimenzování modelu a výstupu - poslání snadné poloviny vašeho provozu na levnější tier, omezení délky odpovědi, vědomá volba úrovně effort - osekává 5x výstupní stranu faktury, aniž by změnilo jedinou odpověď, na které uživatelům záleží.
Naskládané ve správném pořadí můžou tyhle věci snížit fakturu o víc než polovinu, aniž by zhoršily zážitek, což je samostatný článek sám o sobě. Pokud jste stále ve fázi, kdy se rozhodujete, jestli AI funkce vůbec stojí za postavení, poctivý výchozí bod je stejný, jaký prosazuje tento text: odhadněte ho ze skutečné cesty volání a pak ho porovnejte s tím, jakou má úloha hodnotu. Náš průvodce praktickou AI automatizací pro menší firmy je dobrá další zastávka.
