Odhad, ktorý nikdy nesedí s faktúrou
Cenník a faktúra opisujú dve odlišné veci. Cenová stránka opisuje token: 5 USD za milión na Claude Opus 4.8, zlomok centa za jednu otázku zákazníka. Vaša faktúra opisuje, ako váš produkt v skutočnosti volá model, a táto cesta je dlhšia a oveľa drahšia než token, ktorý ste si nacenili. Nikto vám neúčtuje viac, než má.
Ten rozdiel nie je jeden záhadný poplatok. Je to malá množina konkrétnych, pomenovateľných násobiteľov, a keď ich raz uvidíte, dokážete s nimi počítať v rozpočte. Tu sú, jeden po druhom, nacenené na podpornom chatbote bežiacom na Claude Opus 4.8.
| Položka | Suma |
|---|---|
| Váš odhad | $200 |
| Viackolový kontext | + $1,260 |
| Vaša faktúra | $1,460 |
Čo si narozpočtujete vs. čo vám naúčtujú
Podporný chatbot · 10,000 konverzácií / mesiac · Claude Opus 4.8 ($5 / $25 za 1M)
Namodelované, nie cenová ponuka. Predpoklady: 4-kolová konverzácia; systémový prompt s 1,500 tokenmi plus získané znalosti znovu posielané pri každom kole; správa zákazníka s ~500 tokenmi a odpoveď s ~700 tokenmi na kolo. To je ~15,200 vstupných a ~2,800 výstupných tokenov na konverzáciu, alebo $760 za vstup + $700 za výstup naprieč 10,000 konverzáciami. Vaše čísla sa budú líšiť; tvar nie.
Opatrný majiteľ odhaduje 200 USD mesačne: 10,000 konverzácií, každá krátka otázka a dlhšia odpoveď, poctivo nacenené na 5 USD vstup a 25 USD výstup. Faktúra je 1,460 USD. Majiteľ, ktorý počítal iba otázku zákazníka - vstupné tokeny, jeden ťah - si narozpočtoval 25 USD a minul sa takmer šesťdesiatnásobne. Ani jeden z nich neurobil chybu v aritmetike. Odhadovali nesprávnu veličinu.
Pasca 1: nacenili ste otázku, ale odpoveď stojí päťkrát viac
Na každom aktuálnom modeli Claude stoja výstupné tokeny presne päťkrát toľko čo vstupné. Fable 5 je 10 USD za vstup a 50 USD za výstup. Opus 4.8 je 5 USD a 25 USD. Sonnet 5 je 3 USD a 15 USD (v úvodnej cene 2 USD a 10 USD do 31. augusta 2026). Ten pomer sa nikdy nemení a smeruje presne opačne, než ako ľudia odhadujú: naceníme vec, ktorú napíšeme a ktorá je krátka, a zabudneme na vec, ktorú model napíše späť a ktorá je dlhá.
V príklade podpory má otázka zákazníka okolo 500 tokenov a odpoveď okolo 700. Už len tieto odpovede - 700 tokenov krát 10,000 konverzácií pri 25 USD za milión - vychádzajú na 175 USD mesačne, čo je už teraz sedemkrát viac než celý odhad počítajúci iba vstup vo výške 25 USD. Ak váš produkt sumarizuje, koncipuje, vysvetľuje alebo píše kód, výstupná strana je miesto, kde žijú vaše peniaze, a je to strana, ktorú cena na papieri potichu podceňuje.
Pasca 2: konverzácia nie je otázka
Toto je tá veľká a je to pasca, ktorá z úhľadného odhadu spraví prekvapivú faktúru. API nemá pamäť. Nepamätá si váš posledný ťah. Takže aby vaša aplikácia pokračovala v konverzácii, pri každom jednom ťahu odosiela celú vec znova: systémový prompt, akékoľvek znalosti, ktoré ste získali, a celú doterajšiu výmenu tam a späť. Účtuje sa vám za to všetko, znova, zakaždým, keď model prehovorí.
Prejdime si podpornú konverzáciu naprieč štyrmi ťahmi. Systémový prompt s 1,500 tokenmi a útržok znalostí sa vezú so sebou pri každom ťahu. Do štvrtého ťahu tiež znova odosielate tri predchádzajúce otázky a tri predchádzajúce odpovede. Spočítajte to a jedna jediná štvorťahová konverzácia spotrebuje približne 15,200 vstupných tokenov, nie 500, ktoré ste si predstavovali, keď ste sa pozreli na jednu otázku. To je zhruba tridsaťkrát viac vstupu, než ste odhadovali, a preto je znovu odoslaný kontext, nie zvolený model, najväčšou položkou na faktúre vyššie.
Navyše sa to hromadí. Keďže každý ťah znova platí za všetky predchádzajúce ťahy, celkové náklady na konverzáciu rastú s druhou mocninou jej dĺžky, nie po priamke. Desaťťahová konverzácia nestojí desaťkrát toľko čo jednoťahová, stojí oveľa viac. Chatovacia funkcia, ktorá pôsobí lacno v trojsprávovej ukážke, sa môže správať veľmi odlišne, keď sa skutoční používatelia usadia v dvadsaťsprávových vláknach.
Pasca 3: myslenie, ktoré platíte, ale nikdy nevidíte
Model uvažuje predtým, než odpovie, a toto uvažovanie sa účtuje ako výstup bez ohľadu na to, či ho niekedy uvidíte. Na Fable 5 je toto myslenie vždy zapnuté: požiadavka, ktorá vráti úhľadnú odpoveď s 500 tokenmi, mohla najprv na uvažovanie minúť niekoľko tisíc tokenov a každý z týchto neviditeľných tokenov je nacenený na výstupnú sadzbu 50 USD. Odpoveď na vašej obrazovke je malá časť toho, za čo ste zaplatili.
Rovnaká páka existuje na rodine Opus prostredníctvom nastavenia úsilia. Zvýšte úsilie a model myslí dlhšie a volá viac nástrojov, míňa viac tokenov za väčšiu spoľahlivosť. Znížte ho a model sa pohybuje rýchlejšie a lacnejšie. Ani jedno nie je zlé, ale ak ste si úroveň nikdy nezvolili, platíte, koľkokoľvek stojí predvolená hodnota. Ak zvažujete model, ktorý myslí vždy, oproti štandardnému, poctivé porovnanie nie sú dva cenníky, ale dva počty tokenov, ktoré vyprodukuje reálna úloha - a presne do toho sa púšťa náš rozbor Fable 5 verzus Opus 4.8.
Pasca 4: ten istý text, počítaný ako viac tokenov
Tu je tá, ktorá nachytá aj opatrné tímy. Keď prejdete na novší model, jeho tokenizér - vec, ktorá krája text na účtovateľné tokeny - môže ten istý text započítať ako viac tokenov než predtým. Zmenili ste reťazec modelu, nepridali žiadne funkcie, ponechali presne tú istú cenu za token, a faktúra aj tak vzrástla.
| Model | Suma |
|---|---|
| Sonnet 4.6 | $900 |
| Sonnet 5 | $1,170 |
| Rozdiel | + $270 |
Ten istý text, ten istý cenník, vyšší účet
Jedna mesačne záťaž na identickom cenníku ($3 / $15 za 1M)
Zverejnený údaj o posune tokenizéra (~30%) aplikovaný na pevný objem. Rovnaká množina dokumentov sa tokenizuje na ~100M tokenov na Sonnet 4.6 (50M vstup + 50M výstup = $150 + $750 = $900) a na ~130M na Sonnet 5 (65M + 65M = $195 + $975 = $1,170). Rovnaké slová, rovnaký cenník, +$270 mesačne.
Sonnet 5 započíta zhruba o 30 percent viac tokenov než Sonnet 4.6 za tie isté slová. Tokenizér Opus 4.7 sa pohybuje niekde medzi rovnakým a približne o 35 percent ťažším než Opus 4.6, v závislosti od obsahu. Takže upgrade, ktorý na cenovej stránke vyzerá zadarmo, môže potichu zvýšiť faktúru o tretinu. Riešením nie je vyhnúť sa upgradu - novšie modely obvykle stoja za to - ale po každej zmene znova zmerať vaše reálne počty tokenov a prerozpočtovať z nových čísel, namiesto predpokladu, že rovnaký cenník znamená rovnakú faktúru.
Pasca 5: pokusy, ktoré nikdy nevidíte
Čistá požiadavka a odpoveď, ktorú si predstavujete, je šťastná cesta. V produkcii sú prechodné chyby, ktoré sa opakujú, bezpečnostné odmietnutia a slučky agenta, ktoré zavolajú nástroj, prečítajú výsledok a znova zavolajú model. Každý z týchto ďalších okruhov tam a späť je viac tokenov na počítadle a ani jeden z nich sa neobjaví vo vašej mentálnej predstave "jedna otázka, jedna odpoveď".
Je tu skutočná jemnosť, ktorú sa oplatí poznať. Na Fable 5 sa požiadavka, ktorá je odmietnutá skôr, než vyprodukuje akýkoľvek výstup, vôbec neúčtuje, zatiaľ čo tá odmietnutá uprostred streamu účtuje časť, ktorá už bola streamovaná. Opakovania sú lacné na vykonanie a ľahko sa nechajú bez obmedzenia, takže malá chyba - agent, ktorý zacyklí o jeden raz viac, než by mal, politika opakovaní bez stropu - sa objaví ako položka na faktúre, nie ako výpis zásobníka.
Celá skrytá faktúra na jednej strane
Medzi cenníkom LLM a faktúrou sedí šesť násobiteľov. Päť z nich žije v tom, ako model voláte; šiesty žije v tom, ako si prácu naplánujete. Ani jeden nie je trik ani skrytý poplatok a každý má konkrétnu páku, ktorá ho zrovná.
| Skrytý náklad | Čo ho spúšťa | Typická veľkosť | Páka, ktorá ho zrovná |
|---|---|---|---|
| Výstup nacenený na 5x vstupu | Každá odpoveď, ktorú model napíše | Zvyčajne väčšina faktúry | Skráťte odpovede, obmedzte maximálny výstup, znížte úroveň úsilia |
| Znovu odoslaný kontext | API je bezstavové, takže história sa znova odosiela pri každom ťahu | Celkové náklady na konverzáciu rastú s druhou mocninou počtu ťahov | prompt caching (čítania na ~0.1x na kešovanej predpone) |
| Tokeny myslenia | Vždy zapnuté uvažovanie (Fable 5) alebo vysoké nastavenie úsilia | Môže prevýšiť odpoveď, ktorú skutočne vidíte | Prispôsobte úsilie úlohe, na jednoduchú prácu použite nemysliaci stupeň |
| Posun tokenizéra | Novší model počíta ten istý text ako viac tokenov | ~+30% Sonnet 4.6 na Sonnet 5 | Po každej zmene modelu znova zmerajte počty tokenov, potom prerozpočtujte |
| Opakovania a slučky nástrojov | Prechodné chyby, odmietnutia, okruhy agenta tam a späť | Každý neúspešný pokus sa môže znova naúčtovať | Idempotencia plus backoff, udržujte slučky nástrojov obmedzené |
| Nedávkovaná práca na pozadí | Spúšťanie úloh tolerantných k latencii na živom API | Plná cena za prácu, ktorá mohla počkať | Batch API (-50% na všetko) |
Väčšina faktúry je voliteľná
Prečítajte si tú tabuľku znova a všimnite si pravý stĺpec. Takmer každý násobiteľ má oproti sebe zľavu a tri najväčšie nie sú "prejdite na lacnejší model" - sú to veci, ktoré môžete urobiť na modeli, ktorý už prevádzkujete.
- prompt caching útočí priamo na znovu odosielaný kontext. Ten systémový prompt s 1,500 tokenmi, ktorý posielate pri každom ťahu, sa dá raz zakešovať a potom pri každom ďalšom ťahu prečítať späť približne za desatinu vstupnej ceny. Za zápis kešu je malá jednorazová prirážka, takže sa vyplatí presne vtedy, keď ten istý kontext opakovane používate veľa, čo je presne to, čo robí chatovacia funkcia.
- Batch API zoberie 50 percent zo všetkého za prácu, ktorá znesie trochu latencie - nočné sumáre, hromadnú klasifikáciu, čokoľvek, na čo používateľ nečaká v reálnom čase.
- Správne dimenzovanie modelu a výstupu - posielanie ľahkej polovice vašej prevádzky na lacnejší stupeň, obmedzenie dĺžky odpovede, zámerné zvolenie úrovne úsilia - oreže 5x výstupnú stranu faktúry bez zmeny jedinej odpovede, na ktorej používateľom záleží.
Naskladané v správnom poradí môžu tieto opatrenia znížiť faktúru o viac než polovicu bez zhoršenia zážitku, čomu je venovaný celý samostatný článok. Ak ste ešte vo fáze rozhodovania, či sa AI funkciu vôbec oplatí stavať, poctivý východiskový bod je ten istý, ktorý presadzuje aj tento text: odhadujte z reálnej cesty volania, potom to porovnajte s tým, akú hodnotu úloha má. Náš sprievodca praktickou AI automatizáciou pre menšie firmy je dobrá ďalšia zastávka.
