Downgrade je poslední páka, ne první
Přechod z Opus 4.8 na Sonnet 4.6 sníží ceny za token o 40 procent a přehází každou odpověď, kterou váš produkt dává. Po tomto kompromisu sahá většina týmů jako po prvním, a bývá to předčasné, protože dvě větší slevy už teď leží v ceníku modelu, který provozujete dnes: prompt caching čte opakovaný context zhruba za desetinu ceny vstupu a Batch API bere paušální polovinu ze všeho, co může počkat. Ani jedna nezmění jedinou odpověď. Sčítají se. A když je nasadíte jako první, downgrade, na který jste se připravovali, často přestane být nutný.
Aby čísla zůstala poctivá, budeme dál pracovat na tomtéž pacientovi: podpůrném chatbotovi, jehož fakturu na $1,460 jsme rozebrali v první části. Čtyři páky, nasazené v pořadí, žádná změna modelu pro provoz, na kterém záleží:
| Položka | Částka |
|---|---|
| Faktura z části 1 | $1,460 |
| + prompt caching | $1,332 |
| + routing | $799 |
| + seříznutí výstupu | $673 |
Chatbot z první části, o čtyři páky později
Opus 4.8, 10,000 konverzací / měsíc · páky nasazené zleva doprava
Modelováno podle předpokladů z první části (10,000 čtyřtahových konverzací; systémový blok o 1,500 tokenech; otázky po 500 tokenech, odpovědi po 700 tokenech; Opus 4.8 za $5 / $25 za 1M). Caching používá 5minutová okna a respektuje minimální cachovatelný prefix Opus 4.8 o velikosti 4,096 tokenů, takže se začne vyplácet až od 3. tahu. Routing posílá snadnější polovinu konverzací na Haiku 4.5 ($1 / $5) a mění tyto odpovědi. Seříznutí zkrátí odpovědi o ~30% a vstup ponechá beze změny, což udrží odhad konzervativní.
Páka 1: prompt caching, sleva ukrytá ve vašem opakovaném contextu
První část ukázala, že znovu odeslaný context je největší položkou konverzačního účtu: tentýž systémový prompt a tatáž rostoucí historie, účtované znovu při každém tahu. Caching útočí přesně na tuto položku. Označíte stabilní prefix svého požadavku, zaplatíte jednorázový příplatek za jeho zápis (1.25x ceny vstupu ve vrstvě s 5minutovým oknem, 2x ve vrstvě s 1hodinovým oknem) a každý pozdější požadavek, který začíná stejnými byty, si ho přečte zpět zhruba za desetinu ceny.
| Vrstva cache | Příplatek za zápis | Cena za čtení | Vyplatí se |
|---|---|---|---|
| 5 minut | 1.25x ceny vstupu, jednorázově | ~0.1x ceny vstupu | Při 2. použití prefixu |
| 1 hodina | 2x ceny vstupu, jednorázově | ~0.1x ceny vstupu | Při 3. použití |
Dvě poctivé výhrady, než si napíšete 90 procent. Zaprvé, sleva platí na cachovanou část, ne na celý účet: náš chatbot klesne z $1,460 na $1,332, o 9 procent, protože jeho konverzace jsou krátké. U Opus 4.8 se nic pod 4,096 tokenů necachuje vůbec, takže čtyřtahový chat překročí tuto hranici až ve třetím tahu; slevu dostanou nejhlubší, nejdražší tahy, ty rané ne. Zadruhé, příplatek za zápis znamená, že cachovat prefix, který nikdo znovu nepoužije, je způsob, jak přeplatit. Caching zazáří tam, kde je context velký nebo kde jsou konverzace hluboké, což je přesně to místo, kde podle první části bolest žije.
Páka 2: Batch API, paušální polovina slevy na všem, co může počkat
Batch API je nejjednodušší sleva v katalogu: odešlete práci asynchronně, dostanete výsledky zpět v řádu minut až hodin, zaplatíte 50 procent standardní ceny za každý token v úloze, cachované tokeny nevyjímaje. Neexistuje tu vůbec žádný kompromis v kvalitě; je to tentýž model produkující tytéž odpovědi, jen ne zatímco někdo kouká na kolečko.
Háček je v definici slova "počkat". Zákazník uprostřed konverzace nemůže, takže živý provoz našeho chatbota z této páky nezíská nic, a proto se ani neobjevuje ve vodopádu výše. Ale skoro každý AI produkt s sebou nese stínovou zátěž, která počkat může: noční souhrny těch podpůrných konverzací, hromadná klasifikace, generování reportů, obsahové pipeline. Naceňte je zvlášť a dávkujte je ve výchozím nastavení; platit živou sazbu za práci, na kterou nikdo nečeká, je nejtišší únik na většině účtů.
Páka 3: routing podle obtížnosti, ne podle výchozího nastavení
Ne každá konverzace potřebuje váš nejlepší model. Resetování hesla a dotazy na stav doručení nevyžadují Opus 4.8; vyžadují správné vyhledání a zdvořilou větu, což Haiku 4.5 dodá za $1 / $5 za milion tokenů, pětkrát levněji za token. V našem modelu přesun snadnější poloviny konverzací na Haiku sníží účet z $1,332 na $799, což je jediný největší krok ve vodopádu.
S touto pákou zacházejte jinak než s předchozími dvěma, protože je první, která mění výstupy. Caching a batching vracejí totožné odpovědi; routing dá přesměrované části jiný model. Disciplína, která to udrží bezpečné: klasifikujte konzervativně, přesměrujte jen provoz, který levnější model prokazatelně zvládne na vaší vlastní testovací sadě, a mějte připravenou cestu k eskalaci zpět na velký model ve chvíli, kdy konverzace přestane být snadná.
Páka 4: seřízněte výstupní stranu, protože se účtuje pětkrát dráž než vstup
Každý model Claude ceníkuje výstupní tokeny přesně na pětinásobek vstupu, takže délka vašich odpovědí je cenové rozhodnutí, ať už jste ho udělali záměrně, nebo ne. Podpůrné odpovědi napěchované zopakováním otázky a závěrečnými zdvořilostmi stojí ve velkém reálné peníze. Instrukce, aby asistent odpovídal v nejkratší podobě, která plně vyřeší ticket, zkrátí naše modelové odpovědi asi o 30 procent a účet z $799 na $673, a u rodiny Opus je nastavení effort tentýž knoflík o úroveň výš: stáhněte ho pro rutinní provoz a model spotřebuje méně tokenů na uvažování, než se dostane na totéž místo.
Limit tady není technický, ale lidský: seřízněte za hranici užitečnosti a odpovědi začnou působit úsečně, což se později projeví jako opakované kontakty. Odstraňte vatu, zachovejte podstatu.
Odkud těch 50 až 90 procent ve skutečnosti pochází
Nasaďte páky na našeho chatbota a faktura skončí na $673, o 54 procent níž, než kde ji nechala první část, přičemž náročná polovina provozu je stále na naprosto stejném modelu produkujícím naprosto stejné odpovědi. Zda vaše vlastní číslo skončí blíž 50 nebo 90, rozhodují dvě vlastnosti vaší zátěže: jak velkou část vašeho vstupu tvoří opakovaný context a kolik z vaší práce může počkat.
| Zátěž | Ušetřeno |
|---|---|
| Živý podpůrný chatbot | -54% |
| Noční dokumentový pipeline | -64% |
| Asynchronní agent, velký sdílený context | -88% |
Jak hluboký řez bude, závisí na tvaru
Ušetřený podíl měsíčního účtu, modelováno podle zátěže
Tři modelové zátěže, tytéž modely v celém rozsahu. Chatbot: předpoklady z první části plus tři páky výše ($1,460 na $673). Pipeline: 60,000 dokumentů měsíčně na Sonnet 4.6 ($3 / $15), sdílený instrukční blok o 2,500 tokenech (cachovaný) plus dokument o 3,000 tokenech na vstupu a 500 tokenů na výstupu, spuštěno přes noc přes Batch API ($1,440 na $518). Agent: 100,000 asynchronních volání měsíčně na Opus 4.8 se sdíleným balíkem contextu o 10,000 tokenech udržovaným v teple, 200 na vstupu / 300 na výstupu na volání, dávkově ($5,850 na $675). Zásahy do cache uvnitř dávkových běhů jsou otázka nejlepší snahy, takže berte pravé konce jako stropy.
Živý chatbot sedí na skromném konci, protože krátké konverzace se cachují pozdě a žádný z živého provozu nelze dávkovat. Noční dokumentový pipeline si vede lépe: jeho instrukční blok se cachuje dokonale a každý token v úloze bere dávkovou slevu. A asynchronní agent s velkým sdíleným balíkem contextu je tvar, pro který byly slevy stvořeny; devět desetin jeho vstupu se čte z cache a celý běh se dávkuje, takže 88 procent účtu prostě zmizí.
Kontrola způsobilosti
Než sáhnete na řetězec s názvem modelu, projděte svou zátěž jednou touto tabulkou.
| Páka | Vaše zátěž potřebuje | Reálná úspora | Pozor na |
|---|---|---|---|
| Prompt caching | Stabilní prefix nad minimem modelu, znovu použitý v okně cache | ~90% slevy z opakované části | Příplatek za zápis se vymstí pod 2-3 opakováními; krátké chaty začnou cachovat pozdě |
| Batch API | Tolerance k latenci v řádu minut až hodin | Paušálních -50% na celé úloze | Nikdy pro čekajícího uživatele; zásahy do cache uvnitř dávek jsou otázka nejlepší snahy |
| Routing podle obtížnosti | Část provozu, kterou levnější model prokazatelně zvládne | Až 5x na přesměrované části | Mění výstupy; nejdřív otestujte kvalitu a mějte cestu k eskalaci |
| Seříznutí výstupu + effort | Účty s velkým podílem výstupu (výstup se ceníkuje na 5x vstupu) | Úměrná řezu | Příliš agresivní působí jako úsečné, neúplné odpovědi |
Proveďte audit v tomto pořadí: nejdřív caching, pokud se jakýkoli context opakuje, dávkujte vše, na co uživatel nečeká, seřízněte výstup, který jste stejně nikdy nečetli, pak přesměrujte prokazatelně snadnou část. Až když jsou všechny čtyři na místě, zaslouží si otázka downgradu odpověď, a to už je mnohem menší otázka. A pokud vám číslo, na kterém skončíte, stále přijde příliš vysoké na to, co ta funkce vydělá, otázka už nezní, jak ji provozovat levněji; zní, zda má vůbec existovat, což je přesně to, k čemu slouží třetí část.
