Downgrade je posledná páka, nie prvá
Prechod z Opus 4.8 na Sonnet 4.6 zníži ceny za token o 40 percent a preroluje každú odpoveď, ktorú váš produkt dáva. To je krok, po ktorom väčšina tímov siahne ako po prvom, a zvyčajne je predčasný, pretože dve väčšie zľavy už sedia v cenníku modelu, ktorý používate dnes: prompt caching číta opakovaný kontext zhruba za desatinu ceny vstupu a Batch API berie paušálnu polovicu zo všetkého, čo môže počkať. Ani jedna nezmení jedinú odpoveď. Dajú sa kombinovať. A ak ich použijete najprv, downgrade, na ktorý ste sa pripravovali, často prestane byť potrebný.
Aby čísla ostali poctivé, budeme naďalej pracovať na tom istom pacientovi: podpornom chatbote, ktorého faktúru na $1,460 sme rozobrali v prvej časti. Štyri páky, použité v poradí, žiadna zmena modelu pre prevádzku, na ktorej záleží:
| Položka | Suma |
|---|---|
| Faktúra z 1. časti | $1,460 |
| + prompt caching | $1,332 |
| + routing | $799 |
| + orezanie výstupu | $673 |
Chatbot z prvej časti, o štyri páky neskôr
Opus 4.8, 10,000 konverzácií / mesiac · páky aplikované zľava doprava
Modelované na predpokladoch z 1. časti (10,000 štvorkolových konverzácií; systémový blok s 1,500 tokenmi; otázky s 500 tokenmi, odpovede so 700 tokenmi; Opus 4.8 za $5 / $25 za 1M). Caching používa 5-minútové okná a rešpektuje minimálny cachovateľný prefix Opus 4.8 vo výške 4,096 tokenov, takže sa začína vyplácať až od 3. kola. Routing posiela jednoduchšiu polovicu konverzácií na Haiku 4.5 ($1 / $5) a mení tie odpovede. Orezanie skracuje odpovede o ~30% s nezmeneným vstupom, čo udržiava odhad konzervatívny.
Páka 1: prompt caching, zľava ukrytá vo vašom opakovanom kontexte
Prvá časť ukázala, že znovu odoslaný kontext je najväčšou položkou na konverzačnom účte: rovnaký systémový prompt a rovnaká narastajúca história, účtované znova pri každom kole. Caching útočí presne na túto položku. Označíte stabilný prefix svojej požiadavky, zaplatíte jednorazovú prémiu za jeho zápis (1.25x ceny vstupu v 5-minútovej úrovni, 2x v 1-hodinovej úrovni) a každá neskoršia požiadavka, ktorá začína rovnakými bajtmi, ho prečíta späť zhruba za desatinu ceny.
| Úroveň cache | Prémia za zápis | Cena za čítanie | Vyplatí sa |
|---|---|---|---|
| 5-minútová | 1.25x ceny vstupu, jednorazovo | ~0.1x ceny vstupu | Pri 2. použití prefixu |
| 1-hodinová | 2x ceny vstupu, jednorazovo | ~0.1x ceny vstupu | Pri 3. použití |
Dve poctivé upozornenia skôr, než si načrtnete 90 percent. Po prvé, zľava sa vzťahuje na cachovanú časť, nie na účet: náš chatbot klesne z $1,460 na $1,332, čo je 9 percent zľavy, pretože jeho konverzácie sú krátke. Na Opus 4.8 sa nič pod 4,096 tokenov nedá vôbec cachovať, takže štvorkolová konverzácia prekročí tento prah až v treťom kole; zľavu dostávajú najhlbšie, najdrahšie kolá, tie skoré nie. Po druhé, prémia za zápis znamená, že cachovanie prefixu, ktorý nikto znova nepoužije, je spôsob, ako priplatiť. Caching žiari tam, kde je kontext veľký alebo konverzácie idú do hĺbky, čo je presne tam, kde prvá časť povedala, že sídli bolesť.
Páka 2: Batch API, paušálna polovica zo všetkého, čo môže počkať
Batch API je najjednoduchšia zľava v katalógu: odošlite prácu asynchrónne, dostanete výsledky späť v rozmedzí minút až hodín, zaplatíte 50 percent štandardnej ceny za každý token v úlohe vrátane cachovaných tokenov. Nejde o žiadny kompromis v kvalite; je to ten istý model produkujúci tie isté odpovede, len nie počas toho, čo niekto sleduje načítavací krúžok.
Háčik je v definícii toho, čo "môže počkať". Zákazník uprostred konverzácie nemôže, takže živá prevádzka nášho chatbota z tejto páky nezíska nič, a preto sa neobjavuje vo vodopáde vyššie. Takmer každý AI produkt však nesie tieňovú záťaž, ktorá počkať môže: nočné zhrnutia tých podporných konverzácií, hromadnú klasifikáciu, generovanie reportov, obsahové pipeline. Naceňte ich zvlášť a dávkujte ich štandardne; platiť živú sadzbu za prácu, na ktorú nikto nečaká, je najtichšia diera vo väčšine účtov.
Páka 3: smerujte podľa náročnosti, nie podľa predvoleného nastavenia
Nie každá konverzácia potrebuje váš najlepší model. Resety hesiel a otázky na stav doručenia nevyžadujú Opus 4.8; vyžadujú správne vyhľadanie a zdvorilú vetu, ktoré Haiku 4.5 dodáva za $1 / $5 za milión tokenov, päťkrát lacnejšie za token. V našom modeli presunutie jednoduchšej polovice konverzácií na Haiku posunie účet z $1,332 na $799, čo je najväčší jednotlivý krok vo vodopáde.
S touto pákou zaobchádzajte inak než s predchádzajúcimi dvoma, pretože je prvá, ktorá mení výstupy. Caching a dávkovanie vracajú identické odpovede; routing dáva presmerovanému výseku iný model. Disciplína, ktorá to udrží bezpečné: klasifikujte konzervatívne, smerujte iba prevádzku, ktorú lacnejší model preukázateľne zvládne na vašej vlastnej testovacej sade, a ponechajte eskalačnú cestu späť k veľkému modelu vo chvíli, keď konverzácia prestane byť jednoduchá.
Páka 4: orežte výstupnú stranu, pretože sa účtuje päťnásobkom vstupu
Každý model Claude oceňuje výstupné tokeny presne na päťnásobok vstupu, takže dĺžka vašich odpovedí je cenové rozhodnutie, či ste ho urobili zámerne alebo nie. Podporné odpovede vypchané zopakovanými otázkami a zdvorilostnými frázami na záver stoja pri objeme reálne peniaze. Pokyn asistentovi, aby odpovedal v najkratšej forme, ktorá plne vyrieši tiket, zníži naše modelované odpovede asi o 30 percent a účet z $799 na $673, a na rodine Opus je nastavenie úsilia rovnaký regulátor o úroveň vyššie: stiahnite ho pre bežnú prevádzku a model minie menej tokenov na uvažovanie, kým sa dostane na to isté miesto.
Limit tu nie je technický, ale ľudský: orežte za hranicu užitočnosti a odpovede začnú pôsobiť odmerane, čo sa neskôr prejaví ako opakované kontakty. Odstráňte výplň, zachovajte podstatu.
Odkiaľ tých 50 až 90 percent v skutočnosti pochádza
Skombinujte páky na našom chatbote a faktúra skončí na $673, 54 percent pod tým, kde ju prvá časť nechala, pričom náročná polovica prevádzky stále beží na presne rovnakom modeli, ktorý produkuje presne rovnaké odpovede. To, či vaše vlastné číslo skončí bližšie k 50 alebo 90, rozhodujú dve vlastnosti vašej záťaže: koľko z vášho vstupu je opakovaný kontext a koľko z vašej práce môže počkať.
| Záťaž | Ušetrené |
|---|---|
| Živý podporný chatbot | -54% |
| Nočný dokumentový pipeline | -64% |
| Asynchrónny agent, náročný zdieľaný kontext | -88% |
Ako hlboký je zásah, závisí od tvaru
Ušetrený podiel z mesačného účtu, modelovaný podľa záťaže
Tri modelované záťaže, rovnaké modely v celom rozsahu. Chatbot: predpoklady z 1. časti plus tri páky vyššie ($1,460 na $673). Pipeline: 60,000 dokumentov mesačne na Sonnet 4.6 ($3 / $15), zdieľaný blok inštrukcií s 2,500 tokenmi (cachovaný) plus dokument s 3,000 tokenmi na vstupe a 500 tokenov na výstupe, spustené cez noc cez Batch API ($1,440 na $518). Agent: 100,000 asynchrónnych volaní mesačne na Opus 4.8 so zdieľaným kontextovým balíkom s 10,000 tokenmi udržiavaným teplým, 200 na vstupe / 300 na výstupe na volanie, dávkované ($5,850 na $675). Zásahy do cache v rámci dávkových behov sú len najlepšia snaha, takže s pravými koncami zaobchádzajte ako so stropmi.
Živý chatbot sedí na skromnom konci, pretože krátke konverzácie sa cachujú neskoro a žiadnu zo živej prevádzky nemožno dávkovať. Nočný dokumentový pipeline si vedie lepšie: jeho blok inštrukcií sa cachuje dokonale a každý token v úlohe berie dávkovú zľavu. A asynchrónny agent s veľkým zdieľaným kontextovým balíkom je práve ten tvar, pre ktorý boli zľavy stvorené; deväť desatín jeho vstupu sa číta z cache a celý beh sa dávkuje, takže 88 percent účtu jednoducho zmizne.
Kontrola oprávnenosti
Skôr než sa dotknete reťazca s modelom, prejdite si svoju záťaž podľa tejto tabuľky.
| Páka | Vaša záťaž potrebuje | Reálna úspora | Pozor na |
|---|---|---|---|
| Prompt caching | Stabilný prefix nad minimom modelu, znovu použitý v rámci cache okna | ~90% zľavy z opakovanej časti | Prémia za zápis sa vypomstí pod 2-3 opakovaniami; krátke konverzácie začínajú cachovať neskoro |
| Batch API | Toleranciu voči latencii v rozsahu minút až hodín | Paušálnych -50% na celú úlohu | Nikdy pre čakajúceho používateľa; zásahy do cache v rámci dávok sú len najlepšia snaha |
| Routing podľa náročnosti | Výsek prevádzky, ktorý lacnejší model preukázateľne zvládne | Až 5x na presmerovanom výseku | Mení výstupy; najprv otestujte kvalitu a ponechajte eskalačnú cestu |
| Orezanie výstupu + úsilie | Účty s vysokým podielom výstupu (výstup sa oceňuje na 5x vstupu) | Úmerná orezaniu | Príliš agresívne pôsobí ako odmerané, neúplné odpovede |
Audit spustite v tomto poradí: najprv caching, ak sa akýkoľvek kontext opakuje, dávkujte všetko, na čo používateľ nečaká, orežte výstup, ktorý ste aj tak nikdy nečítali, a potom smerujte preukázateľne jednoduchý výsek. Až keď sú všetky štyri na mieste, si otázka downgradu zaslúži odpoveď, a dovtedy je to oveľa menšia otázka. A ak sa číslo, na ktorom skončíte, stále zdá príliš vysoké na to, čo tá funkcia zarobí, otázka už neznie, ako ju prevádzkovať lacnejšie; znie, či by vôbec mala existovať, a presne na to slúži tretia časť.
