Token Maliyetini İlk Kez Görünce

İlk dökümü açınca sayı beklediğimden büyüktü. 'Birkaç deneme' sandığım şey, her denemede tam sohbet geçmişini ve aynı sistem metnini tekrar göndermekmiş. Çıktı kısa, girdi şişmandı.

Bunu milyon kullanıcıya bağlamıyorum. Tek bir deneme betiğinde bile görünür. Log yoksa sürpriz, faturada veya kota bitince gelir.

Nereye gidiyor

Sistem prompt, tekrar eklenen dosya, başarısız çağrının retry'si. Üçü birden 'ucuz model'i pahalı yapıyor. Modeli küçültmeden önce sayıyı görüyorum.

def estimate_tokens(text: str) -> int:
    # Kaba bir ust sinir: CJK yok, kod ve bosluk karisik.
    return max(1, (len(text) + 3) // 4)

def usage_line(prompt: str, completion: str, retries: int) -> dict:
    prompt_tokens = estimate_tokens(prompt)
    return {
        "prompt_tokens": prompt_tokens,
        "completion_tokens": estimate_tokens(completion),
        "retries": retries,
        "billed_prompt": prompt_tokens * (retries + 1),
    }

Kaba tahmin, fatura değil. Yine de 'bu istek neden 8k' sorusunu sohbet penceresinden önce soruyor. Retry'ı billed'e çarpınca 'üç deneme'nin neden üçe yakın olmadığını görüyorum. Asıl kesim: aynı dosyayı her turda göndermeyi bırakmak.