Prompt caching reduziu trabalho repetido na API do Claude
O recurso anunciado em agosto de 2024 permitiu reutilizar partes estáveis do contexto para diminuir latência e custo.
O que foi lançado
A Anthropic anunciou prompt caching em 14 de agosto de 2024. O recurso permite marcar partes de um prompt para reutilização em solicitações posteriores, evitando processar novamente o mesmo prefixo quando as condições de cache são atendidas.
A proposta era beneficiar contextos extensos e repetidos, como manuais, exemplos e instruções de sistema.
Onde o ganho aparece
Um assistente interno pode usar o mesmo conjunto de políticas em várias perguntas. Uma ferramenta de código pode reaproveitar partes estáveis de um repositório. O custo inicial prepara o cache e chamadas seguintes usam a referência reutilizável.
O ganho depende de repetição real. Conteúdo que muda em toda chamada dificilmente aproveita a técnica.
Cache exige organização do prompt
Coloque instruções e materiais estáveis antes do conteúdo variável e monitore acertos de cache. Mudanças no prefixo podem invalidar a reutilização, mesmo quando parecem pequenas.
Não mantenha informação antiga apenas para preservar o cache. Correção e segurança têm prioridade sobre economia.
Como medir
Compare latência e custo por tarefa com e sem cache usando o mesmo volume. Observe também expiração, tamanho mínimo e métricas retornadas pela API na versão atual.
Prompt caching é otimização de arquitetura. Deve ser aplicado depois que o fluxo produz respostas corretas e previsíveis.
Quer aplicar isso à sua empresa?
Explique o cenário e eu ajudo a transformar a necessidade em um projeto viável.
Conversar com Tadeu