Contextual Retrieval combinou contexto e busca documental
A técnica apresentada pela Anthropic acrescenta contexto aos trechos antes da indexação para melhorar recuperação em bases extensas.
O problema dos trechos isolados
Sistemas de busca para IA costumam dividir documentos em partes. Um trecho pequeno pode perder título, assunto, data ou entidade necessários para entender seu significado.
Em 19 de setembro de 2024, a Anthropic apresentou Contextual Retrieval como uma forma de acrescentar uma explicação curta a cada trecho antes de indexá-lo.
Contextual embeddings e BM25
A proposta combinava embeddings contextuais com busca lexical BM25. A primeira técnica aproxima significados; a segunda preserva força para termos exatos, códigos e nomes específicos.
Os resultados recuperados ainda podem passar por reranking para ordenar melhor os candidatos antes de formar o contexto do modelo.
Quando a técnica ajuda
Bases com documentos parecidos, políticas de várias áreas e trechos dependentes de cabeçalhos podem se beneficiar. Acrescentar contexto permite distinguir, por exemplo, qual produto ou período uma regra descreve.
Documentos curtos e bem identificados podem não justificar a complexidade adicional.
Como avaliar uma busca para IA
Crie perguntas com respostas conhecidas, registre quais trechos deveriam aparecer e meça recuperação antes de avaliar a resposta final. Inclua perguntas sem resposta para testar recusa.
Contextual Retrieval melhora a etapa de busca, mas não corrige documentos desatualizados nem garante que o modelo cite a evidência corretamente.
Quer aplicar isso à sua empresa?
Explique o cenário e eu ajudo a transformar a necessidade em um projeto viável.
Conversar com Tadeu