IA em produção: custo por tarefa, latência e qualidade

A fatura do provedor mostra uma parte do custo de usar IA. Uma operação também precisa lidar com armazenamento, integrações, observabilidade e revisão das respostas. Para decidir se uma automação vale a pena, o consumo técnico precisa encontrar uma unidade de trabalho que o negócio reconheça.

A FinOps Foundation recomenda relacionar custos ao caso de uso e ao resultado, considerando o custo completo. O projeto OpenTelemetry mantém convenções para telemetria de IA generativa, incluindo spans, métricas e eventos. A instrumentação escolhida deve ter sua versão registrada para evitar depender de nomes de campos que mudam.

Escolha uma unidade que represente trabalho concluído

O roteiro proposto começa pelo resultado aceito: um documento conferido, uma solicitação classificada corretamente ou um resumo aprovado. Defina também o que conta como falha, abandono e reprocessamento. Sem essa regra, o custo por chamada pode cair enquanto o retrabalho aumenta.

Em um exemplo hipotético, uma equipe gera respostas de atendimento. Dividir o custo pelo número de textos produzidos informa uma coisa; dividir pelos textos aprovados informa outra. Se a aprovação exige muita correção, acompanhe esse tempo separadamente e declare quais custos entram no cálculo.

Observe o caminho inteiro da solicitação

Uma operação pode passar por busca de documentos, chamada ao modelo e execução de uma ferramenta. Meça o tempo de cada etapa e o tempo total percebido pelo usuário. Isso permite distinguir uma recuperação lenta de uma fila no provedor ou de uma integração externa com falha.

• Volume recebido, concluído, recusado e com falha.
• Latência mediana e percentis, como p95, por tipo de tarefa.
• Uso de tokens e estimativa de custo com tabela de preços identificada.
• Taxa de correção humana, repetição e encaminhamento manual.
• Erros de ferramentas, limites do provedor e operações interrompidas.

Preços e regras de cobrança variam. Concilie estimativas com o faturamento efetivo antes de apresentar economia. Percentis também precisam vir acompanhados de período e quantidade de solicitações para terem contexto.

Imponha limites antes do primeiro pico

Defina tamanho máximo de entrada, tempo de espera, concorrência e teto de chamadas por tarefa. Uma falha pode provocar novas tentativas; repetir sem limite aumenta custo e carga. Para ações com efeitos externos, a repetição precisa respeitar o controle de duplicação do serviço.

O orçamento deve ter responsável e resposta operacional. Um alerta sem decisão combinada apenas informa o problema. A equipe precisa saber quando reduzir o uso, direcionar ao fluxo manual ou suspender uma funcionalidade.

Registre o suficiente para investigar

Use um identificador de operação para relacionar etapas e falhas. Prefira metadados de versão, duração, consumo e categoria de erro. Não grave prompts completos por padrão: eles podem conter dados internos e pessoais. Quando uma amostra for necessária, defina autorização, remoção de dados sensíveis e retenção.

Na revisão do piloto, coloque custo por resultado, qualidade e tempo na mesma conversa. Uma otimização só deve avançar quando preservar os critérios de aceitação da tarefa.