Tokens por segundo: como medir o desempenho de um LLM?

O que são tokens por segundo em um LLM

Tokens por segundo (tokens/s) é a métrica que mede quantas unidades de texto, chamadas tokens, um modelo de linguagem gera por segundo durante a fase de resposta. Um token corresponde a uma parte de palavra, e a velocidade de geração determina diretamente quão rápido o usuário vê o texto sendo escrito na tela, sendo o principal indicador de fluidez de uma aplicação com IA.

Na prática, o número faz sentido quando comparado à leitura humana: uma pessoa lê com conforto algo em torno de 200 a 300 palavras por minuto. Um LLM gerando 50 tokens/s produz texto mais rápido do que qualquer humano consegue ler, o que significa que, acima desse patamar, ganhos adicionais de velocidade raramente mudam a percepção do usuário. Abaixo dele, a espera começa a incomodar.

É importante separar tokens/s de outras métricas que costumam ser confundidas com ele. Latência total é o tempo entre enviar a requisição e receber a resposta completa. Throughput é a quantidade total de tokens que o sistema produz por segundo somando todos os usuários simultâneos. Tokens/s de geração, o foco deste artigo, é a velocidade percebida por um único usuário durante a resposta. Os três números convivem e, às vezes, competem entre si.

Como medir o desempenho de um LLM na prática

Medir o desempenho de um LLM com seriedade significa reproduzir as condições reais da sua aplicação, não as condições ideais de um benchmark. O procedimento tem quatro passos.

1. Defina o cenário de uso real: use prompts com o tamanho típico da sua operação. Um assistente de atendimento com histórico de conversa tem contextos de milhares de tokens; um gerador de resumos de documentos pode trabalhar com dezenas de milhares. Meça no cenário que vai rodar em produção, não com um "olá, como vai?" de teste.

2. Meça as três métricas separadamente: registre o TTFT (tempo até o primeiro token), os tokens/s de geração e a latência total. Ferramentas de benchmark open source, como as usadas para testar servidores de inferência, entregam esses números de forma padronizada. A separação importa porque cada métrica aponta para um gargalo diferente.

3. Repita com carga concorrente: um modelo sozinho no servidor gera rápido. O mesmo modelo com 20 requisições simultâneas pode cair pela metade. O teste de carga com usuários simultâneos revela o throughput real do servidor, que é o número que sustenta o dimensionamento da infraestrutura.

4. Meça ao longo do tempo: desempenho de LLM não é um número fixo. Cache de memória, temperatura da GPU e fragmentação de contexto alteram os resultados entre execuções. Uma média de várias execuções, com desvio padrão, é mais honesta do que o melhor resultado de uma rodada isolada.

Quem já trabalha com armazenamento vai reconhecer a lógica: é o mesmo cuidado necessário para interpretar IOPS e latência em discos, onde o número bruto isolado também engana se não vier acompanhado do cenário de teste.

O que é TTFT e por que ele importa tanto quanto os tokens por segundo

TTFT (Time To First Token) é o tempo entre o envio da requisição e a chegada do primeiro token da resposta. É a métrica que define a impressão inicial de velocidade: o usuário espera o TTFT antes de ver qualquer coisa acontecendo na tela. Depois disso, os tokens/s determinam o ritmo do restante do texto.

O TTFT é dominado pela fase de pré-processamento (prefill), em que o modelo lê todo o contexto da requisição antes de começar a gerar. Um prompt de 30 mil tokens pode levar vários segundos só de leitura, mesmo em hardware potente. É por isso que aplicações com contextos longos, como análise de contratos ou chat com histórico extenso, sofrem mais com TTFT do que com velocidade de geração.

A relação entre as duas métricas é direta e, muitas vezes, conflitante. Técnicas que aumentam o throughput do servidor, como processar várias requisições em lote (batching), tendem a aumentar o TTFT de cada usuário individual, porque a requisição espera a formação do lote. O oposto também vale: priorizar resposta imediata reduz o aproveitamento do hardware. A configuração correta depende do caso de uso: um chatbot de atendimento prioriza TTFT baixo; um pipeline noturno de processamento de documentos prioriza throughput máximo e não liga para TTFT.

Métrica	O que mede	Quando é a mais importante
Tokens/s de geração	Velocidade de escrita do texto durante a resposta	Respostas longas: relatórios, geração de código, resumos extensos
TTFT	Tempo até o primeiro token aparecer	Chatbots, atendimento, qualquer interação conversacional
Latência total	Tempo da requisição completa, do envio ao último token	Chamadas de sistema para sistema, APIs sem streaming
Throughput	Tokens totais por segundo somando todos os usuários	Processamento em lote, pipelines noturnos, alto volume

Quais fatores de hardware afetam os tokens por segundo

A velocidade de geração de um LLM é, na prática, um problema de memória. Durante a geração, o modelo precisa ler todos os seus pesos da VRAM a cada token produzido. Por isso, o fator que mais limita os tokens/s não é o poder de computação da GPU, e sim a largura de banda da memória: quão rápido os dados trafegam entre a VRAM e os núcleos de processamento.

VRAM disponível: os pesos do modelo e o cache de contexto (KV cache) precisam caber na memória. Quando o contexto cresce, o KV cache cresce junto e começa a disputar espaço com os pesos. Se a VRAM satura, o sistema recorre à memória comum, e os tokens/s desabam. Dimensionar o servidor com margem de VRAM é a primeira decisão que protege a velocidade em produção.

Largura de banda de memória: GPUs profissionais projetadas para IA entregam largura de banda muito superior a placas de consumo. É por isso que dois hardwares com poder computacional parecido podem ter velocidades de geração muito diferentes no mesmo modelo.

Quantização: reduzir a precisão dos pesos (de 16 bits para 8 ou 4 bits) diminui o volume de dados lidos por token e aumenta os tokens/s, com algum custo de qualidade. A escolha do nível de quantização é, na prática, uma negociação entre velocidade, VRAM e fidelidade da resposta.

Arquitetura do modelo: modelos Mixture of Experts (MoE) ativam apenas uma fração dos parâmetros por token, o que aumenta os tokens/s em relação a um modelo denso de tamanho equivalente. Mas atenção: a VRAM necessária continua sendo a do modelo completo, como detalhamos no artigo sobre os melhores LLMs de código aberto.

Comprimento do contexto: cada token gerado precisa prestar atenção em todos os tokens do contexto. Conversas longas e documentos inteiros no prompt reduzem a velocidade de geração de forma progressiva. Gerenciar o contexto (resumos, janelas deslizantes, cache de prompt) é otimização de desempenho tanto quanto a escolha do hardware.

Como dimensionar a infraestrutura para atingir a meta de tokens por segundo

O caminho correto começa pela meta de experiência, não pelo hardware. Defina primeiro o que o usuário precisa: por exemplo, TTFT abaixo de 1 segundo para o chatbot e no mínimo 40 tokens/s de geração para relatórios. Depois, trabalhe de trás para frente até os requisitos de infraestrutura.

Com a meta definida, o processo tem três etapas. Primeiro, escolha o modelo e a quantização que atendem a qualidade e velocidade. Segundo, calcule a VRAM necessária: pesos do modelo, mais KV cache no pior contexto esperado, mais margem de operação. Terceiro, valide com teste de carga no hardware real, medindo as três métricas com usuários simultâneos. Escolher o servidor GPU com esses números em mãos evita tanto a compra superdimensionada quanto a descoberta tardia de que o ambiente não sustenta o pico.

Um ponto que costuma ser esquecido: a estabilidade do número importa tanto quanto o valor. Um servidor que entrega 60 tokens/s na média, mas oscila entre 20 e 90, piora a experiência mais do que um que entrega 45 constantes. Oscilação geralmente indica contenção de recursos, e é aí que a infraestrutura dedicada se diferencia da compartilhada: sem vizinhos disputando a mesma GPU, o número se repete.

A abordagem da EVEO

A EVEO, com mais de 10 anos de mercado, 5.000 clientes e 130 colaboradores, provisiona a infraestrutura que sustenta medições honestas de desempenho: servidores bare metal com GPU NVIDIA dedicada, sem compartilhamento de recursos, em cinco data centers públicos certificados Tier III: Cotia/SP, Osasco/SP, Curitiba/PR, Fortaleza/CE e Miami/FL.

Em ambiente dedicado, os tokens por segundo medidos são os seus: não há vizinho consumindo a mesma GPU, não há fila de provedor de API e não há variação inexplicável entre requisições. Isso importa ainda mais quando a medição precisa ser auditável, como em operações de saúde, setor financeiro e setor público, onde o dado não sai da infraestrutura e o comportamento do sistema precisa ser comprovado. A conformidade com a LGPD e a soberania dos dados em território nacional completam esse requisito.

A equipe de engenharia da EVEO auxilia no dimensionamento de VRAM, na escolha entre servidor dedicado e nuvem privada e na validação de desempenho com testes de carga no cenário real da sua aplicação. O custo é fixo mensal em reais, sem cobrança de egress, o que permite planejar a operação de IA sem surpresas de fatura em dólar. A escala da operação, que processa cerca de 1 trilhão de tokens por mês conforme divulgado pela imprensa, sustenta desde provas de conceito em GPU única até clusters multi-GPU para modelos de fronteira.

Se você precisa medir e garantir tokens por segundo com estabilidade, em infraestrutura própria e auditável, a EVEO tem a arquitetura e a experiência para entregar.

Perguntas frequentes

O que são tokens por segundo em um LLM?

Tokens por segundo (tokens/s) é a métrica que mede quantas unidades de texto o modelo gera por segundo durante a resposta. É o principal indicador da velocidade percebida pelo usuário: acima de cerca de 50 tokens/s, o texto aparece mais rápido do que qualquer pessoa consegue ler, e ganhos adicionais raramente mudam a experiência.

O que é TTFT e por que ele importa?

TTFT (Time To First Token) é o tempo entre o envio da requisição e a chegada do primeiro token da resposta. Ele define a impressão inicial de velocidade da aplicação. Em contextos longos, o TTFT pode dominar a latência total, porque o modelo precisa ler todo o prompt antes de começar a gerar. Chatbots e atendimentos priorizam TTFT baixo; pipelines em lote priorizam throughput.

Quanta VRAM influencia os tokens por segundo?

Diretamente. Os pesos do modelo e o cache de contexto precisam caber na VRAM. Quando o contexto cresce e a memória satura, o sistema recorre à memória comum e a velocidade de geração despenca. Além da capacidade, a largura de banda da memória é o fator que mais limita os tokens/s, já que o modelo lê os pesos da VRAM a cada token gerado.

Qual a diferença entre throughput e latência em LLM?

Throughput é o volume total de tokens gerados por segundo somando todos os usuários simultâneos, e importa em processamento em lote. Latência é o tempo que um único usuário espera, do envio da requisição à resposta completa. Técnicas que aumentam o throughput, como processar requisições em lote, costumam aumentar a latência individual. A prioridade depende do caso de uso.

Como medir o desempenho do LLM na minha aplicação?

Use prompts do tamanho real da sua operação, no idioma da aplicação, e registre três métricas separadamente: TTFT, tokens/s de geração e latência total. Repita o teste com usuários simultâneos para medir o throughput real e execute várias rodadas para obter média e desvio. O número que importa é o medido no pior cenário frequente, não o melhor caso.

Como a EVEO ajuda a dimensionar infraestrutura para LLM?

A EVEO oferece servidores com GPU NVIDIA dedicada e nuvem privada em cinco data centers Tier III: Cotia/SP, Osasco/SP, Curitiba/PR, Fortaleza/CE e Miami/FL. A equipe de engenharia auxilia no dimensionamento de VRAM, na escolha da arquitetura e na validação de desempenho com testes de carga. O custo é fixo mensal em reais, sem cobrança de egress, com atendimento corporativo mediante CNPJ.