GPU dedicada para LLM: memória e desempenho por modelo

O que é uma GPU dedicada para LLM

GPU dedicada para LLM é uma placa de processamento gráfico de uso exclusivo, sem compartilhamento de recursos, dimensionada para executar modelos de linguagem de grande porte. A memória de vídeo (VRAM) determina o tamanho máximo do modelo e do contexto que rodam no servidor, e a largura de banda da memória determina a velocidade de geração das respostas.

O "dedicada" é o que separa essa categoria das alternativas. Em uma GPU compartilhada, outras cargas disputam a mesma memória e o mesmo processamento, e o desempenho do modelo oscila sem explicação aparente. Na dedicada, a placa inteira pertence à sua aplicação: os 32GB, 96GB ou 141GB de VRAM estão disponíveis o tempo inteiro para o seu modelo.

Para LLMs, a VRAM é o recurso decisivo. Os pesos do modelo precisam caber na memória da placa junto com o cache de contexto da conversa. Se não couber, o servidor recorre à memória comum e a velocidade despenca. É por isso que a escolha da GPU começa por uma conta de memória, e não por uma comparação de poder de processamento.

Quanta VRAM um LLM precisa em cada GPU?

A conta base é simples: em precisão de 16 bits (FP16), cada parâmetro do modelo ocupa 2 bytes de VRAM. Um modelo de 7B parâmetros pede cerca de 14GB só de pesos; um de 32B pede 64GB; um de 70B pede 140GB. A quantização reduz esses números ao diminuir a precisão de armazenamento: em FP8 ou Q8, cada parâmetro ocupa 1 byte; em Q4, aproximadamente meio byte.

Tamanho do modelo	FP16 (2 bytes por parâmetro)	FP8 ou Q8 (1 byte)	Q4 (cerca de 0,5 byte)
7B	~14GB	~7GB	~4GB
32B	~64GB	~32GB	~18GB
70B	~140GB	~70GB	~40GB
235B (MoE)	~470GB	~235GB	~120GB

Esses valores cobrem apenas os pesos. O cache de contexto (KV cache), que guarda o histórico da conversa para o modelo consultar a cada token gerado, cresce junto com o tamanho do prompt e com o número de usuários simultâneos. Um servidor dimensionado "no limite exato" dos pesos não tem para onde crescer quando o contexto alonga ou o tráfego aumenta.

Quais GPUs dedicadas a EVEO oferece para rodar LLMs?

A EVEO trabalha com quatro configurações de GPU dedicada, escolhidas para cobrir a faixa real de uso corporativo: do chatbot interno em um único servidor até inferência de modelos de fronteira com contextos extensos. A tabela resume o que cada uma entrega.

Configuração	VRAM total	O que roda	Caso de uso ideal
2x Tesla T10	32GB (2x 16GB)	Modelos de até 32B parâmetros em Q4	Chatbots locais e assistentes internos
RTX PRO 4500 SE	32GB	Modelos de até 32B parâmetros em Q4 e Q6	Chatbots locais com demanda também de renderização
RTX PRO 6000 SE	96GB	Modelos médios em precisões mais altas, com contexto real	Inferência multiusuário com vLLM e fine-tuning leve
H200	141GB (HBM3e)	Modelos de 70B em FP8 com contextos grandes; MoE de 235B no limite	Inferência de fronteira, análise documental, contextos extensos

As duas opções de 32GB resolvem a faixa de entrada com folga para a maioria dos departamentos: um modelo de 32B em Q4 ocupa cerca de 18GB, sobrando memória para contexto. A RTX PRO 6000 SE triplica a memória e muda de categoria: com 96GB, o mesmo modelo roda em precisões mais altas (Q6, Q8 ou FP8) com contexto confortável, e o servidor passa a atender vários usuários simultâneos via vLLM sem disputa de recursos. A H200, com 141GB de memória HBM3e, é a configuração para modelos grandes em precisão elevada: um modelo de 70B em FP8 ocupa cerca de 70GB e deixa quase metade da placa para contexto e concorrência.

Qual GPU dedicada escolher para cada caso de uso?

A escolha correta sai de quatro perguntas, nesta ordem.

Qual modelo você vai rodar, e em qual quantização? Se o plano é um modelo de até 32B em Q4, as configurações de 32GB (2x Tesla T10 ou RTX PRO 4500 SE) resolvem. Se a qualidade exige precisões mais altas ou o modelo é maior, o salto é para a RTX PRO 6000 SE. Modelos de 70B em FP8 e MoE de 235B pedem a H200. Modelos ainda maiores, na casa dos 671B parâmetros, exigem servidor multi-GPU com várias placas de alta capacidade em conjunto.

Quantos usuários simultâneos? Um assistente para um departamento de dez pessoas e um produto de atendimento com centenas de sessões simultâneas têm exigências muito diferentes de VRAM livre para o KV cache. Quanto maior a concorrência, mais folga a configuração precisa ter além dos pesos.

Inferência ou fine-tuning? Ajustar o modelo consome mais memória que apenas rodá-lo, porque gradientes e estados do otimizador se somam aos pesos. A RTX PRO 6000 SE cobre fine-tuning leve de modelos abertos; ajustes mais exigentes pedem a H200 e planejamento de margem adicional.

Para quem ainda está escolhendo o modelo, o guia dos melhores LLMs de código aberto para 2027 compara DeepSeek V4, Qwen 3.5, Llama 4, GLM-5, Mistral e Gemma 4 por licença, contexto e hardware. A sequência recomendada é: modelo primeiro, GPU depois, nunca o contrário. O dimensionamento do servidor com a engenharia certa evita comprar capacidade a mais ou a menos.

Por que a memória da GPU define o desempenho do LLM?

Durante a geração de texto, o modelo lê todos os seus pesos da VRAM a cada token produzido. A operação é, na prática, um problema de memória: quem move dados da VRAM até os núcleos de processamento mais rápido, gera mais rápido. Por isso a largura de banda pesa tanto, e por isso a H200 com HBM3e se distancia das placas com memória convencional em modelos grandes.

Quando a VRAM satura, o efeito é abrupto. O sistema passa a usar a memória comum do servidor, que é ordens de magnitude mais lenta para esse tipo de acesso, e a velocidade de geração despenca. Não é uma degradação gradual: é um cliff. Manter folga de memória é o que mantém o desempenho estável quando o contexto cresce ou a concorrência aumenta.

A folga também é o que dá vida útil ao servidor. Um modelo atualizado hoje pode ser substituído por uma versão maior em seis meses, e o contexto típico das aplicações tende a crescer conforme o uso amadurece. Uma configuração contratada com margem absorve essas evoluções sem novo projeto; uma configuração no limite vira gargalo na primeira mudança.

A abordagem da EVEO

A EVEO, com mais de 10 anos de mercado, 5.000 clientes e 130 colaboradores, provisiona servidores bare metal com GPU NVIDIA dedicada, sem compartilhamento de recursos, nas quatro configurações descritas neste artigo: 2x Tesla T10 (32GB), RTX PRO 4500 SE (32GB), RTX PRO 6000 SE (96GB) e H200 (141GB). Toda a operação roda em cinco data centers públicos certificados Tier III: Cotia/SP, Osasco/SP, Curitiba/PR, Fortaleza/CE e Miami/FL.

A engenharia consultiva da EVEO auxilia em cada etapa da decisão: na escolha do servidor GPU, na definição da quantização que equilibra qualidade e memória e na decisão entre servidor dedicado e nuvem privada. O objetivo é que a configuração contratada atenda o modelo escolhido com margem real de crescimento, e não no limite teórico da tabela.

O modelo comercial elimina as variáveis que costumam travar projetos de IA no Brasil: custo fixo mensal em reais, sem cobrança de egress e sem exposição cambial. O atendimento é exclusivamente corporativo, mediante CNPJ. Para setores regulados, a nuvem privada em data centers Tier III no Brasil mantém o dado sob jurisdição nacional, com a auditabilidade que operações de saúde, financeiro e setor público exigem. A escala da operação, que processa cerca de 1 trilhão de tokens por mês conforme divulgado pela imprensa, e o plano de investimento de R$ 500 milhões até 2030 sustentam a expansão contínua da capacidade de GPU no país.

Se você quer saber qual dessas GPUs roda o seu modelo com a velocidade e a margem que a operação precisa, a EVEO tem a infraestrutura e a engenharia para responder com números.

Perguntas frequentes

Quanta VRAM é preciso para rodar um LLM em GPU dedicada?

Depende do tamanho do modelo e da quantização. Em precisão de 16 bits, cada parâmetro ocupa 2 bytes, então um modelo de 32B pede cerca de 64GB só de pesos. Com quantização Q4, o mesmo modelo ocupa perto de 18GB e roda em uma GPU de 32GB com espaço para contexto. Além dos pesos, é preciso reservar VRAM para o cache de contexto e para os usuários simultâneos.

Quais GPUs dedicadas a EVEO oferece para LLM?

A EVEO trabalha com quatro configurações: 2x Tesla T10 com 32GB totais (2x 16GB), RTX PRO 4500 SE com 32GB, RTX PRO 6000 SE com 96GB e H200 com 141GB. As opções cobrem desde chatbots locais de até 32B parâmetros em Q4 até inferência multiusuário com vLLM, fine-tuning leve e modelos de 70B em FP8, com custo fixo mensal em reais e sem cobrança de egress.

Qual GPU dedicada é ideal para rodar um chatbot local?

Para chatbots locais, as 2x Tesla T10 (32GB totais) e a RTX PRO 4500 SE (32GB) atendem modelos de até 32B parâmetros em quantização Q4. A escolha entre elas depende do perfil da operação: a RTX PRO 4500 SE também cobre cargas de renderização, enquanto o par de T10 é a configuração de entrada para assistentes internos e departamentos.

A GPU H200 roda modelos MoE de fronteira?

Sim. Com 141GB de memória HBM3e, a H200 roda modelos de 70B em FP8 com contextos extensos e chega ao limite em modelos MoE de 235B parâmetros. Para modelos ainda maiores, na casa dos 671B, é necessário um servidor multi-GPU com várias placas de alta capacidade trabalhando em conjunto.

Posso fazer fine-tuning em GPU dedicada?

Sim, com planejamento. A RTX PRO 6000 SE (96GB) suporta fine-tuning leve de modelos abertos, e a H200 cobre ajustes mais exigentes. O fine-tuning consome mais memória que a inferência, porque gradientes e estados do otimizador se somam aos pesos do modelo. Ajustes completos de modelos grandes pedem margem adicional de VRAM no dimensionamento.

Como a EVEO provisiona GPUs dedicadas para LLM?

A EVEO provisiona servidores bare metal com GPU NVIDIA dedicada, sem compartilhamento de recursos, em cinco data centers Tier III: Cotia/SP, Osasco/SP, Curitiba/PR, Fortaleza/CE e Miami/FL. O atendimento é corporativo (CNPJ), com custo fixo mensal em reais, sem cobrança de egress e engenharia consultiva para dimensionar a VRAM conforme o modelo e o caso de uso.