Qual infraestrutura usar para um LLM local com dados sensíveis?
Escrito por
Redação EVEO
Conteúdos produzidos por especialistas da EVEO, com experiência em infraestrutura de TI, servidores dedicados, private cloud, GPUs e soluções para ambientes de alta performance. Desde 2014, a empresa oferece soluções de infraestrutura para empresas no Brasil e no exterior.
EM RESUMO
A melhor infraestrutura para rodar um LLM local com dados sensíveis no Brasil exige servidores bare metal ou nuvem privada com GPUs dedicadas, localizados em data centers Tier III no território nacional. Essa arquitetura garante que os dados nunca saiam da infraestrutura, atenda à auditabilidade exigida pela LGPD e atenda obrigações setoriais da saúde, do setor público e do mercado financeiro.
- VRAM mínima recomendada: 24 GB para modelos de até 13B parâmetros; 48-80 GB para modelos enterprise de 70B+ parâmetros;
- Soberania de dados no Brasil é obrigatória para órgãos públicos, operadoras de saúde e instituições financeiras;
- Servidores GPU dedicados com custo previsível em reais eliminam egress fees e surpresas na fatura.
Este artigo é para você se:
- Você lidera infraestrutura ou governança de dados em uma empresa que precisa processar informações sensíveis com IA generativa sem recorrer a APIs externas;
- Você atua em setor regulado (saúde, financeiro, público) e precisa comprovar que os dados permanecem dentro do território nacional;
- Você está dimensionando servidores GPU e precisa entender quanto de VRAM, storage e throughput de rede são necessários para rodar LLMs localmente com performance produtiva.
Neste artigo:
- O que é LLM local e por que ele protege dados sensíveis
- Quanta VRAM é necessária para rodar um LLM local
- Quais setores são obrigados a manter dados no Brasil
- Qual infraestrutura é recomendada para LLM local no Brasil
- Como garantir auditabilidade e conformidade com a LGPD
- Comparativo: bare metal, nuvem privada e nuvens públicas
- A abordagem da EVEO
- Perguntas frequentes
O que é LLM local e por que ele protege dados sensíveis
LLM local é a execução de um modelo de linguagem de grande porte dentro da infraestrutura própria da organização, sem envio de prompts ou dados para serviços de IA de terceiros hospedados fora do ambiente controlado. Diferente do uso de APIs como GPT-4, Claude ou Gemini, onde os dados trafegam pela internet até servidores internacionais, o LLM local mantém todo o processamento, armazenamento temporário e geração de respostas dentro de servidores sob gestão direta da empresa.
Essa abordagem elimina três vetores de risco simultaneamente: a interceptação de dados em trânsito, o processamento em jurisdições sem equivalência de proteção de dados e a impossibilidade de auditar o que acontece com a informação depois que ela chega ao provedor externo. Para organizações que lidam com dados pessoais, prontuários médicos, informações financeiras ou dados de cidadãos, esses vetores não são apenas riscos técnicos: são infrações potenciais à legislação brasileira.
Quando você roda um LLM local, o ciclo de vida dos dados fica restrito ao seu data center ou ao seu ambiente de nuvem privada. Não há chamadas de API externas. Não há log de terceiros. Não há termos de serviço de uma big tech definindo o destino final da sua informação. A governança é inteiramente sua, o que torna a demonstração de conformidade com a LGPD um processo interno, não uma negociação com um provedor estrangeiro.
Quanta VRAM é necessária para rodar um LLM local
A quantidade de memória de vídeo (VRAM) necessária para rodar um LLM local depende de três fatores: a quantidade de parâmetros do modelo, a precisão numérica usada durante a inferência e o tamanho do contexto (tokens de entrada) que a aplicação precisa processar. Em síntese: quanto maior o modelo, mais VRAM é preciso. Mas o detalhe importa.
Um modelo com 7 bilhões de parâmetros (como o Llama 2 7B ou o Mistral 7B) em precisão FP16 (16 bits) ocupa aproximadamente 14 GB de VRAM apenas para os pesos. Para inferência confortável, com overhead de KV cache e contexto, recomenda-se pelo menos 20-24 GB de VRAM. Já um modelo de 70 bilhões de parâmetros em FP16 exige cerca de 140 GB de VRAM, o que só é viável com múltiplas GPUs em cluster ou com GPUs de alta capacidade como a NVIDIA H100 (80 GB) ou A100 (80 GB).
A técnica de quantização reduz a precisão dos pesos para INT8, INT4 ou até formatos híbridos. Com quantização INT4, um modelo de 70B parâmetros pode caber em aproximadamente 40-48 GB de VRAM, mas com perda mensurável de qualidade nas respostas. Para uso enterprise, onde a precisão importa, recomenda-se FP16 ou BF16 em GPUs com VRAM de 48 GB ou mais.
| Tamanho do Modelo | Precisão | VRAM Mínima | VRAM Recomendada | GPU Exemplo |
|---|---|---|---|---|
| 7B parâmetros | FP16 | 16 GB | 24 GB | NVIDIA RTX 4090 / A10 |
| 7B parâmetros | INT4 | 6 GB | 12 GB | NVIDIA RTX 3060 |
| 13B parâmetros | FP16 | 28 GB | 48 GB | NVIDIA A40 / L40S |
| 70B parâmetros | FP16 | 140 GB | 160+ GB (multi-GPU) | 2x NVIDIA A100 80GB |
| 70B parâmetros | INT4 | 40 GB | 48 GB | NVIDIA A100 40GB / L40S |
Além da VRAM, o storage é decisivo. Os checkpoints de modelos de 70B parâmetros em FP16 podem ocupar 130-150 GB em disco. Para carregamento rápido e minimização de latência, SSD NVMe é praticamente obrigatório. Já o throughput de rede importa quando o LLM é acessado por múltiplas aplicações ou usuários internos simultâneos: uma rede de 10 Gbps é o mínimo aceitável para ambientes corporativos; 25-100 Gbps é o ideal.
Quais setores são obrigados a manter dados no Brasil
Nem toda empresa é obrigada a rodar IA localmente, mas para alguns setores essa não é uma escolha: é exigência legal. A Lei Geral de Proteção de Dados (LGPD) estabelece que dados pessoais de brasileiros devem ser tratados com boas práticas de segurança, mas vai além disso em regulamentos setoriais específicos que proíbem ou restringem o armazenamento e processamento fora do país.
Setor público: o Decreto nº 7.724/2012 e as diretrizes do IN4 (Estratégia Nacional de Governança Digital) determinam que dados públicos sensíveis e sistemas críticos do governo federal devem ser hospedados em infraestrutura localizada no território nacional. O CGI.br e o NIC.br reforçam essa orientação para entidades que lidam com dados de cidadãos. Órgãos públicos que utilizarem LLMs para atendimento, análise de documentos ou automação de processos precisam garantir que nenhum dado pessoal de cidadãos trafegue para servidores fora do Brasil.
Setor de saúde: a Resolução Normativa nº 467/2012 da ANS e a Lei nº 13.709/2018 (LGPD) em conjunto impõem que dados de saúde, incluindo prontuários eletrônicos e dados de beneficiários, sejam tratados com cuidados especiais. A Resolução 467 estabelece que os dados devem estar disponíveis para fiscalização da ANS no Brasil, o que na prática exige que a infraestrutura de processamento esteja no país. Operadoras de planos de saúde, hospitais e clínicas que usem LLMs para triagem, análise de laudos ou automação de atendimento precisam de ambientes locais auditáveis.
Setor financeiro: a Resolução CMN nº 4.893/2021 e as normas do Banco Central sobre segurança cibernética (Resolução BCB nº 4.893) exigem que instituições financeiras mantenham dados de clientes em infraestrutura com controles rigorosos de acesso e localização definida. Embora não proíbam explicitamente o uso de nuvens internacionais, a circular exige que os riscos de processamento em jurisdições estrangeiras sejam mitigados e que a instituição mantenha capacidade de auditoria completa. Na prática, isso impede o uso de IA generativa externa para dados de clientes, transações ou análise de risco de crédito.
Outros setores com dados sensíveis: empresas que lidam com dados de menores de idade, biométricos, genéticos ou dados de localização precisa também enfrentam restrições severas de transferência internacional sob a LGPD. Para essas organizações, o LLM local não é apenas uma opção técnica: é a única forma viável de usar IA generativa sem incorrer em risco regulatório.
Qual infraestrutura é recomendada para LLM local no Brasil
A escolha da infraestrutura para rodar LLM local no Brasil passa por três decisões arquiteturais: o modelo de deploy (bare metal vs. nuvem privada), a localização física dos servidores e o perfil de GPU que atende ao modelo escolhido.
Bare metal com GPUs dedicadas: essa é a configuração mais direta. Você aluga ou possui servidores físicos equipados com GPUs NVIDIA (A100, H100, L40S, A10, RTX A6000) instalados em racks de servidores dedicados bare metal. O hypervisor é opcional: muitas equipes de IA preferem rodar o LLM diretamente no sistema operacional host (Linux, tipicamente Ubuntu com drivers CUDA) para eliminar qualquer overhead de virtualização. Essa abordagem oferece controle total sobre drivers, bibliotecas (CUDA, cuDNN, TensorRT) e frameworks (PyTorch, vLLM, llama.cpp, Ollama).
Nuvem privada com GPU: para empresas que precisam de elasticidade sem abrir mão do controle, a nuvem privada oferece virtualização dedicada em hardware próprio ou particionado. A diferença crucial para a nuvem pública é que a infraestrutura física pertence ou é operada por um provedor nacional, com dados restritos ao território brasileiro e sem compartilhamento de recursos com outros clientes. A EVEO, por exemplo, oferece nuvem privada em seus data centers Tier III localizados em Cotia/SP, Osasco/SP, Curitiba/PR, Fortaleza/CE e Miami/FL, garantindo soberania de dados e conformidade LGPD.
O que evitar: instâncias de GPU em nuvens públicas internacionais, mesmo que com região São Paulo. O problema não é apenas a localização física: é a falta de transparência sobre subprocessadores, acesso administrativo de equipes estrangeiras e cláusulas contratuais que permitem acesso a dados para "melhoria de serviços". Para dados sensíveis, essa falta de controle é inaceitável.
Como garantir auditabilidade e conformidade com a LGPD
Rodar um LLM localmente é o primeiro passo. O segundo é demonstrar, de forma documentada, que a infraestrutura atende aos princípios da LGPD: finalidade, adequação, necessidade, livre acesso, qualidade dos dados, transparência, segurança, prevenção, não discriminação e responsabilização. A auditabilidade é o mecanismo técnico que materializa esses princípios.
Logs de acesso e auditoria: todo acesso ao servidor GPU, aos modelos e aos dados de treinamento ou inferência deve ser logado com timestamp, identidade do usuário e ação realizada. Ferramentas como ELK Stack (Elasticsearch, Logstash, Kibana) ou Splunk permitem centralizar esses logs e criar dashboards de conformidade. Os logs devem ser imutáveis, ou seja, armazenados em sistemas de arquivo com proteção contra alteração ou exclusões.
Segmentação de rede: o ambiente de IA deve estar isolado da rede corporativa geral. VLANs dedicadas, firewalls de próxima geração e acesso via VPN ou bastion host garantem que apenas pessoas autorizadas possam interagir com o modelo ou com os dados. Essa segmentação é requisito básico de qualquer auditoria de segurança.
Criptografia em repouso e em trânsito: os pesos do modelo, os dados de entrada e as saídas geradas devem ser criptografados quando armazenados em disco (criptografia de volume, com LUKS ou similar) e quando transitam pela rede (TLS 1.3). Mesmo dentro de um data center, a criptografia em trânsito entre o servidor de aplicação e o servidor GPU é recomendada.
Gestão de identidade e acesso (IAM): implemente autenticação multifator (MFA) para qualquer acesso administrativo ao servidor. Use RBAC (Role-Based Access Control) para garantir que apenas cientistas de dados, engenheiros de ML e auditores tenham acesso ao ambiente. A LGPD exige que o tratamento de dados pessoais seja feito apenas por pessoas autorizadas e com necessidade de acesso.
Testes de invasão e monitoramento contínuo: realize pentests periódicos no ambiente de IA. Implemente monitoramento de anomalias que detecte acessos fora do horário comercial, downloads anormais de dados ou tentativas de extração do modelo (model extraction attacks). Entender ataques DDoS e outras ameaças é parte da maturidade de segurança necessária para manter um LLM local seguro.
Comparativo: bare metal, nuvem privada e nuvens públicas
| Critério | Bare Metal GPU | Nuvem Privada Nacional | Nuvem Pública (Hyperscaler) |
|---|---|---|---|
| Soberania de dados | Total: hardware dedicado, nenhum compartilhamento | Alta: infraestrutura nacional, controle do cliente | Baixa: subprocessadores internacionais, termos opacos |
| Custo previsível | Fixo mensal em reais, sem egress fee | Fixo mensal em reais, sem egress fee | Variável: egress fees, cobrança por uso imprevisível |
| Performance | Máxima: zero overhead de virtualização | Alta: overhead mínimo com virtualização dedicada | Variável: instâncias compartilhadas, noisy neighbors |
| Escalabilidade | Manual: requer provisionamento físico | Elasticidade controlada: scale-up programado | Alta: auto-scaling instantâneo |
| Auditabilidade LGPD | Total: logs locais, acesso físico documentado | Alta: logs centralizados, compliance nacional | Complexa: auditoria limitada por contrato |
| Setup inicial | Mais lento: instalação manual de drivers e frameworks | Moderado: templates de VM com GPU pré-configurados | Rápido: AMIs e containers prontos |
| Ideal para | Cargas fixas, máxima performance, compliance rígido | Empresas que precisam de equilíbrio entre controle e flexibilidade | Prototipagem rápida, cargas variáveis, dados não sensíveis |
Para organizações que trabalham com dados sensíveis no Brasil, a escolha se resume a bare metal ou nuvem privada nacional. A nuvem pública só é aceitável em casos de dados anonimizados, prototipagem ou cargas de trabalho sem restrições regulatórias.
A abordagem da EVEO
A EVEO, com mais de 10 anos de mercado, 5.000 clientes e 130 colaboradores, oferece infraestrutura de GPU para IA generativa em data centers Tier III localizados no Brasil (Cotia/SP, Osasco/SP, Curitiba/PR, Fortaleza/CE) e em Miami/FL. Todos os ambientes são operados mediante CNPJ, com foco corporativo e sem atendimento a pessoa física.
A EVEO não cobra egress fee. O custo é previsível em reais, o que permite que times de IA façam budget sem surpresas de fatura. A soberania de dados é garantida por contrato: os dados permanecem em território nacional, sob controle do cliente, com possibilidade de auditoria física e lógica.
Para quem precisa rodar LLMs localmente, a EVEO oferece tanto servidores bare metal com GPU quanto ambientes de nuvem privada, ambos com suporte a NVIDIA A100, H100, L40S e outras GPUs enterprise. A equipe de engenharia auxilia no dimensionamento correto de VRAM, storage e rede, considerando o modelo de IA que a empresa pretende rodar.
Se você precisa de uma infraestrutura que garanta que seus dados nunca saiam do ambiente controlado, que atenda à LGPD e que ofereça custo previsível em reais, a EVEO tem a arquitetura adequada.
Perguntas frequentes
1. Qual a diferença entre rodar um LLM local e usar uma API como GPT-4?
Quando você usa uma API externa, seus prompts e dados são enviados para servidores de terceiros, geralmente fora do Brasil. O provedor pode armazenar, processar ou usar esses dados para treinar modelos, dependendo dos termos de serviço. Rodando um LLM local, todo o processamento acontece dentro da sua infraestrutura. Os dados nunca saem do ambiente controlado, o que garante conformidade com a LGPD e permite auditoria completa do tratamento da informação.
2. Quanto custa montar uma infraestrutura para LLM local no Brasil?
O custo varia conforme o tamanho do modelo e a quantidade de GPUs necessárias. Um servidor com GPU NVIDIA A10 (24 GB VRAM), adequado para modelos de até 13B parâmetros, tem custo mensal acessível para empresas de médio porte. Já um cluster com duas NVIDIA A100 80GB para modelos de 70B parâmetros em FP16 representa investimento maior. A vantagem de provedores nacionais como a EVEO é o custo previsível em reais e a ausência de egress fees, que em hyperscalers podem representar 30-50% da fatura mensal em cargas de dados intensivas.
3. Posso rodar um LLM local sem GPU, usando apenas CPU?
Tecnicamente sim, mas não é recomendado para uso produtivo. Frameworks como llama.cpp permitem execução em CPU com quantização agressiva, mas a latência é dezenas de vezes maior do que em GPU. Para um modelo de 7B parâmetros, uma resposta que levaria 2-3 segundos em GPU pode levar 30-60 segundos em CPU. Para aplicações empresariais, onde usuários esperam respostas em tempo real, GPU é praticamente obrigatória. Além disso, o consumo energético de CPU para cargas de IA é significativamente maior por token gerado.
4. A LGPD obriga que todos os dados fiquem no Brasil?
A LGPD não proíbe explicitamente a transferência internacional de dados, mas exige que ela ocorra apenas para países com nível adequado de proteção ou mediante mecanismos como cláusulas contratuais tipo. No entanto, para setores regulados (saúde, financeiro, setor público), existem normas específicas que restringem ou proíbem o processamento fora do país. Mesmo quando a transferência é legal, a burocracia de comprovação de equivalência de proteção é complexa. Por isso, manter dados no Brasil é a forma mais segura e simples de estar em conformidade.
5. Preciso de um cientista de dados para manter um LLM local?
Para deploy inicial, um engenheiro de infraestrutura ou DevOps com conhecimento em Linux, Docker e NVIDIA CUDA consegue subir um modelo usando ferramentas como Ollama, vLLM ou Text Generation Inference. Para otimização, fine-tuning e integração com sistemas corporativos, a presença de um engenheiro de ML é recomendada. A manutenção operacional (atualização de modelos, monitoramento, segurança) pode ser feita pelo time de infraestrutura, especialmente se o ambiente for gerenciado por um provedor que ofereça suporte técnico especializado.
6. Qual a vantagem de data centers Tier III para rodar LLMs?
Data centers Tier III garantem disponibilidade de 99,982% com redundância N+1 em todos os componentes críticos: energia, refrigeração e conectividade. Para cargas de IA, que podem levar horas ou dias para completar um treinamento ou fine-tuning, uma queda de energia ou superaquecimento representa perda de tempo e dinheiro. A certificação Tier III assegura que manutenções e falhas parciais não interrompam a operação. A EVEO opera exclusivamente data centers Tier III, o que garante que seus workloads de IA rodem em ambiente enterprise, não em sala de servidores improvisada.
