Como Rodar Ollama no Docker para Ambientes Dev: Guia Prático

Rodar o Ollama diretamente no sistema operacional é excelente para testes rápidos, mas pode virar um pesadelo em ambientes de desenvolvimento corporativos. A variação de dependências entre sistemas e a dificuldade de padronizar o ambiente da equipe frequentemente geram o clássico problema do "funciona na minha máquina".

Containerizar o Ollama usando Docker resolve essa fricção ao criar um ambiente isolado, reproduzível e pronto para integração via API REST. Neste guia prático, você vai aprender a subir o servidor Ollama no Docker, gerenciar volumes para persistência de dados e conectar seus microsserviços locais.

Por Que Containerizar o Ollama em Ambientes de Desenvolvimento?

Executar LLMs locais diretamente no host exige configurações específicas de drivers de GPU e dependências do sistema operacional. Quando múltiplos desenvolvedores trabalham no mesmo projeto, garantir que todos estejam usando as mesmas versões e configurações de modelos torna-se inviável sem containerização.

O Docker encapsula o binário do Ollama e seu ambiente de execução em uma imagem padronizada. Além de simplificar a orquestração via Docker Compose, essa abordagem permite isolar os modelos baixados e subir a infraestrutura inteira com um único comando na esteira de desenvolvimento.

Passo a Passo para Subir o Ollama no Docker

Siga estas etapas estratégicas para configurar seu container do Ollama com persistência de dados e suporte a rede.

1. Mapeie volumes persistentes para os modelos

O download de LLMs consome gigabytes de disco. Use o parâmetro de volume para apontar o diretório interno do container para o host e evitar rebaixar os modelos a cada restart.

2. Configure o repasse de portas de API

Mapeie a porta padrão 11434 no container. Isso permite que seus scripts em Python, Node.js ou ferramentas como Postman acessem a API REST local do Ollama.

3. Habilite o suporte à aceleração de GPU

Caso utilize placas NVIDIA, instale o NVIDIA Container Toolkit e passe a flag correspondente de GPU para acelerar a inferência de tokens por segundo.

4. Execute a carga inicial de modelos via CLI

Acesse o container em execução com comandos interativos para baixar modelos como Llama 3 ou Qwen, deixando-os prontos para consumo da sua aplicação.

Exemplo Prático: Subindo o Ollama com Docker Compose

Veja como estruturar um arquivo declarativo limpo e funcional para integrar o servidor do Ollama ao workflow da sua equipe:

• Definição de serviço e imagem: especifique a imagem oficial do Ollama e defina um nome de container padronizado para facilitar a comunicação na rede Docker interna.
• Mapeamento de portas e volumes: exponha a porta 11434 para a máquina host e configure o volume nomeado para armazenar os pesos dos modelos de forma persistente.
• Variáveis de ambiente customizadas: ajuste parâmetros como a retenção de modelos na memória RAM após as requisições para otimizar o uso do hardware.

Com essa estrutura declarativa, qualquer membro do time consegue subir o ambiente de IA local com apenas um comando no terminal.

Erros Comuns ao Rodar Ollama no Docker

• Esquecer a persistência de volumes. subir o container sem mapear o diretório de dados faz com que todos os modelos baixados sejam destruídos assim que o container for encerrado.
• Bloqueio de CORS na API. não configurar as origens permitidas nas variáveis de ambiente impede que aplicações web rodando no navegador consigam consultar o container.
• Subestimar o consumo de RAM. alocar modelos muito grandes sem limitar os recursos do container Docker pode travar a máquina de desenvolvimento por excesso de uso de memória.

Próximos Passos para Otimizar Seu Workflow

Integrar o Ollama ao Docker é o primeiro passo para criar pipelines de desenvolvimento de IA robustos e independentes de provedores de nuvem. A partir daqui, você pode conectar o container a frameworks de orquestração e criar suítes de testes locais sem nenhum custo de API.