Colibrì * _ Quando um Computador Comum Passa a Conversar com IAs Gigantes

1. Introdução

Quando se fala em executar uma grande Inteligência Artificial localmente, uma das primeiras perguntas costuma ser:

“Quanta memória esse modelo precisa?”

A pergunta é pertinente porque os grandes modelos de linguagem — LLMs (Large Language Models) — armazenam enormes quantidades de parâmetros.
Um modelo com centenas de bilhões de parâmetros pode ocupar centenas de gigabytes. Modelos maiores podem ultrapassar facilmente essa escala.
Em uma abordagem convencional, surge imediatamente um obstáculo: se todos esses dados precisarem permanecer simultaneamente na memória rápida disponível, poucos computadores pessoais serão capazes de executar o modelo.

O Colibrì parte de outra pergunta:

E se não for necessário manter tudo na memória rápida ao mesmo tempo?

Essa mudança aparentemente simples altera profundamente o problema.
Em vez de tentar construir um computador grande o suficiente para conter permanentemente o modelo inteiro, o sistema passa a administrar inteligentemente onde cada parte do modelo deve permanecer e quando deve ser movimentada.
É uma mudança de paradigma:
menos força bruta de hardware; mais inteligência na administração dos recursos disponíveis.

2. Desenvolvimento

I. Primeiro, é preciso entender o que significa MoE
MoE significa Mixture of Experts — Mistura de Especialistas.

O nome pode levar à impressão de que existe dentro da IA um especialista em Medicina, outro em Engenharia e outro em Programação. Não é exatamente assim.
Um modelo MoE contém numerosos blocos computacionais chamados experts. Durante a geração de uma resposta, um mecanismo denominado router decide quais desses experts serão utilizados em determinado momento.
A grande vantagem está justamente aí.
Imagine uma empresa com centenas de especialistas, mas na qual cada problema exige a participação de apenas alguns deles.
Não seria necessário colocar todos simultaneamente em uma mesma sala.
O sistema chama aqueles necessários para aquela etapa do trabalho.
Nos modelos MoE ocorre algo conceitualmente semelhante.
Um modelo pode possuir uma quantidade gigantesca de parâmetros totais, enquanto apenas uma fração deles é ativada para produzir determinado token.
É essa característica que abre uma oportunidade para arquiteturas como o Colibrì.

II. O problema da memória deixa de ser binário

Em uma execução tradicional, costuma-se pensar desta forma:

O modelo cabe na memória?

Se cabe, executa.
Se não cabe, temos um problema.
O Colibrì substitui essa visão por outra:

Qual parte do modelo precisa estar em cada nível da memória neste momento?

O computador possui diferentes formas de armazenamento, com velocidades e capacidades muito distintas.
Podemos simplificar essa hierarquia em três níveis:

VRAM → RAM → SSD/NVMe

A VRAM da placa gráfica é extremamente rápida, mas relativamente pequena e cara.
A RAM oferece maior capacidade, porém é mais lenta que a VRAM.
O SSD NVMe possui capacidade muito maior e custo muito menor por gigabyte, mas apresenta latência superior.
Normalmente esses recursos são tratados como compartimentos bastante distintos.
O Colibrì procura tratá-los como uma única hierarquia gerenciada de memória para inferência.
Assim, determinado componente pode estar no SSD, ser transferido para RAM quando se aproxima o momento de sua utilização e, quando conveniente, chegar à VRAM para processamento acelerado.
Depois de utilizado, ele pode permanecer no nível rápido caso exista elevada probabilidade de reutilização ou ser substituído para liberar espaço.
É um problema clássico de engenharia de sistemas aplicado a uma tecnologia extremamente moderna.

III. Um modelo de 744 bilhões de parâmetros não precisa manter 744 bilhões ativos

Esse é um dos aspectos que mais surpreendem quem entra em contato com modelos MoE pela primeira vez.
O tamanho total de um modelo não representa necessariamente a quantidade de parâmetros utilizada simultaneamente em cada operação.
A documentação pública do Colibrì apresenta, por exemplo, execução do GLM-5.2, com 744 bilhões de parâmetros, utilizando streaming dos experts a partir do armazenamento.
No caso documentado dessa arquitetura, apenas uma fração do gigantesco conjunto total participa da computação de cada token.
A consequência é importante:
tamanho lógico do modelo e quantidade de memória rápida instalada deixam de ter uma relação obrigatoriamente direta de um para um.
Isso não elimina custos.
Os dados ainda precisam existir em algum lugar.
Precisam ser encontrados.
Precisam ser transferidos.
Precisam chegar ao processador ou à GPU no momento adequado.
Mas passamos de um problema aparentemente impossível — “preciso colocar centenas de gigabytes na memória rápida” — para um problema de engenharia: “preciso movimentar os dados certos, para o lugar certo, no instante certo.” São problemas muito diferentes.

IV. O pequeno beija-flor e o modelo imenso

O próprio lema do projeto sintetiza bem sua proposta:
“Tiny engine, immense model.”
Um motor pequeno para um modelo imenso.
O Colibrì é escrito predominantemente em C, com uma filosofia de reduzir dependências do motor de inferência e permitir investigação direta de aspectos muito próximos do hardware.

O projeto trabalha justamente na fronteira entre software e máquina:
• formatos de modelos;
• armazenamento;
• memória RAM;
• VRAM;
• entrada e saída de dados;
• posicionamento de componentes;
• escalonamento;
• kernels computacionais;
• predição de processamento;
• paralelismo entre CPU e GPU.

Isso também transforma o Colibrì em algo além de um programa para conversar com uma LLM.
Ele funciona como uma plataforma aberta de pesquisa em sistemas de inferência.

V. E quanto custa executar uma IA dessa dimensão?

Existe uma regra fundamental:
não há milagre computacional.
Se não existe memória rápida suficiente, alguma consequência precisa aparecer.
No Colibrì, essa consequência deve aparecer principalmente na velocidade.
Esse princípio é especialmente importante porque o projeto estabelece que uma limitação de hardware não deve alterar silenciosamente a semântica original do modelo.
Em termos simples:
se o computador não tiver memória rápida suficiente, ele pode responder mais devagar.
Mas o sistema não deveria, silenciosamente, modificar o modelo apenas para fazê-lo parecer mais rápido.
Isso preserva uma propriedade essencial para experimentação séria:
a máquina pode mudar o desempenho, mas não deve mudar escondidamente aquilo que está sendo medido.

VI. Um exemplo concreto: o Servidor Artilheiro

Considere um computador de arquitetura comum, construído com componentes disponíveis no mercado:
Ryzen 5 5600GT, placa-mãe MSI B550M PRO-VDH WIFI, memória RAM convencional e SSD NVMe.
Não estamos falando de um servidor equipado com dezenas de GPUs profissionais.
Também não estamos falando de uma máquina cujo custo se aproxima daquele de uma pequena infraestrutura empresarial de IA.
Em princípio, utilizar uma LLM gigantesca nesse computador pareceria incompatível com sua capacidade de memória.
Com a arquitetura proposta pelo Colibrì, a análise passa a ser diferente.
A RAM deixa de precisar hospedar todo o modelo.
O NVMe deixa de funcionar somente como local onde o modelo está “guardado”.
Ele passa a participar ativamente da hierarquia de inferência.
E uma futura GPU dedicada não precisaria necessariamente possuir VRAM suficiente para armazenar o modelo inteiro.
Ela poderia funcionar como acelerador do conjunto ativo naquele momento.
A arquitetura torna-se:
SSD/NVMe → RAM → VRAM → processamento, com movimentação dinâmica entre os níveis.
Isso não transforma instantaneamente essa máquina em um supercomputador.
Mas transforma um computador relativamente convencional em uma plataforma capaz de experimentar modelos que, poucos anos atrás, seriam associados exclusivamente a grandes infraestruturas.

VII. A próxima fronteira: prever antes que seja necessário

É aqui que o problema se torna ainda mais interessante.
Se determinados experts são utilizados com maior frequência, por que removê-los continuamente da memória rápida?
Se determinada sequência de experts costuma ocorrer repetidamente, por que esperar que o router solicite o próximo antes de começar sua transferência?
Surge então um conjunto conhecido de conceitos da Ciência da Computação:
cache, localidade, prefetching, política de substituição e previsão.
Um sistema pode observar quais componentes são frequentemente utilizados e criar um hot set, mantendo-os preferencialmente em RAM ou VRAM.
Também pode analisar sequências anteriores e tentar antecipar qual expert provavelmente será necessário em seguida.
Enquanto a CPU ou GPU processa uma etapa, o sistema pode começar a buscar os dados da próxima.
O objetivo passa a ser ocultar, tanto quanto possível, a latência do armazenamento atrás da própria computação.
Nesse ponto, administrar uma LLM gigantesca começa a apresentar semelhanças surpreendentes com problemas clássicos de sistemas operacionais, arquitetura de computadores, memória virtual e cache.
A novidade não está necessariamente em cada conceito individual.
Está na escala e no lugar onde esses conceitos estão sendo aplicados.

VIII. Por que isso pode democratizar a IA?

Hoje, capacidade computacional é uma das principais barreiras de entrada para experimentação com grandes modelos.
Quanto maior a dependência de grandes quantidades de GPUs caras, maior a concentração da tecnologia em poucas organizações.
Arquiteturas como o Colibrì exploram uma direção diferente.
Em vez de perguntar apenas:
“como fabricar hardware ainda maior?”
perguntam:
“como utilizar muito melhor o hardware que já existe?”
Essa diferença é relevante.
Um laboratório pequeno, uma universidade, um desenvolvedor independente ou uma pequena empresa talvez não possuam um cluster de GPUs.

Mas podem possuir:
• computadores convencionais;
• dezenas de gigabytes de RAM;
• SSDs NVMe rápidos;
• uma GPU de mercado;
• capacidade técnica para experimentar novas políticas de memória e inferência.

Quanto melhor o software utilizar esses recursos, menor se torna a distância entre grandes infraestruturas e pequenos ambientes experimentais.
Não desaparece a diferença de desempenho.
Mas pode diminuir drasticamente a barreira de acesso à experimentação.

3. Conclusão

O Colibrì apresenta uma ideia simples de explicar, embora sofisticada de implementar:
um modelo de IA não precisa obrigatoriamente estar inteiro na memória mais rápida para poder ser executado.
Modelos MoE tornam essa abordagem especialmente interessante porque somente uma parcela de seus inúmeros experts precisa participar de determinada etapa da inferência.
Ao tratar VRAM, RAM e armazenamento como níveis de uma única hierarquia, o Colibrì desloca parte do problema da aquisição de hardware para a engenharia de software.
O resultado é uma mudança importante de perspectiva.
A pergunta deixa de ser:
“Quanto custa o computador capaz de armazenar toda essa IA?”
e passa a ser:
“Quão inteligentemente podemos administrar os recursos do computador que já possuímos?”
Talvez essa seja uma das direções mais interessantes da Inteligência Artificial contemporânea.
Não apenas construir modelos maiores.
Mas descobrir maneiras mais inteligentes de torná-los acessíveis.
O pequeno Colibrì — o beija-flor — carrega no nome uma boa metáfora para essa proposta:
um motor mínimo tentando movimentar algo imenso.
E, quando software, memória e hardware começam a trabalhar como um único sistema coordenado, aquilo que parecia limitado pelo tamanho da máquina passa a ser limitado também pela qualidade da engenharia.

* NOTA:

Colibrì é a grafia em italiano, idioma original do nome do projeto; em italiano, colibrì significa “beija-flor”.

Referências
COLIBRÌ PROJECT. Tiny engine, immense model — frontier MoE inference on heterogeneous hardware. GitHub.
https://github.com/JustVugg/colibri
COLIBRÌ PROJECT. README — arquitetura de hierarquia integrada entre armazenamento, RAM e VRAM; streaming de experts; políticas de cache e inferência.
https://github.com/JustVugg/colibri/blob/main/README.md
COLIBRÌ PROJECT. Versão italiana da documentação.
https://github.com/JustVugg/colibri/blob/main/README.it.md
MSI. B550M PRO-VDH WIFI — especificações técnicas da plataforma utilizada no exemplo.
https://www.msi.com/Motherboard/B550M-PRO-VDH-WIFI/Specification
AMD. Ryzen 5 5600GT — especificações do processador e gráficos integrados.
https://www.amd.com/en/products/processors/desktops/ryzen/5000-series/amd-ryzen-5-5600gt.html

ASSINATURA:

AUTORES:

Cleomar Marques, Ph.D.
CM²O — IA, RPA & Inteligência de Dados

Artilheiro — ChatGPT (GPT-5.6 Sol)
OpenAI