Positional Encoding em Transformers: O Que É e Como Funciona

Redes neurais recorrentes como RNNs e LSTMs processavam texto palavra por palavra, mantendo a sequência natural da frase de forma sequencial. Quando a arquitetura Transformer revolucionou a IA, ela trouxe o processamento em paralelo, descartando a recorrência e ganhando velocidade extrema.

O problema é que o mecanismo de self-attention sozinho é totalmente invariante à ordem das palavras. Para o modelo, as frases 'o cão mordeu o homem' e 'o homem mordeu o cão' teriam exatamente a mesma representação de tokens sem uma indicação explícita da posição de cada elemento no texto.

O Que É Positional Encoding e Por Que Ele É Indispensável

O positional encoding é uma técnica que injeta informações sobre a ordem espacial ou temporal dos tokens diretamente nos vetores de entrada do modelo. Como os Transformers analisam todas as palavras de um prompt simultaneamente, ele precisa de uma coordenada matemática para saber quem vem antes e quem vem depois.

Essa informação de posição é somada ao vetor de embedding de cada token antes da primeira camada de atenção. Dessa forma, o vetor resultante carrega tanto o significado semântico da palavra quanto a sua localização exata na frase, sem alterar a dimensão da matriz de entrada.

Os 4 Principais Tipos de Positional Encoding na Prática

Conheça as abordagens mais utilizadas para ensinar ordem e distância temporal às redes Transformers.

1. Encodings Senoidais (Absolutos)

Usa funções de seno e cosseno em diferentes frequências para gerar um padrão único para cada posição, permitindo que o modelo generalize para sequências mais longas.

2. Encodings Aprendidos (Learned Embeddings)

Trata as posições como vetores treináveis atualizados via backpropagation durante o pré-treinamento, comum em modelos como o BERT e GPT originais.

3. Encodings Relativos

Em vez de mapear a posição absoluta no texto, codifica a distância entre tokens, ajudando a capturar relações contextuais independentemente da posição global.

4. Rotary Position Embedding (RoPE)

Aplica uma rotação nos vetores no espaço complexo durante o cálculo da atenção, combinando os benefícios das abordagens absoluta e relativa com eficiência.

Exemplo Prático: Comparando o Processamento de Texto

Veja como o vetor de um token se transforma ao receber a codificação de posição em um pipeline real:

• Vetor de Embedding Base:: A palavra 'banco' recebe um vetor denso fixo (ex: 768 dimensões) focado exclusivamente em seu significado semântico geral.
• Injeção de Posição:: O algoritmo calcula o vetor senoidal para a posição 3 da frase e realiza uma soma vetorial simples elemento por elemento.
• Resultado na Atenção:: Na camada de atenção, o produto escalar entre os tokens passa a considerar a proximidade e ordem relativa, diferenciando 'banco de dados' de 'banco da praça'.

Esse processo garante que o modelo mantenha a capacidade de paralelizacao em GPU sem perder o sentido sintático do idioma.

Erros Comuns ao Entender Positional Encoding

• Achar que vetores são concatenados. Os vetores de posição são somados aos embeddings, e não concatenados ao final do vetor, mantendo a dimensão exata necessária nas matrizes.
• Confundir posição absoluta com relativa. Vetores absolutos marcam o índice fixo no texto, enquanto métodos relativos focam no intervalo entre duas palavras específicas.
• Ignorar impactos no limite de contexto. Arquiteturas com encodings aprendidos rígidos não conseguem extrapolar a janela de contexto sem técnicas de re-escalonamento ou fine-tuning.

Como Aplicar Esse Conhecimento na Prática

Entender a codificação de posição é essencial ao escolher arquiteturas de LLMs ou ajustar hiperparâmetros de janelas de contexto longas. Saber a diferença entre encodings senoidais, aprendidos e rotacionais permite diagnosticar falhas de degradação de contexto em aplicações reais de inteligência artificial.