· 7 min de leitura
Toda obra tem uma cabeça e uma cauda semântica
A pergunta se o stop token seria uma singularidade acabou virando outra: talvez toda obra tenha regiões semânticas de abertura e fechamento que não coincidem simplesmente com seus primeiros e últimos tokens.
A conversa já tinha quásares, gravidade, mapas, Jacobianos, Borges e uma tentativa bastante séria de transformar uma LLM num objeto navegável.
Então apareceu a pergunta inevitável:
o stop token é uma singularidade?
Claro.
Se você deixa uma conversa sobre física semântica rodar por tempo suficiente, em algum momento alguém pergunta onde fica o buraco negro.
A primeira resposta é meio decepcionante.
Provavelmente não.
Um EOS — end of sequence — é antes de tudo um evento de parada. O modelo chega a um estado em que atribui probabilidade suficiente ao token especial de encerramento e a geração termina.
Em linguagem de sistemas dinâmicos, isso parece mais um estado absorvente ou uma condição de contorno do que uma singularidade.
trajetória → trajetória → trajetória → EOSDepois do EOS, não existe “próximo ponto daquela geração” porque decidimos que a geração acabou.
Isso sozinho não faz o espaço explodir, colapsar ou perder regularidade.
Mas a pergunta errada abriu uma pergunta melhor.
O fim começa antes do fim
Uma resposta não começa a terminar no instante em que emite EOS.
Muito antes disso já podemos perceber que ela está fechando.
Compare:
Existem três razões principais.
com:
Portanto, essas três razões levam à mesma conclusão.
A primeira frase abre obrigações.
A segunda começa a quitá-las.
Na primeira, existe uma grande variedade de futuros plausíveis.
Na segunda, o espaço de continuações começa a encolher.
Isso sugere uma coisa que parece óbvia depois de dita:
o stop token é um ponto; a terminação é uma região.
Talvez exista uma bacia semântica de fechamento.
A trajetória entra nela, continua andando, mas cada vez menos futuros permanecem naturais.
muitos futuros
↘ ↓ ↙
↘ ↓ ↙
↘↓↙
●
EOSNão precisa haver uma única bacia.
Uma prova matemática fecha de um jeito.
Uma história fecha de outro.
Uma recusa fecha de outro.
Uma resposta factual de uma linha praticamente nasce com um pé no cemitério.
Todos podem acabar no mesmo token especial e ainda assim chegar até ele por regiões semânticas completamente diferentes.
Toda obra tem uma cabeça e uma cauda
Foi aí que a ideia mudou de tamanho.
Não é só uma propriedade do EOS.
Talvez toda obra finita tenha uma semantic head e uma semantic tail.
Não quero dizer simplesmente:
primeiros 10% = cabeça
últimos 10% = caudaIsso seria uma descoberta importante para a ciência das barras de progresso.
Quero dizer regiões dinâmicas.
A cabeça semântica é a parte em que a obra ainda está decidindo que universo será aquele.
Tema.
Voz.
Problema.
Escala.
Gênero.
Promessas.
Direção.
No começo de um romance, milhares de romances ainda cabem naquela primeira página.
No começo de uma prova, muitos caminhos ainda poderiam ser escolhidos.
No começo de uma resposta, ainda não sabemos se ela vai explicar, refutar, formalizar, listar, contar uma história ou perceber que a pergunta estava errada.
A cabeça é uma região de localização.
Cada novo trecho elimina universos possíveis e torna mais claro que obra estamos lendo.
Se eu pudesse medir isso, talvez observasse algo como:
incerteza sobre “que obra é esta?”
████████████████
██████████
██████
███A cauda semântica faz quase o movimento complementar.
Ela não está principalmente dizendo que obra é essa. Isso já está relativamente estabelecido.
Ela está reduzindo as formas pelas quais a obra ainda pode continuar sem trair aquilo que já construiu.
futuros admissíveis
████████████████
███████████
██████
██
EOSA cabeça reduz incerteza sobre a identidade global.
A cauda reduz incerteza sobre a continuação local.
Essa assimetria me parece importante.
A cauda é maior que o stop token
No Semantic Atlas que estamos tentando construir, dá para transformar isso numa hipótese mensurável.
Imagine que, em cada ponto da obra, eu estime o conjunto de estados semanticamente naturais que ainda consigo alcançar nos próximos H passos.
Chame isso de alguma coisa como:
R_H(t)O conjunto alcançável.
No meio de um texto ele pode ser enorme.
Quando a cauda começa, talvez esse conjunto contraia sistematicamente.
A quantidade que interessa não é apenas:
P(EOS no próximo token)mas também:
quanto o universo de futuros está encolhendo?Uma cauda pode existir mesmo quando EOS ainda está longe.
Um romance pode passar cinquenta páginas fechando uma história.
Uma demonstração pode entrar em sua cauda assim que os lemas necessários estão estabelecidos, mesmo que ainda faltem várias linhas de álgebra.
Uma conversa pode começar a terminar no momento em que todos percebem que a questão central já foi respondida.
Isso é uma propriedade semântica, não uma contagem regressiva de tokens.
E a cabeça também não precisa estar no começo
A coisa fica mais estranha quando lembramos que obras têm estrutura interna.
Um capítulo pode ter sua própria cabeça e sua própria cauda.
Um parágrafo também.
Um argumento também.
HEAD da obra
├─ head do capítulo 1
│ └─ tail do capítulo 1
├─ head do capítulo 2
│ └─ tail do capítulo 2
└─ TAIL da obraUma virada narrativa no capítulo 17 pode abrir uma nova cabeça local.
Uma objeção no meio de uma prova pode reabrir o espaço de possibilidades.
Um “mas há um problema” quase no final de um ensaio pode destruir a cauda que estava se formando e inaugurar outro regime.
Então head e tail são multirresolução, exatamente como o mapa.
De longe, vejo a cabeça e a cauda do livro.
Dou zoom e vejo a cabeça e a cauda do capítulo.
Dou mais zoom e vejo a pequena abertura e o pequeno fechamento de um argumento.
A cobra é fractal.
Um campo de terminação
Para testar a ideia, podemos definir um campo bastante simples:
λ_H(q, v, h) = P(EOS dentro de H tokens | estado atual)q é a posição semântica.
v é a direção de chegada.
h representa alguma informação de história que ainda precisamos carregar.
Se λ cresce suavemente em certas regiões, temos uma geometria de terminação.
Se as trajetórias entram e tendem a permanecer nessas regiões, talvez tenhamos bacias terminais.
Se existe uma superfície em que uma pequena travessia muda brutalmente a probabilidade de acabar logo, podemos brincar — com cuidado — de chamar aquilo de horizonte terminal.
continuação provável | fechamento provável
|
→ → → → → | → EOS
-----------------------|----------------------
horizonteÉ uma metáfora operacional.
Não é um horizonte de evento físico.
Aliás, se conseguimos aplicar steering e empurrar a geração de volta para o lado que continua, então ele é explicitamente atravessável nos dois sentidos.
Um péssimo buraco negro.
Um ótimo objeto de controle.
Quando eu aceitaria chamar de singularidade
Eu colocaria uma catraca forte aqui.
O fato de a trajetória acabar não basta.
O fato de P(EOS) chegar perto de 1 não basta.
O fato de várias trajetórias convergirem para uma bacia também não basta.
Eu só gostaria de usar singularidade dinâmica se alguma coisa da dinâmica efetiva realmente perder regularidade perto da terminação.
Por exemplo:
- um Jacobiano local perde rank de maneira reproduzível;
- o campo de movimento fica mal condicionado;
- pequenas perturbações deixam de possuir continuação regular;
- aparece uma mudança topológica que não desaparece quando aumentamos a resolução do mapa.
Caso contrário, temos algo mais simples e provavelmente mais útil:
absorbing event
→ terminal basin
→ stopping surfaceNão é pouco.
A física continua interessante mesmo quando não há uma singularidade disponível para animar a festa.
Já apareceu algo parecido dentro de LMs
Existe pelo menos uma pista anterior interessante.
Em 2020, Benjamin Newman, John Hewitt, Percy Liang e Christopher Manning estudaram a decisão de EOS em modelos de linguagem e encontraram estruturas que chamaram de length manifolds e length attractors. Em alguns casos o hidden state entrava numa região associada ao comprimento e ficava preso quando EOS passava a ser a previsão dominante.
Isso não prova nossa história de caudas semânticas.
Pode ser principalmente representação de comprimento.
Na verdade, esse é exatamente o controle que precisamos fazer.
Se eu consigo prever toda a “geometria de terminação” olhando apenas para:
posição atual / comprimento esperadoentão inventamos uma cosmologia para redescobrir len(text).
Obrigado pela colaboração, NASA.
A hipótese só fica interessante se posição semântica, velocidade, história e contração dos futuros explicarem algo que o relógio de tokens não explica.
A cabeça e a cauda como condições de contorno
Essa formulação também muda um pouco como eu penso uma obra.
Talvez uma obra não seja só uma trajetória:
q_1 → q_2 → ... → q_TTalvez ela seja uma trajetória com condições de contorno semanticamente estruturadas.
Na cabeça, o sistema escolhe rapidamente entre muitos mundos possíveis.
No corpo, ele percorre o mundo escolhido.
Na cauda, ele começa a fechar caminhos até que uma continuação adicional custe mais coerência do que o encerramento.
HEAD BODY TAIL
╲ ╲ ╲ → → → ╱ ╱ ╱
╲ ╲ ╲──────────────→ → →─────────────╱ ╱ ╱
muitos futuros poucos futuros
↓
EOSIsso talvez seja observável tanto em texto humano quanto em geração de LLM.
E pode ser uma propriedade muito útil para o Atlas.
Se o navegador sabe que entrou numa cauda semântica antes de cumprir todos os waypoints, ele pode perceber:
estamos fechando cedo demais.
Se todos os objetivos já foram satisfeitos e a conversa continua orbitando, ele pode fazer o contrário:
a cauda deveria ter começado há quarenta tokens.
De repente, “saber quando parar” deixa de ser apenas uma decisão lexical.
Vira navegação.
Talvez uma boa obra saiba morrer
Essa foi a parte da ideia que mais ficou comigo.
A gente costuma pensar no final como um ponto: a última frase, a última nota, o último frame, a última linha da prova.
Mas um bom final frequentemente começa muito antes.
Você sente o espaço fechando.
Não porque já sabe exatamente quais serão as palavras finais, mas porque percebe que a obra passou de expandir possibilidades para resolver possibilidades.
A cauda já começou.
E talvez uma boa abertura faça o movimento inverso: não apenas começa, mas cria um campo de futuros suficientemente rico e, ao mesmo tempo, começa a selecionar qual deles vale a pena habitar.
A cabeça abre o universo e escolhe um mundo.
A cauda fecha o mundo e escolhe um fim.
No meio, a obra vive.
O EOS é só onde paramos de escrever.