De Attention Is All You Need à chave para o avanço da IA

Durante a GTC de 2024 aconteceu uma coisa interessante: o fundador da Nvidia, Jensen Huang, participou numa mesa-redonda com 8 engenheiros do Google, sendo um deles o fundador da NEAR. Estes 8 engenheiros publicaram em conjunto há 7 anos o artigo “Attention Is All You Need”, que até hoje foi citado mais de 110.000 vezes. Talvez não tenham previsto como esta pesquisa, publicada em 12 de junho de 2017, iria transformar profundamente toda a indústria de IA.

Como o Transformer revolucionou a forma de aprender de IA

Imagine o cérebro humano como uma floresta tropical — repleto de diferentes áreas funcionais, conectadas por vias densas. Os neurônios são como esses mensageiros das vias, capazes de enviar e receber sinais para qualquer parte do cérebro. Essa estrutura confere ao cérebro humano uma poderosa capacidade de aprender e reconhecer padrões.

A arquitetura Transformer tenta replicar esse mecanismo de rede neural. Ao introduzir o mecanismo de atenção, ela supera o gargalo das primeiras RNNs (Redes Neurais Recorrentes) — que só podiam processar sequências de forma sequencial — permitindo que o modelo analise todas as partes de uma sequência simultaneamente, capturando dependências de longo alcance e contexto. Claro que, atualmente, a tecnologia ainda está longe de alcançar uma fração do cérebro humano.

Desde aplicações de reconhecimento de voz como Siri até o ChatGPT de hoje, a evolução da IA é uma série de iterações de modelos Transformer: XLNet, BERT, GPT e outros derivados surgiram. O GPT é o mais conhecido, mas ainda apresenta limitações na previsão de eventos.

O próximo passo crucial dos grandes modelos de linguagem — a capacidade de fusão temporal

Attention Is All You Need trouxe a principal contribuição do mecanismo de atenção, e o próximo salto na IA virá com o Transformador de Fusão Temporal (TFT). Quando grandes modelos de linguagem (LLMs) puderem prever eventos futuros com base em dados históricos e padrões, isso marcará um avanço significativo rumo à inteligência artificial geral (AGI).

O TFT não só consegue prever valores futuros, como também explica sua lógica de previsão. Essa capacidade tem aplicações únicas no campo de blockchain. Ao definir regras no próprio modelo, o TFT pode automatizar a gestão do consenso, aumentar a velocidade de blocos, recompensar validadores honestos e punir comportamentos maliciosos.

Novas possibilidades para mecanismos de consenso em blockchain

O consenso em redes públicas é, essencialmente, um jogo entre validadores — é preciso que mais de dois terços deles concordem sobre quem criará o próximo bloco. Esse processo é cheio de divergências, levando a redes como Ethereum a serem pouco eficientes.

A introdução do TFT oferece uma nova abordagem. As blockchains podem criar um sistema de reputação baseado no histórico de votos dos validadores, registros de propostas de blocos, registros de Slash, valores de Staking e níveis de atividade. Validadores com reputação elevada podem receber mais recompensas por blocos, aumentando a eficiência da produção de blocos.

O projeto BasedAI está explorando essa rota, planejando usar o modelo TFT para distribuir tokens entre validadores e participantes da rede. Além disso, integra tecnologia de criptografia totalmente homomórfica (FHE), permitindo que desenvolvedores implantem grandes modelos de linguagem (Zk-LLMs) em sua infraestrutura descentralizada de IA, chamada “Brains”, com privacidade garantida.

Privacidade e criptografia: o passo-chave rumo à AGI

A vantagem da tecnologia FHE é que os usuários podem ativar serviços de IA personalizados mantendo seus dados completamente criptografados. Técnicas de privacidade como aprendizado de máquina com zero conhecimento (ZkML), Computação Cega e criptografia homomórfica estão preenchendo essa lacuna.

Quando as pessoas tiverem certeza de que seus dados estão protegidos por criptografia e estiverem dispostas a contribuir com dados sob garantias de privacidade, estaremos mais próximos de uma ruptura na AGI. Isso porque a realização da AGI requer uma quantidade enorme de dados multidimensionais, e atualmente as preocupações com a segurança dos dados limitam seu fluxo.

No entanto, os desafios ainda existem — todas essas tecnologias de privacidade consomem muitos recursos computacionais, mantendo-as em estágios iniciais de aplicação, longe de uma implantação em larga escala. Mas a tendência está clara: a porta aberta por Attention Is All You Need será empurrada por uma fusão de privacidade, computação e consenso, levando-nos ao próximo era.