todo mundo fala sobre @karpathy autoresearch e a maioria de vocês não faz ideia do que realmente faz.


há um script de treino (train(dot)py) que treina um pequeno modelo de linguagem, basicamente um GPT bebé. e há um ficheiro de instruções (program(dot)md) que diz a um agente de IA o que fazer.
pressionas para começar. o agente ajusta o script de treino, treina por 5 minutos, verifica a pontuação. melhor? mantém. pior? reverte. repete 100 vezes durante a noite enquanto dormes.
é literalmente isso.
o que está realmente a otimizar: a ARQUITETURA DO MODELO. não as previsões. não as negociações. não a tua carteira.
coisas como:
→ 4 camadas ou 8?
→ melhor taxa de aprendizagem?
→ AdamW ou otimizador Muon?
→ qual o tamanho de batch que funciona melhor nesta GPU específica?
a arquitetura ótima depende do teu hardware. um H100 quer um modelo completamente diferente do teu MacBook. o autoresearch encontra automaticamente a melhor configuração para a tua máquina.
o que podes fazer com isso:
> construir um tiny LLM que escreve código, o autoresearch encontra a melhor arquitetura, tu treinas com o teu conjunto de dados
> criar um chatbot leve que funciona offline no teu telemóvel
> treinar um modelo com o teu próprio estilo de escrita para que soe como tu
> testar "o RoPE supera o ALiBi para modelos pequenos?" 100 variações numa noite em vez de 3 semanas de trabalho de PhD
> otimizar um modelo para um Raspberry Pi ou dispositivo de borda
o que NÃO podes fazer:
> prever preços de ações
> encontrar vantagens de negociação
> analisar folhas de cálculo
> prever resultados desportivos
o autoresearch é uma ferramenta para quem quer CONSTRUIR modelos de linguagem, não PARA USÁ-los. Karpathy criou um ciclo autónomo onde a IA melhora a IA. verdadeiramente brilhante. mas resolve um problema muito específico.
e esse problema provavelmente não é o teu. o que está bem, basta deixar de fingir que é algo que não é.
Ver original
post-image
Esta página pode conter conteúdo de terceiros, que é fornecido apenas para fins informativos (não para representações/garantias) e não deve ser considerada como um endosso de suas opiniões pela Gate nem como aconselhamento financeiro ou profissional. Consulte a Isenção de responsabilidade para obter detalhes.
  • Recompensa
  • Comentário
  • Repostar
  • Compartilhar
Comentário
0/400
Sem comentários
  • Marcar