Milhões de features interpretáveis extraídas de um modelo de produção — inclusive uma que faz o modelo achar que é a Golden Gate
- O que é
- A equipe de interpretabilidade da Anthropic treinou sparse autoencoders com 1, 4 e 34 milhões de features sobre as ativações do Claude 3 Sonnet, e mostrou que muitas correspondem a conceitos legíveis — lugares, pessoas, código inseguro, bajulação — e que ativá-las artificialmente muda o comportamento do modelo.
- O que foi demonstrado
- Features multilíngues e multimodais; features relevantes para segurança (engano, busca de poder, viés); a demonstração pública do “Golden Gate Claude”, em que uma única feature amplificada dominou as respostas.
- O que ainda não foi
- Publicado pelo próprio laboratório, sobre o próprio modelo, sem revisão externa. Sparse autoencoders capturam parte das ativações; o que fica de fora é uma questão aberta.
- Por que importa
- Foi o momento em que interpretabilidade mecanicista saiu de modelos de brinquedo para um modelo que as pessoas usam.
No mesmo tema
Interpretabilidade→Receba o próximo Cinco
Terça, 7h, no seu e-mail. Cinco itens, com fonte. Sem newsletter diária, sem promoção, e o descadastro é um clique.