Equipe da Accenture trabalhará dentro da Anthropic para avaliar modelos

Após defender avaliadores externos dentro dos laboratórios de IA, a Anthropic anunciou que profissionais da Faculty, empresa de IA comprada pela Accenture em janeiro, trabalharão dentro da companhia para avaliar modelos e testar as proteções desses sistemas. É a primeira implementação concreta da proposta do CEO Dario Amodei, segundo reportagem do TechCrunch.

As duas empresas esperam investir ao menos US$ 1 bilhão no projeto ao longo de cinco anos. A equipe fará avaliação adversarial, quando tenta quebrar de forma controlada as defesas de um sistema, além de avaliações de alinhamento e testes das proteções dos modelos. A Anthropic diz que anunciará outros avaliadores e conversa com a organização de pesquisa METR e outras entidades sem fins lucrativos sobre projetos-piloto com recursos próprios dessas organizações.

Por que importa: Aplicar essa lição não exige o orçamento da Anthropic. Antes de colocar um agente de IA em produção com acesso a dados sensíveis ou sistemas internos, peça a alguém de fora do time que o construiu, como outro departamento ou um fornecedor de segurança, que tente encontrar falhas.