Nadella defende tratar todo modelo de IA como comprometido e ter um freio de emergência

Em um post longo no X neste sábado, o CEO da Microsoft disse que a indústria precisa rever a arquitetura de confiança da IA e parar de tratar os modelos como caixas-pretas encadeadas, cujas respostas e ações a gente só aceita ou recusa. Segundo o TechCrunch e o The Verge, a proposta inclui separar o modelo do harness (o sistema que orquestra o trabalho dele e o conecta a ferramentas), colocar controles e salvaguardas fora do modelo e documentar cada ação relevante com registros legíveis por humanos e à prova de adulteração.

O ponto mais forte é a contenção: Nadella diz que se deve partir do princípio de que o modelo está comprometido e isolá-lo desde o início, como um freio de emergência, com uma pessoa autorizada sempre apta a pausar ou desligar o modelo no meio da tarefa. O Verge nota que boa parte das ideias (divulgação rápida de incidentes, auditorias independentes) já circula no setor. É uma posição, não um produto nem um padrão técnico.

Por que importa: Vira um checklist para quem vai contratar ou testar agentes na empresa. Pergunte ao fornecedor se dá para pausar uma tarefa em andamento, se existe um registro das ações que a sua equipe consegue ler e se as travas ficam fora do modelo. Se a resposta for não, limite o que o agente pode acessar.