ForecastBench exige cautela ao comparar IA e previsores humanos

O ranking do ForecastBench compara modelos a grupos de referência, incluindo superprevisores humanos, e usa um ajuste estatístico por dificuldade para lidar com conjuntos de perguntas diferentes.

Como explicamos ontem, os grupos humanos foram avaliados pela última vez em julho de 2024 e responderam a perguntas diferentes das atribuídas aos modelos posteriores. O ranking serve para acompanhar tendência e orientar testes paralelos em planejamento, risco ou orçamento, não para concluir que a IA já substitui o julgamento humano.