O estudo da Vals AI testou 25 modelos de IA para verificar o alinhamento com as posições do governo chinês. De acordo com a descrição do The Decoder, os modelos chineses responderam a questões políticas com menos consistência do que o esperado.
Os pesquisadores também constataram que modelos ocidentais às vezes aceitavam as posições oficiais de Pequim. O idioma da consulta exercia um forte impacto no viés político das respostas.
Isso é importante na avaliação de IA em um contexto internacional: a origem do modelo por si só não explica todo o caráter de suas respostas políticas. Além disso, os dados disponíveis estão apresentados apenas na forma de sinopse da publicação, sem detalhes sobre a metodologia e os resultados dos testes.
comentário editorial
Por que importa
A consequência prática provável é a necessidade de testar modelos em várias línguas e com uma metodologia política única. O próximo sinal observável serão os detalhes da amostra, das questões e dos resultados apresentados pela Vals AI. Uma incerteza substancial está associada ao fato de que atualmente está disponível apenas o synopsis The Decoder.