Porque pode a IA ser injusta?
Dados incompletos, preconceitos e decisões automáticas explicados com cuidado.
Uma IA pode tratar grupos de forma desigual quando aprende com dados desequilibrados ou quando é usada numa tarefa inadequada.
Uma comparação que ajuda
É como tirar conclusões sobre todo o país depois de ouvir apenas pessoas de uma rua.
Onde a comparação deixa de funcionar
Nos sistemas reais, a desigualdade pode surgir de muitos passos: dados, objetivo, medição, interface e decisão humana.
Um sistema treinado sobretudo com uma variedade de português pode compreender pior sotaques ou expressões de outras regiões e comunidades.
Perceber a ideia
Os dados refletem escolhas e desigualdades do mundo. Um sistema pode aprender associações indesejadas mesmo sem receber uma regra discriminatória explícita.
Também pode haver erro na forma como se mede sucesso. Uma média aceitável pode esconder resultados muito piores para um grupo pequeno.
Levar para a vida real
Em emprego, crédito, saúde ou serviços públicos, a avaliação deve incluir grupos diferentes, possibilidade de contestação e supervisão humana real.
O que consegue fazer
- Ajudar a encontrar padrões de desigualdade.
- Aplicar critérios de forma consistente.
- Ser testada antes e durante a utilização.
O que não consegue garantir
- Não define sozinha o que é justo.
- Uma boa média pode esconder danos.
- Retirar um dado sensível nem sempre elimina o preconceito.
Procurar quem ficou de fora
- Escolha uma aplicação automática.
- Liste as pessoas representadas nos dados.
- Pergunte quem pode ter mais erros e como pode reclamar.
Antes de avançar
- Exija revisão humana em decisões com impacto.
- Procure resultados por grupo, não apenas uma média geral.
O essencial desta lição
- Dados e objetivos podem produzir desigualdade.
- É preciso testar grupos e situações diferentes.
- Pessoas afetadas devem conseguir contestar decisões.
Confirme o que aprendeu
Escolha uma resposta. A explicação aparece de imediato.
Concluída. Muito bem — pode continuar quando quiser.