Os algoritmos de um programa de Inteligência Artificial podem ajudar a condenar um homem à prisão? Isso já acontece nos EUA. Em Wisconsin, Eric L. Loomis foi condenado a seis anos de prisão baseado, em parte, no relatório do software Compas, com logaritmo secreto.
O relatório usado pela Justiça incluía gráficos de barras que avaliavam que como alta a probabilidade de Loomis voltar a cometer crimes. O documento apontava “um alto risco de violência, alto risco de reincidência” do réu. O relatório foi um elemento importante para o tribunal condená-lo. “Você foi identificado, pela avaliação do Compas, como um indivíduo que é de alto risco para a comunidade”, disse o juiz, na sentença.
A defesa protestou: Como se defender de uma análise feita por um software que o réu não é capaz de inspecionar ou contestar e cujo algoritmo não é revelado?
Mas a Suprema Corte de Wisconsin decidiu contra Loomis e argumentou que,
embora o relatório fosse uma prova importante, a decisão seria a mesma sem o documento, levando-se em conta o histórico do agressor.
Há quem veja a possibilidade de “raça” ser um dos fatores de risco do software – o que poderia prejudicar negros, por exemplo. De um lado, a empresa argumenta que o logaritmo é o segredo do seu negócio. De outro, um réu põe em dúvida uma prova secreta que ele não é tecnicamente capaz de contestar. A tecnologia nos põe diante de novos dilemas éticos.