As ideias principais

Algoritmos de destruição em massa: como o big data aumenta a desigualdade e ameaça a democracia

Cathy O'Neil, 2016

Por que uma boa professora é demitida por decisão de um programa, e um motorista com histórico impecável paga mais pelo seguro do que um motorista condenado por dirigir bêbado? Cathy O'Neil, matemática que trabalhou num fundo hedge, mostra como modelos que ninguém consegue verificar decidem quem contratar, a quem dar crédito e a quem dar uma pena mais longa. Você vai conhecer os três sinais de um algoritmo perigoso e aprender a ver a opinião de alguém por trás de um número imparcial.

Para quem é

Para quem já passou pelo menos uma vez pela avaliação de um programa: numa contratação, no banco, na seguradora ou na escola. E para quem constrói rankings, relatórios e modelos e não quer que eles virem armas.

Os privilegiados, como veremos várias vezes, são processados por pessoas; as massas, por máquinas.

A melhor professora, demitida por um programa

Em 2011, em Washington, uma professora do quinto ano chamada Sarah Wysocki foi demitida. O diretor elogiava as aulas dela, os pais estavam satisfeitos, e numa avaliação ela foi chamada de uma das melhores professoras que o autor da avaliação já tinha conhecido. Mas a decisão não era deles. Quem decidiu foi a nota dada por um sistema informatizado de avaliação de professores. Pela mesma nota, mais de duzentas pessoas foram demitidas junto com ela. Ninguém conseguia explicar com clareza por que o programa tinha decidido diferente de todos que viam o trabalho da professora. Vamos voltar a essa pergunta.

Cathy O'Neil é uma matemática com doutorado em Harvard. Ela deu aulas e depois foi para o fundo hedge D.E. Shaw construir modelos para o mercado financeiro. Depois da crise de 2008, tornou-se uma das críticas mais conhecidas do modo como a matemática é aplicada às pessoas. Em 2016, saiu este livro.

A principal descoberta de O'Neil é um tipo especial de modelo que decide o destino das pessoas. Ela deu um nome a esses modelos: armas de destruição matemática, por semelhança com as armas de destruição em massa. Elas têm três sinais. São opacas: a pessoa não sabe exatamente como foi avaliada. São de grande escala: o mesmo cálculo é aplicado a milhões. E causam dano, na maioria das vezes a quem já tem menos oportunidades.

Pela frente, há histórias de escolas, tribunais, bancos, departamentos de recursos humanos e até de eleições. Em cada uma delas, um número em que todos acreditam decide em silêncio o destino de alguém. Você vai aprender a fazer perguntas incômodas a qualquer avaliação e vai ver onde, por trás de uma nota objetiva, se esconde a opinião de alguém.

O jantar das crianças também é um modelo matemático

O'Neil começa pela cena mais doméstica. Toda noite, ela decide o que dar de comer à família. Na cabeça dela existe um modelo: quem gosta de quê, o que tem na geladeira, quanto custam os alimentos, que dia é hoje. Quando as crianças torcem o nariz ou pedem para repetir, o modelo se ajusta sozinho.

O mais interessante nele é o que se considera sucesso. As crianças ficariam felizes em comer todos os dias os bolinhos doces Pop-Tarts. Se o sucesso fosse a alegria delas, o modelo as alimentaria com doces. Mas, para O'Neil, sucesso são crianças bem alimentadas, que também comem legumes. Definir o sucesso é uma escolha, e não um cálculo, e quem a faz é quem constrói o modelo.

Daí vem a fórmula famosa dela: os modelos são opiniões embutidas na matemática. Todo modelo simplifica o mundo e decide o que é importante e o que pode ser descartado. Não há nada de errado na simplificação em si: sem ela, o modelo é inútil. O perigo é outro: quando a opinião de alguém é apresentada como um número imparcial.

A autora encontra o exemplo oposto no beisebol. Ali, os modelos são transparentes: qualquer torcedor vê as estatísticas. Há muitos dados, eles descrevem o próprio jogo, e cada partida mostra se o modelo errou. Um bom modelo descobre o tempo todo onde estava errado. Um modelo ruim nunca descobre.

Ler no Livria

Sobre o autor

Catherine (Cathy) O'Neil é uma matemática americana com doutorado em Harvard. Deu aulas no Barnard College, trabalhou como analista num fundo hedge e, depois da crise de 2008, tornou-se uma das críticas mais conhecidas dos algoritmos opacos.

Todos os livros do autor: Cathy O'Neil

Conceitos do livro

  • Obama
  • Pop-Tarts
  • Transtorno bipolar
  • Taylor
  • Clifford
  • Starbucks
  • agências de classificação de risco
  • FICO
  • Wysocki: Sarah Wysocki, professora de Washington demitida em 2011 pela nota do sistema de avaliação de professores IMPACT. A história dela abre o livro.
  • Fundo hedge: Fundo de investimento privado para grandes investidores, que usa estratégias complexas e arriscadas nos mercados financeiros.
  • D.E. Shaw: Fundo hedge americano conhecido por operar com a ajuda de modelos matemáticos. O'Neil trabalhou ali como analista a partir de 2007.
  • Armas de destruição matemática: Uma imagem do livro, e não um termo científico: é assim que O'Neil chama os modelos que são opacos, aplicados em massa e que causam dano.
  • IMPACT: Sistema de avaliação de professores nas escolas de Washington, criado em 2009. Metade da nota do professor vinha de um modelo de valor agregado.
  • Modelo de valor agregado: Uma maneira de avaliar o professor pelo quanto os resultados dos alunos dele cresceram em um ano acima do previsto.
  • Títulos lastreados em hipotecas: Papéis financeiros formados por pacotes de empréstimos hipotecários. O rendimento deles vem dos pagamentos dos devedores. Foram uma das causas da crise de 2008.
  • RiskMetrics: Empresa americana que calculava riscos para bancos e fundos de investimento. O'Neil trabalhou ali depois da D.E. Shaw.
  • U.S. News & World Report: Revista americana que, desde 1983, publica o ranking de universidades mais influente dos Estados Unidos.
  • Proxy: Um indicador indireto: aquilo que é fácil de contar, no lugar daquilo que de fato se quer medir.
  • Texas Christian University: Universidade particular em Fort Worth, no Texas. Subiu no ranking ao investir em esporte e em atratividade para os candidatos.
  • Faculdades com fins lucrativos: Instituições de ensino particulares dos Estados Unidos que funcionam para dar lucro. Recebem boa parte do dinheiro por meio dos empréstimos estudantis do governo.
  • Leads: Palavra do marketing: contatos de pessoas que podem virar clientes. Eles são coletados e vendidos a empresas.
  • Reading: Cidade no estado da Pensilvânia, nos Estados Unidos. A polícia da cidade foi uma das primeiras a usar o programa PredPol.
  • Heim: William Heim, chefe de polícia de Reading, que implantou o programa de previsão de crimes PredPol.
  • PredPol: Programa americano de policiamento preditivo: com base em dados passados, indica onde é mais provável que ocorra um crime nas próximas horas.
  • Ciclo de retroalimentação: Situação em que o resultado do trabalho de um modelo vira os seus novos dados. Um ciclo ruim confirma o erro do modelo em vez de corrigi-lo.
  • Parar e revistar: Prática da polícia de Nova York: parar e revistar pedestres por suspeita. Foi aplicada em massa nos anos 2000 e no início dos anos 2010.
  • Reincidência: Um novo crime cometido por alguém que já foi condenado.
  • LSI-R: Questionário para avaliar o risco de reincidência, usado por tribunais e prisões nos Estados Unidos. A sigla vem de Level of Service Inventory-Revised, um inventário revisado de nível de serviço.
  • Behm: Kyle Behm, estudante barrado por um teste de personalidade em processos de contratação, e o pai dele, Roland Behm, advogado que se opôs a esses testes.
  • St George's: Hospital de Londres com faculdade de medicina, cujo programa de seleção de candidatos discriminou, nos anos 1980, mulheres e pessoas com nomes estrangeiros.
  • Navarro: Jannette Navarro, barista da Starbucks, sobre cuja escala de trabalho o The New York Times escreveu em 2014.
  • Clopening: Turno em que o funcionário fecha o estabelecimento tarde da noite e o abre de manhã cedo no dia seguinte.
  • Pontuações eletrônicas: Avaliações opacas de uma pessoa feitas com dados indiretos: o código postal, as compras, o comportamento na internet.
  • Microdirecionamento: Mostrar a cada eleitor ou comprador uma mensagem própria, escolhida com base nos dados sobre ele.
  • Ghani: Rayid Ghani, cientista de dados que chefiou o trabalho com dados na campanha de Obama de 2012.

Todos os conceitos

Livros semelhantes