Pontos Principais
- Já faz um tempo que nossa indústria levou ética a sério; as ideologias de ruptura e "mover-se rapidamente e quebrar as coisas" levaram a inúmeros erros.
- A indústria de tecnologia está enfrentando uma nova onda de regulamentação e, para ser sincero, provavelmente a merecemos.
- Um código de ética para a tecnologia é uma ideia tentadora, mas dúzias falharam - que diferença fará outra?
- Design é ética aplicada; todo projeto faz uma declaração sobre o futuro, e todo futuro tem implicações éticas.
- Cuidado com o caso de negócios para a ética. Apele também para a natureza emocional e moral das pessoas.
No livro Future Ethics, Cennydd Bowles explora o papel da ética na indústria de tecnologia e no trabalho de gerentes de produto, designers e engenheiros. O livro fornece orientação sobre como pensar e agir com ética ao projetar produtos.
O InfoQ entrevistou Bowles sobre como a ética é parte do design, atenuando vieses, tendo um Juramento Hipocrático para os tecnólogos, o impacto ambiental da indústria de tecnologia, como a quarta revolução industrial difere das anteriores, sua visão sobre a Renda Básica Universal e como um Caso de negócio para a ética pode parecer.
InfoQ: Por que você escreveu este livro?
Cennydd Bowles: Como ficou dolorosamente claro nos últimos anos, é hora de a indústria de tecnologia levar a ética a sério. Nosso campo tem servido muitos exemplos de decisões imprudentes e prejudiciais, e a narrativa pública e da imprensa em torno da tecnologia mudou: a tecnologia é agora tão rotulada como um perigo quanto um salvador. Eu queria fazer minha parte para conectar os profissionais ao ótimo trabalho sobre ética tecnológica que está acontecendo em lugares que talvez não pensamos em procurar - departamentos de filosofia, ficção científica, discurso jurídico - e informar e motivar tecnólogos a trazerem uma perspectiva ética ao seu trabalho.
InfoQ: Para quem este livro é destinado?
Bowles: Tenho um background em design, então talvez designers sejam meu público mais natural. No entanto, acho que muito do poder ético nas organizações de tecnologia pertence aos gerentes de produto; estou particularmente interessado em trazer a discussão para eles. Engenheiros de software, particularmente aqueles que trabalham em tecnologias emergentes, como aprendizado de máquina, também terão muito valor.
InfoQ: No livro, você afirmou que "design é ética aplicada". O que quer dizer com isso?
Bowles: A relação é óbvia se está projetando, digamos, armamento. Mas todas as formas de design, mesmo de objetos bastante mundanos, envolvem fazer uma declaração sobre o futuro. Quando criamos, apresentamos um caso de como devemos interagir com a tecnologia no futuro e, por extensão, como devemos interagir uns com os outros. Ao mesmo tempo, estamos descartando milhares de futuros alternativos. Tem que haver um componente ético nisso, dados os possíveis impactos sociais do nosso trabalho.
InfoQ: O que é "viés algorítmico" e como podemos mitigá-lo?
Bowles: Refere-se ao modo como até mesmo o que parece ser um algoritmo neutro e objetivo pode apresentar preconceito. Infelizmente, esses preconceitos geralmente recaem sobre as pessoas que historicamente são as mais vulneráveis ou desfavorecidas. A especialista em ética Joanna Bryson diz que há três fontes potenciais de preconceito: dados de treinamento ruins, interferência intencional e reflexão não intencional do viés humano e social. A última categoria é provavelmente a mais difícil de detectar e atacar. Felizmente, existem estratégias emergentes para ajudar a analisar e lidar com o preconceito em nossos sistemas; alguns deles são estatísticos, outros são sociais. Kate Crawford fala sobre a "justiça forense", como examinar conjuntos de dados para lacunas inesperadas ou distorções. Nós também poderíamos pegar emprestado de cientistas sociais e tentar "bracketing de viés", uma abordagem sistemática de listar fontes potenciais de preconceito antes e durante nosso trabalho, para agir quase como uma lista de verificação para avaliar nossas conclusões.
Também estou interessado em emprestar técnicas de design especulativo e crítico para analisar as hipóteses do nosso trabalho, para ajudar a entender como o preconceito pode se infiltrar e como podemos reduzi-lo antes que aconteça. Criando o que chamo de "provocatipo", pode-se estimular a discussão sobre os direitos morais e os erros inerentes às tecnologias que construímos. Um provocatipo não é uma resposta para o design em si, é tanto quanto um objeto ou uma história que sugere conversas sobre se esse é o tipo de futuro que queremos; pense no Black Mirror, dentro do estúdio de design.
InfoQ: Qual sua opinião sobre ter um Juramento de Hipócrates para tecnólogos?
Bowles: Não estou convencido. Embora códigos de conduta existam em muitos outros campos, sua força vem principalmente de sua aplicabilidade. Disciplinas como a medicina têm organizações profissionais com autoridade para afastar praticantes por negligência; a indústria de tecnologia não. No entanto, já houve dezenas de tentativas de postular códigos de ética para o campo. Nenhum deles chegou a ter dentes, e não vejo razão para que outro esforço apareça quando os outros falharam. Os códigos são melhores para censurar o mau comportamento do que para inspirar o bem; na pior das hipóteses, eles podem criar um senso de que a ética é uma lista de verificação, um conjunto de caixas a serem preenchidas em vez de uma perspectiva fundamental do nosso trabalho.
A regulamentação será muito mais eficaz e há um forte argumento de que nossa indústria merece isso. O GDPR foi o primeiro passo significativo em direção à regulamentação de dados; dado que as duas alas políticas agora veem a indústria de tecnologia como essencialmente prejudicial ao seu interesse, podemos esperar mais do mesmo. As abordagens serão diferentes entre as nações, é claro. Alguns analistas especulam que poderíamos ver a internet efetivamente dividida em três grandes sub-redes: 1) uma internet europeia com grande proteção ao usuário e restrição apertada de rastreamento e outras formas de poder corporativo, 2) uma internet americana que favorece os inovadores às custas da segurança do consumidor, que há muito aboliu a neutralidade da rede, e 3) uma internet chinesa, com controles pesados de conteúdo e profunda integração das atividades diárias nas principais plataformas influenciadas pelo estado. Para mim, isso parece um resultado altamente plausível.
InfoQ: Qual é o tamanho do impacto ambiental da indústria de tecnologia e o que pode ser feito para reduzi-la?
Bowles: Surpreendentemente grande. É difícil obter números exatos, mas uma estimativa afirma que os data centers já consomem tanta energia quanto o setor de aviação inteiro. É imperativo que os trabalhadores da área de tecnologia pressionem seus empregadores a mudar seus data centers para energia renovável. Para seu crédito, Google, Apple e Facebook deram passos genuínos e visíveis aqui: os data centers e escritórios do Google agora são totalmente alimentados por fontes renováveis. Infelizmente, o resto da indústria está atrasado. 70% do tráfego global da Internet é encaminhado através do Condado de Loudoun, na Virgínia, onde os data centers são quase totalmente alimentados por fontes sujas e não renováveis.
Talvez a pergunta mais fundamental que os tecnologistas devam fazer agora seja: "Como podemos tornar nosso trabalho mais compatível com o meio ambiente?", Mas "Isso deveria existir?". O produto mais eficiente, é claro, não é produto algum. Precisamos de menos coisas e melhores. Mas esta é, infelizmente, uma esperança idealista. Por enquanto, no mínimo, devemos nos esforçar para criar software e hardware duráveis. A tecnologia durável não só economiza gastos com revisões frequentes de produtos; reduz o impacto ambiental de atualizações de dispositivos desnecessárias. Manipulado adequadamente, o software pode ser um material que melhora com a idade; uma madeira que tem os contornos de uso, e não de plástico descartável.
Então, os tecnólogos só podem ser parte da solução. Os veículos autônomos provavelmente dirigirão com mais eficiência e transportarão mais passageiros, mas ainda serão veículos ineficientes e de baixa ocupação que exigem uma infraestrutura rodoviária massiva. É fácil pensar que o progresso tecnológico é um progresso ecológico e ignorar a mudança mais profunda que pode ser essencial. Precisamos fazer parcerias com ativistas, planejadores urbanos e governos para ter uma visão mais ampla da conservação.
InfoQ: Estamos agora em uma quarta revolução industrial liderada por desenvolvimentos como IA, robótica, veículos autônomos e a Internet das coisas. Como esta revolução difere das anteriores?
Bowles: Às vezes, os céticos apontam que as revoluções industriais anteriores, embora dramáticas, acabaram com aproximadamente o mesmo nível de emprego, uma vez que estavam completas; as pessoas acabaram por se mudarem para novas indústrias. As coisas podem ser diferentes desta vez porque a natureza da automação está mudando. Já não estamos falando de automação física, mas de automação cognitiva. Claramente, isso é sem precedentes. Mesmo os trabalhos de status mais alto podem acabar sendo decompostos em tarefas básicas, algumas das quais podem ser facilmente automatizadas. Não sabemos exatamente o efeito que isso terá no mundo do trabalho, mas é justo dizer que há uma chance de ser drástico.
InfoQ: Qual sua opinião sobre o Universal Basic Income (UBI)?
Bowles: A UBI tem uma surpreendente coalizão de apoio. Os esquerdistas vêem isso como um meio de se livrar do jugo do trabalho assalariado; Os liberais vêem na UBI o potencial para simplificar o bem-estar e reduzir o governo. Pessoalmente, estou animado com a perspectiva. Há um caso ético convincente para a UBI. Hoje, papéis sociais importantes, como parentalidade e cuidado familiar, são descompensados. A UBI permitiria que as pessoas dessem prioridade a esse importante trabalho mais que ao trabalho remunerado e desse aos cidadãos independência financeira para buscar seu próprio florescimento.
Mas precisamos de mais dados. Os julgamentos na Índia e no Quênia mostraram grandes aumentos no bem-estar dos cidadãos e um desincentivo ao trabalho surpreendentemente pequeno; será interessante ver os resultados do julgamento na Finlândia, embora o governo tenha mudado os objetivos na metade, o que pode afetar os resultados. Mas é importante que, pelo menos, prevejamos um futuro potencial de automação e desemprego totais; o fracasso em se preparar para este resultado pode ser desastroso, se acontecer.
InfoQ: Como um business case pode olhar para a ética?
Bowles: Teoricamente, pode-se construir um caso atraente em qualquer um dos três eixos que sustentam qualquer caso de negócio: receita, custos e risco. As empresas éticas podem aumentar a receita graças à fidelidade do cliente e à reputação da marca. Eles também podem cobrar mais pelo produto, aumentando as margens. O desenvolvimento de produtos éticos podem evitar multas regulatórias e processos civis, e evita a toxicidade da marca e as caras despesas de RP que podem resultar de erros morais. Também pode haver economia de emprego; é provável que uma empresa ética retenha melhor seu pessoal e sofra menos desgaste. Finalmente, a conduta moral adequada reduz o risco de regulamentação arrogante, vazamentos embaraçosos de funcionários insatisfeitos e rejeição de decisões impopulares por parte do cliente.
No entanto, é aconselhável que as pessoas sejam cautelosas em confiar apenas em um caso de negócio para a ética. Fazer isso envia uma mensagem de que a ética deve ser secundária ao imperativo do lucro; mas muitas vezes é o imperativo do lucro que é o problema. Eu acho que tecnólogos conscientes deveriam usar também estratégias retóricas, lógicas e até emocionais para convencer seus colegas da importância de fazer a coisa certa. No livro, descrevo as três principais teorias da ética moderna; isso nos dá formas importantes de tentar avaliar os resultados éticos. Ter algumas estruturas rigorosas para avaliar nossas ações nos permite superar os casos de negócios brutos e as intuições dos negócios; nos permite avançar em nosso discurso ético e verdadeiramente compreender os possíveis impactos de nossas escolhas.
Mas, embora a teoria seja útil, ainda é útil usar a linguagem moral simples. Descrever as decisões como generosas, indelicadas, corretas ou cruéis, desmistifica a ética e a leva do domínio intelectual para o reino humano. A conversa direta ajuda todos a apreciar que suas decisões têm qualidades morais.
Sobre o Autor do Livro
Cennydd Bowles é designer e escritor em Londres com quinze anos de experiência em consultoria para clientes como Twitter, Ford, Cisco e BBC. Seu foco hoje é a ética da tecnologia emergente. Ele palestrou sobre o assunto no Facebook, na Universidade de Stanford e no Google, e é muito requisitado em eventos de tecnologia e design em todo o mundo. Seu segundo livro, Future Ethics, foi publicado em 2018.