Quem morre? Os carros autônomos e a máquina moral

[RKint]

O problema é que o RKint tá inventando que não tem como avaliar a IA. Porra, seria MUITO fácil pegar os dados do acidente e avaliar o que a IA "pensou" e o que ela decidiu. A própria Tesla já faz isso em casos de acidentes. Então seria bem tranquilo do governo pegar os dados dos acidentes e perceber que a IA tá fora do padrão.

E também tá inventando que seria impossível do governo ter uma IA porque existem diversas linguagens. Lol neh?

Para ter acesso aos dados do acidente e a forma de cálculo o governo tem que saber o algoritmo utilizado e a forma de adquirir os dados, e isso em última análise implica em ter acesso a como o software age nessa situação. Não tem nenhuma invenção.

E eu não disse que é impossível o governo ter uma IA, wtf. Eu disse (em resposta ao ekalil) que para o governo ter um pedaço de código controlado em um software de terceiros precisaria ter uma forma que eles comunicassem (API), e que para isso você precisa escolher a linguagem.

Btw, se for pra ficar com esse nível de argumentação ("tá inventando", "seria MUITO fácil", "seria bem tranquilo") vai ficar complicado discutir.

[RKint]

Esse é pra mim o máximo aceitável que o governo pode fazer - traçar guidelines de como a IA deve se comportar mas sem interferir no código, por exemplo.

Acontece que na prática isso é a mesma coisa que nada pois pelo que já citei acima é muito difícil dizer que houve negligência do código: pode ter sido uma simples falha mecânica, uma situação sem saída (como o caso das crianças atravessando o sinal fechado em fila) ou até mesmo um erro de cálculo da IA.

Mas esse já é outro problema que diz respeito ao funcionamento do carro autônomo nesses casos críticos. A observância das guidelines deve ser atestada por meio de auditoria do governo sobre os códigos.

Na prática, o carro só poderia ser comercializado após a homologação do sistema pelo governo. Uma vez homologado o sistema e realizados todos os testes de segurança legalmente previstos, a empresa estará liberada para tornar o carro comercial e isenta de responsabilidade sobre as decisões da IA em casos críticos.

Certo, e foi justamente o que eu falei alguns posts atrás. O ideal é que o governo faça uma homologação através de testes (similar ao que a Anvisa faz, por exemplo). Acontece que estamos lidando com IA, que são máquinas pensantes. Se você não tem acesso ao código, quem garante que a IA não percebeu que está em "evaluation mode" e passa a agir corretamente? É a mesma coisa com humanos - o modo como dirigimos durante uma prova é completamente diferente da vida real, e isso é exatamente o que a IA faz - simula o comportamento de humanos (muitas vezes até nos superando).

Eu citei o exemplo da Volkswagen recentemente. Pra quem não se lembra: descobriram que os carros da VW emitiam muito mais poluentes que o estipulado pelo governo e que os engenheiros implementaram uma feature onde os carros "percebiam" que estavam sendo testados (por exemplo notando a angulação dos canos de descarga) e automaticamente reduziam o volume de poluentes. De volta ao modo de operação (ou seja, rodando normalmente), emitiam muitos mais gases e portanto eram muito mais eficientes.

E isso não para por aí: Volkswagen isn

Só faltou você contar que descobriram a fraude da Volkswagen, o CEO perdeu o emprego, a empresa perdeu bilhões de dólares, a imagem da empresa ficou manchada, etc.

Verdade, mas onde que haver punições severas (sejam judiciais ou retaliações sociais) implica que isso vai parar de acontecer ou que o combate está sendo eficiente?

[RKint]

@RKint

existe também a possibilidade de um defeito mecânico simples. Como o carro perder o freio.

Mas vamos nos ater à sua hipótese. Cai uma árvore na frente do carro e ele é obrigado a desviar. Ele está a 60 km/h e, se bater direto na árvore, é muito provável que você morra. Se desviar à direita, bate em um barranco e você provavelmente morrerá. No lado esquerdo é a porta de uma escola. Você pode entrar na escola e irá atropelar 10 crianças, que provavelmente morrerão, mas você sairá ileso. Tá todo mundo na legalidade, mas se o carro te proteger, morrem 10 crianças. Você acha razoável deixar essa decisão na mão do dono do carro?

Quanto ao controle, pode até ser possível burlar o controle prévio. Mas não será possível burlar o controle a posteriori. Na primeira vez que um carro não cumprir a regra, todo mundo vai saber. Aí é só foder pesado empresa e representantes legais que rapidinho nego começa a cumprir.

Mas o mais importante é que seria um contrassenso a empresa descumprir a regra às escondidas. O interesse em descumprir a regra é meramente comercial (um carro que proteja o dono em qualquer situação venderia mais que um carro "ético"). Se a empresa não pode anunciar essa característica, ela não vai vender mais. Por que diabos então ela deixaria de cumprir a regra?

Sim, existe. Por isso que eu comecei assumindo que o carro anda sempre na "legalidade", até porque o caso de falha mecânica acontece hoje em dia e não existe lei para isso.

Sobre seu exemplo, primeiro gostaria de dizer que é demasiadamente exagerado ao ponto de se tornar irrelevante discutir frente a todos os outros eventos possíveis. Mas vou reduzir a questão para um cenário onde a máquina avalie que qualquer outra saída que não seja acertar um humano signifique a destruição do carro.

A primeira coisa pra entender é que a máquina é mais segura que um humano dirigindo. Por exemplo, pela quantidade de sonares que são capazes de medir situações que o humano simplesmente não consegue avaliar (e.g. acabar com o ponto cego). Então isso por si só já é um avanço muito grande.

Mas de fato vai existir uma porcentagem de casos onde nem a máquina é capaz de evitar a colisão, como você mencionou. Nesse caso acredito que a melhor solução seja criar procedimentos de segurança especificamente para humanos - por exemplo lançar um airbag "externo" (poderia ser feito através do pára choque). Claro que to viajando aqui, mas o intuito é esse mesmo. Agora o que não pode pra mim em nenhuma hipótese é entrar em "suicide mode".

Sobre cumprir ou não a regra, isso é muito difícil de medir também @Picinin. Quem não garante que o carro entrou pela escola mas achou um caminho longe de uma criança, que se assustou e sem querer andou na direção do carro? Ou uma situação em que realmente não tenha o que fazer tipo 10 crianças atravessando o sinal em fila sem olhar pra rua?

Finalmente, sobre o contrassenso, esse é o principal ponto. A chave é exatamente essa, entender que nenhum engenheiro em sã consciência vai querer assinar o projeto de uma máquina que vai matar humanos. No final o esforço coletivo vai ser para melhorar a segurança (prevenção ou iminência de acidente), e isso é feito melhor deixando a tecnologia andar sozinha, e não colocando o governo para fiscalizar.

Cara, vamos começar do zero, porque eu acho que você não percebeu qual é o escopo da discussão, e por isso tá atacando um monte de espantalhos. Eu te recomendo fortemente reler o OP e os links nele contidos pra relembrar qual é o objeto do tópico.

Que a máquina é mais segura que um humano ninguém discute. Ninguém discute também que o primeiro objetivo da máquina é garantir a segurança de todos. Mas haverá situações (uma minoria absoluta, concordo, mas que ainda existirão) em que IA não conseguirá impedir o acidente e terá que decidir o que fazer. O tópico trata exclusivamente dessas situações.

Portanto, discussão aqui não é carro autônomo x carro guiado por humano.

O OP trouxe um dilema ético (conhecido como o Dilema do Bonde), "repaginado" para abarcar uma tecnologia em desenvolvimento (carros autônomos). Por este dilema, que é teórico, haverá a necessidade inarredável de se escolher quem salvar ou não. No dilema original, essa decisão fica nas mãos do maquinista do bonde. No dilema do OP, esse dilema será repassado para a IA.

A discussão evoluiu pro problema econômico: se houver um carro cuja IA vise sempre preservar os ocupantes do carro, e outra que vise causar o menor dano possível, 99% das pessoas comprariam o primeiro caso. Por isso foi dito que a sociedade, por meio do Estado, é quem acabará regrando como o carro deverá proceder nestes casos.

E nem ia falar nada, porque tô tentando discutir de boa, apesar de ter a impressão que você nem tentou entender meu post e já saiu respondendo. É a única coisa que explicaria tanto espantalho vindo de um cara que sempre discute de boa. Mas esse seu último parágrafo não tem pé nem cabeça. Primeiro porque ninguém tá falando em máquina de matar pessoas (que INÚMEROS engenheiros assinam todo dia na indústria bélica...). Segundo porque nós estamos tratando de uma situação de acidente em que NECESSARIAMENTE alguém vai morrer, o que a IA poderá fazer é só escolher se vai morrer X ou Y. E terceiro porque não tem nada a ver com o contrassenso que eu apontei e que você parece não ter lido.

Não entendi seu post, pareceu que estou sendo agressivo ou algo do gênero? Se sim me desculpe, mas achei que estávamos discutindo de boa.

Eu realmente não li o tópico todo, apenas o OP e os últimos posts antes do meu. O que eu estou discutindo é como o governo poderia ser eficiente na decisão de uma situação encontrada por um carro autônomo e meios que ele é capaz de reforçar essa decisão.

Eu sei que a discussão não é carro autônomo vs carro guiado por humano, só fiz esse ponto para deixar claro que estamos falando de uma otimização.

Resumindo minha opinião (que divagou por detalhes técnicos por causa de outros posts) é impossível que o governo consiga eficientemente medir a responsabilidade de uma IA num acidente sem fazer uma intervenção na tecnologia, e portanto esse debate ético deve ser substituído pelo governo reforçando políticas de segurança (como por exemplo prevenção a acidentes com humanos colocando airbags externos).

[Alvinho]

O problema é que o RKint tá inventando que não tem como avaliar a IA. Porra, seria MUITO fácil pegar os dados do acidente e avaliar o que a IA "pensou" e o que ela decidiu. A própria Tesla já faz isso em casos de acidentes. Então seria bem tranquilo do governo pegar os dados dos acidentes e perceber que a IA tá fora do padrão.

E também tá inventando que seria impossível do governo ter uma IA porque existem diversas linguagens. Lol neh?

Para ter acesso aos dados do acidente e a forma de cálculo o governo tem que saber o algoritmo utilizado e a forma de adquirir os dados, e isso em última análise implica em ter acesso a como o software age nessa situação. Não tem nenhuma invenção.

E eu não disse que é impossível o governo ter uma IA, wtf. Eu disse (em resposta ao ekalil) que para o governo ter um pedaço de código controlado em um software de terceiros precisaria ter uma forma que eles comunicassem (API), e que para isso você precisa escolher a linguagem.

Btw, se for pra ficar com esse nível de argumentação ("tá inventando", "seria MUITO fácil", "seria bem tranquilo") vai ficar complicado discutir.

O que tá complicando a discussão é você mudando o foco toda hora e discutindo coisas nada a ver com o assunto e esse monte de espantalho que você tá criando.

Não tem nenhum problema em o governo verificar o código da IA dos fabricantes, falar que isso impede a inovação é bizarro.

[RKint]

O problema é que o RKint tá inventando que não tem como avaliar a IA. Porra, seria MUITO fácil pegar os dados do acidente e avaliar o que a IA "pensou" e o que ela decidiu. A própria Tesla já faz isso em casos de acidentes. Então seria bem tranquilo do governo pegar os dados dos acidentes e perceber que a IA tá fora do padrão.

E também tá inventando que seria impossível do governo ter uma IA porque existem diversas linguagens. Lol neh?

Para ter acesso aos dados do acidente e a forma de cálculo o governo tem que saber o algoritmo utilizado e a forma de adquirir os dados, e isso em última análise implica em ter acesso a como o software age nessa situação. Não tem nenhuma invenção.

E eu não disse que é impossível o governo ter uma IA, wtf. Eu disse (em resposta ao ekalil) que para o governo ter um pedaço de código controlado em um software de terceiros precisaria ter uma forma que eles comunicassem (API), e que para isso você precisa escolher a linguagem.

Btw, se for pra ficar com esse nível de argumentação ("tá inventando", "seria MUITO fácil", "seria bem tranquilo") vai ficar complicado discutir.

O que tá complicando a discussão é você mudando o foco toda hora e discutindo coisas nada a ver com o assunto e esse monte de espantalho que você tá criando.

Não tem nenhum problema em o governo verificar o código da IA dos fabricantes, falar que isso impede a inovação é bizarro.

Discutir no MaisEV é impossível, tudo vira espantalho.

Vou responder objetivamente seu último post então: o governo verificar o código IA dos fabricantes NÃO é ok pois eu tenho todo o direito de ter um algoritmo patenteado, por exemplo, que eu não queira revelar. É a mesma coisa que dizer que o governo tem que ter acesso à fórmula da Coca-Cola porque ela pode estar envenenando os consumidores.

[Picinin]

@RKint

foi mal, não deu a impressão que tava sendo agressivo não, deu a impressão que você tá falando de Y enquanto a gente tava discutindo sobre X. E parece que é isso realmente.

Então deixa eu esclarecer que ninguém quer que o governo controle a forma como as IA's vão guiar o carro. A discussão é exclusivamente sobre o que elas devem fazer no caso dos dilemas apontados no OP. Ou seja, quando for impossível evitar o acidente e o carro tenha que, inevitavelmente, escolher entre quem vai morrer. E só nesse casos.

[Alvinho]

Discutir no MaisEV é impossível, tudo vira espantalho.

Vou responder objetivamente seu último post então: o governo verificar o código IA dos fabricantes NÃO é ok pois eu tenho todo o direito de ter um algoritmo patenteado, por exemplo, que eu não queira revelar. É a mesma coisa que dizer que o governo tem que ter acesso à fórmula da Coca-Cola porque ela pode estar envenenando os consumidores.

Reclama que é impossível discutir no MaisEV e logo na sequência faz essa comparação esdrúxula, auihauihauiahauihaui.

É óbvio que o governo tem acesso aos ingredientes da Coca-Cola, exatamente pra não deixar ela envenenar os consumidores. Na verdade todo mundo tem acesso à essa informação, é só você ler no rótulo.

Sobre ter o direito de ter um algoritmo patenteado que você não queria revelar, não tem como você afirmar isso, as IAs mal existem ainda, não existe muita regulamentação sobre esse setor, tudo pode acontecer.

[RKint]

Discutir no MaisEV é impossível, tudo vira espantalho.

Vou responder objetivamente seu último post então: o governo verificar o código IA dos fabricantes NÃO é ok pois eu tenho todo o direito de ter um algoritmo patenteado, por exemplo, que eu não queira revelar. É a mesma coisa que dizer que o governo tem que ter acesso à fórmula da Coca-Cola porque ela pode estar envenenando os consumidores.

Reclama que é impossível discutir no MaisEV e logo na sequência faz essa comparação esdrúxula, auihauihauiahauihaui.

É óbvio que o governo tem acesso aos ingredientes da Coca-Cola, exatamente pra não deixar ela envenenar os consumidores. Na verdade todo mundo tem acesso à essa informação, é só você ler no rótulo.

Sobre ter o direito de ter um algoritmo patenteado que você não queria revelar, não tem como você afirmar isso, as IAs mal existem ainda, não existe muita regulamentação sobre esse setor, tudo pode acontecer.

Eu ia me antecipar ao seu comentário irônico mas preferi deixar pra lá. Saber os ingredientes != saber a fórmula. Análogo à tecnologia é saber os ingredientes (linguagem de programação, por exemplo) e a fórmula (algoritmo em cima da linguagem).

Não entendi o segundo parágrafo, afirmar o que? Que eu posso querer não revelar meu código? Não tem nenhuma afirmação, isso pra mim é uma premissa básica independente do governo. Claro que ele pode ameaçar me prender se eu não revelar, mas continuarei achando errado.

[ekalil]

@RKint

foi mal, não deu a impressão que tava sendo agressivo não, deu a impressão que você tá falando de Y enquanto a gente tava discutindo sobre X. E parece que é isso realmente.

Então deixa eu esclarecer que ninguém quer que o governo controle a forma como as IA's vão guiar o carro. A discussão é exclusivamente sobre o que elas devem fazer no caso dos dilemas apontados no OP. Ou seja, quando for impossível evitar o acidente e o carro tenha que, inevitavelmente, escolher entre quem vai morrer. E só nesse casos.

Ele entendeu isso Picinin. So ta falando que eh dificil fazer isso na pratica sem entrar em outros problemas.

[RKint]

@RKint

foi mal, não deu a impressão que tava sendo agressivo não, deu a impressão que você tá falando de Y enquanto a gente tava discutindo sobre X. E parece que é isso realmente.

Então deixa eu esclarecer que ninguém quer que o governo controle a forma como as IA's vão guiar o carro. A discussão é exclusivamente sobre o que elas devem fazer no caso dos dilemas apontados no OP. Ou seja, quando for impossível evitar o acidente e o carro tenha que, inevitavelmente, escolher entre quem vai morrer. E só nesse casos.

Tranquilo!

Vou tentar ser mais claro então. Suponhamos que exista uma prerrogativa estipulada pelo governo para o dilema do OP. A minha questão é, como o governo pode eficientemente reforçar essa prerrogativa?

A resposta que o Alvinho inclusive sugeriu foi que é muito fácil identificar os fatores do acidente (por exemplo velocidade do carro e condições da pista) e identificar porque a máquina agiu ou não de acordo com o previsto.

Eu rebati que as IA's não podem prever o futuro e saber o que vai acontecer com certeza. Elas fazem estimativas que vão se adaptando ao longo do tempo, baseado na quantidade de situações que ela for aprendendo.

Agora suponha uma situação com A e B onde um dos dois deve morrer. Segundo o governo, A deve sobreviver. Durante o cálculo do algoritmo, o carro decide por uma manobra com 99% de chance de salvar A, porém acaba atingindo e matando A. Como você garante que a empresa não cumpriu com a lei sabendo que é impossível prever todas as situações (ou seja, não é possível ter uma guideline para cada característica dessa situação em especial)? Ou pior ainda, como garantir que dado um conjunto de inputs o output gerado é igual ao esperado sem garantir que as empresas não possam usar seus próprios algoritmos desenvolvidos durante anos nos centros de pesquisa?

Ou seja, minha resposta para a pergunta de "exclusivamente sobre o que elas devem fazer no caso dos dilemas apontados no OP" é: nada, pois é muito difícil garantir enquanto isso mantendo a autonomia das empresas de tecnologia e por isso o governo deve focar em reforçar a segurança das máquinas autônomas.