Quem morre? Os carros autônomos e a máquina moral

[DiegoSestito]

Hahahaha... Isso que o Alvinho estudou isso. Como a política cega as pessoas.

Como eu me sinto com teus posts sobre economia..

[RKint]

Esse é pra mim o máximo aceitável que o governo pode fazer - traçar guidelines de como a IA deve se comportar mas sem interferir no código, por exemplo.

Acontece que na prática isso é a mesma coisa que nada pois pelo que já citei acima é muito difícil dizer que houve negligência do código: pode ter sido uma simples falha mecânica, uma situação sem saída (como o caso das crianças atravessando o sinal fechado em fila) ou até mesmo um erro de cálculo da IA.

Sobre esse último motivo acho bom esclarecer que a IA pode tomar uma decisão já prevista (ou seja, conhecendo todas as variáveis toma-se uma decisão) ou aprender por conta própria (que é uma das grandes revoluções modernas com a área de Deep Learning). Isso significa receber um estado desconhecido (parâmetros não previstos) e tomar uma decisão com uma % de confiança. É impossível definir todas as situações que podem existir no mundo, por isso não é factível simplesmente "testar" todas. O que empresas como a Tesla estão fazendo é liberar o carro com a IA pra população o quanto antes para que eles possam passar pela maior quantidade possível de situações e "aprender" a melhor forma de lidar com elas.

Um último exemplo caso não tenha ficado claro. Suponha que exista um estado da seguinte forma: carro a 60 km/h, pista molhada, obstáculo duro e intransponível à direita (ex: parede), obstáculo duro e transponível à frente (ex: tronco de árvore), obstáculo macio e transponível à esquerda (ex: criança de 6 anos). O resultado do algoritmo pode ser algo como 90% de morte da criança, 3% de morte do motorista, 7% de ambos sairem ilesos. Qualquer que seja o resultado da ação (ex: morte da criança) não é garantia de que a IA tenha deliberadamente passado por cima dela e não tem como provar (a IA pode ter tentado desviar mas a criança se assustou e pulou na frente do carro).

[ekalil]

Hahahaha... Isso que o Alvinho estudou isso. Como a política cega as pessoas.

Como eu me sinto com teus posts sobre economia..

Legal

[DiegoSestito]

Hahahaha... Isso que o Alvinho estudou isso. Como a política cega as pessoas.

Como eu me sinto com teus posts sobre economia..

Legal

Igual teu post né parça. Só que no dos outros é refresco.

[ekalil]

Hahahaha... Isso que o Alvinho estudou isso. Como a política cega as pessoas.

Como eu me sinto com teus posts sobre economia..

Legal

Igual teu post né parça. Só que no dos outros é refresco.

eh

[PebaVermelho]

Esse é pra mim o máximo aceitável que o governo pode fazer - traçar guidelines de como a IA deve se comportar mas sem interferir no código, por exemplo.

Acontece que na prática isso é a mesma coisa que nada pois pelo que já citei acima é muito difícil dizer que houve negligência do código: pode ter sido uma simples falha mecânica, uma situação sem saída (como o caso das crianças atravessando o sinal fechado em fila) ou até mesmo um erro de cálculo da IA.

Mas esse já é outro problema que diz respeito ao funcionamento do carro autônomo nesses casos críticos. A observância das guidelines deve ser atestada por meio de auditoria do governo sobre os códigos.

Na prática, o carro só poderia ser comercializado após a homologação do sistema pelo governo. Uma vez homologado o sistema e realizados todos os testes de segurança legalmente previstos, a empresa estará liberada para tornar o carro comercial e isenta de responsabilidade sobre as decisões da IA em casos críticos.

[RKint]

Esse é pra mim o máximo aceitável que o governo pode fazer - traçar guidelines de como a IA deve se comportar mas sem interferir no código, por exemplo.

Acontece que na prática isso é a mesma coisa que nada pois pelo que já citei acima é muito difícil dizer que houve negligência do código: pode ter sido uma simples falha mecânica, uma situação sem saída (como o caso das crianças atravessando o sinal fechado em fila) ou até mesmo um erro de cálculo da IA.

Mas esse já é outro problema que diz respeito ao funcionamento do carro autônomo nesses casos críticos. A observância das guidelines deve ser atestada por meio de auditoria do governo sobre os códigos.

Na prática, o carro só poderia ser comercializado após a homologação do sistema pelo governo. Uma vez homologado o sistema e realizados todos os testes de segurança legalmente previstos, a empresa estará liberada para tornar o carro comercial e isenta de responsabilidade sobre as decisões da IA em casos críticos.

Certo, e foi justamente o que eu falei alguns posts atrás. O ideal é que o governo faça uma homologação através de testes (similar ao que a Anvisa faz, por exemplo). Acontece que estamos lidando com IA, que são máquinas pensantes. Se você não tem acesso ao código, quem garante que a IA não percebeu que está em "evaluation mode" e passa a agir corretamente? É a mesma coisa com humanos - o modo como dirigimos durante uma prova é completamente diferente da vida real, e isso é exatamente o que a IA faz - simula o comportamento de humanos (muitas vezes até nos superando).

Eu citei o exemplo da Volkswagen recentemente. Pra quem não se lembra: descobriram que os carros da VW emitiam muito mais poluentes que o estipulado pelo governo e que os engenheiros implementaram uma feature onde os carros "percebiam" que estavam sendo testados (por exemplo notando a angulação dos canos de descarga) e automaticamente reduziam o volume de poluentes. De volta ao modo de operação (ou seja, rodando normalmente), emitiam muitos mais gases e portanto eram muito mais eficientes.

E isso não para por aí: Volkswagen isn

[Alvinho]

O problema é que o RKint tá inventando que não tem como avaliar a IA. Porra, seria MUITO fácil pegar os dados do acidente e avaliar o que a IA "pensou" e o que ela decidiu. A própria Tesla já faz isso em casos de acidentes. Então seria bem tranquilo do governo pegar os dados dos acidentes e perceber que a IA tá fora do padrão.

E também tá inventando que seria impossível do governo ter uma IA porque existem diversas linguagens. Lol neh?

[Alvinho]

Esse é pra mim o máximo aceitável que o governo pode fazer - traçar guidelines de como a IA deve se comportar mas sem interferir no código, por exemplo.

Acontece que na prática isso é a mesma coisa que nada pois pelo que já citei acima é muito difícil dizer que houve negligência do código: pode ter sido uma simples falha mecânica, uma situação sem saída (como o caso das crianças atravessando o sinal fechado em fila) ou até mesmo um erro de cálculo da IA.

Mas esse já é outro problema que diz respeito ao funcionamento do carro autônomo nesses casos críticos. A observância das guidelines deve ser atestada por meio de auditoria do governo sobre os códigos.

Na prática, o carro só poderia ser comercializado após a homologação do sistema pelo governo. Uma vez homologado o sistema e realizados todos os testes de segurança legalmente previstos, a empresa estará liberada para tornar o carro comercial e isenta de responsabilidade sobre as decisões da IA em casos críticos.

Certo, e foi justamente o que eu falei alguns posts atrás. O ideal é que o governo faça uma homologação através de testes (similar ao que a Anvisa faz, por exemplo). Acontece que estamos lidando com IA, que são máquinas pensantes. Se você não tem acesso ao código, quem garante que a IA não percebeu que está em "evaluation mode" e passa a agir corretamente? É a mesma coisa com humanos - o modo como dirigimos durante uma prova é completamente diferente da vida real, e isso é exatamente o que a IA faz - simula o comportamento de humanos (muitas vezes até nos superando).

Eu citei o exemplo da Volkswagen recentemente. Pra quem não se lembra: descobriram que os carros da VW emitiam muito mais poluentes que o estipulado pelo governo e que os engenheiros implementaram uma feature onde os carros "percebiam" que estavam sendo testados (por exemplo notando a angulação dos canos de descarga) e automaticamente reduziam o volume de poluentes. De volta ao modo de operação (ou seja, rodando normalmente), emitiam muitos mais gases e portanto eram muito mais eficientes.

E isso não para por aí: Volkswagen isn

Só faltou você contar que descobriram a fraude da Volkswagen, o CEO perdeu o emprego, a empresa perdeu bilhões de dólares, a imagem da empresa ficou manchada, etc.

[Picinin]

@RKint

existe também a possibilidade de um defeito mecânico simples. Como o carro perder o freio.

Mas vamos nos ater à sua hipótese. Cai uma árvore na frente do carro e ele é obrigado a desviar. Ele está a 60 km/h e, se bater direto na árvore, é muito provável que você morra. Se desviar à direita, bate em um barranco e você provavelmente morrerá. No lado esquerdo é a porta de uma escola. Você pode entrar na escola e irá atropelar 10 crianças, que provavelmente morrerão, mas você sairá ileso. Tá todo mundo na legalidade, mas se o carro te proteger, morrem 10 crianças. Você acha razoável deixar essa decisão na mão do dono do carro?

Quanto ao controle, pode até ser possível burlar o controle prévio. Mas não será possível burlar o controle a posteriori. Na primeira vez que um carro não cumprir a regra, todo mundo vai saber. Aí é só foder pesado empresa e representantes legais que rapidinho nego começa a cumprir.

Mas o mais importante é que seria um contrassenso a empresa descumprir a regra às escondidas. O interesse em descumprir a regra é meramente comercial (um carro que proteja o dono em qualquer situação venderia mais que um carro "ético"). Se a empresa não pode anunciar essa característica, ela não vai vender mais. Por que diabos então ela deixaria de cumprir a regra?

Sim, existe. Por isso que eu comecei assumindo que o carro anda sempre na "legalidade", até porque o caso de falha mecânica acontece hoje em dia e não existe lei para isso.

Sobre seu exemplo, primeiro gostaria de dizer que é demasiadamente exagerado ao ponto de se tornar irrelevante discutir frente a todos os outros eventos possíveis. Mas vou reduzir a questão para um cenário onde a máquina avalie que qualquer outra saída que não seja acertar um humano signifique a destruição do carro.

A primeira coisa pra entender é que a máquina é mais segura que um humano dirigindo. Por exemplo, pela quantidade de sonares que são capazes de medir situações que o humano simplesmente não consegue avaliar (e.g. acabar com o ponto cego). Então isso por si só já é um avanço muito grande.

Mas de fato vai existir uma porcentagem de casos onde nem a máquina é capaz de evitar a colisão, como você mencionou. Nesse caso acredito que a melhor solução seja criar procedimentos de segurança especificamente para humanos - por exemplo lançar um airbag "externo" (poderia ser feito através do pára choque). Claro que to viajando aqui, mas o intuito é esse mesmo. Agora o que não pode pra mim em nenhuma hipótese é entrar em "suicide mode".

Sobre cumprir ou não a regra, isso é muito difícil de medir também @Picinin. Quem não garante que o carro entrou pela escola mas achou um caminho longe de uma criança, que se assustou e sem querer andou na direção do carro? Ou uma situação em que realmente não tenha o que fazer tipo 10 crianças atravessando o sinal em fila sem olhar pra rua?

Finalmente, sobre o contrassenso, esse é o principal ponto. A chave é exatamente essa, entender que nenhum engenheiro em sã consciência vai querer assinar o projeto de uma máquina que vai matar humanos. No final o esforço coletivo vai ser para melhorar a segurança (prevenção ou iminência de acidente), e isso é feito melhor deixando a tecnologia andar sozinha, e não colocando o governo para fiscalizar.

Cara, vamos começar do zero, porque eu acho que você não percebeu qual é o escopo da discussão, e por isso tá atacando um monte de espantalhos. Eu te recomendo fortemente reler o OP e os links nele contidos pra relembrar qual é o objeto do tópico.

Que a máquina é mais segura que um humano ninguém discute. Ninguém discute também que o primeiro objetivo da máquina é garantir a segurança de todos. Mas haverá situações (uma minoria absoluta, concordo, mas que ainda existirão) em que IA não conseguirá impedir o acidente e terá que decidir o que fazer. O tópico trata exclusivamente dessas situações.

Portanto, discussão aqui não é carro autônomo x carro guiado por humano.

O OP trouxe um dilema ético (conhecido como o Dilema do Bonde), "repaginado" para abarcar uma tecnologia em desenvolvimento (carros autônomos). Por este dilema, que é teórico, haverá a necessidade inarredável de se escolher quem salvar ou não. No dilema original, essa decisão fica nas mãos do maquinista do bonde. No dilema do OP, esse dilema será repassado para a IA.

A discussão evoluiu pro problema econômico: se houver um carro cuja IA vise sempre preservar os ocupantes do carro, e outra que vise causar o menor dano possível, 99% das pessoas comprariam o primeiro caso. Por isso foi dito que a sociedade, por meio do Estado, é quem acabará regrando como o carro deverá proceder nestes casos.

E nem ia falar nada, porque tô tentando discutir de boa, apesar de ter a impressão que você nem tentou entender meu post e já saiu respondendo. É a única coisa que explicaria tanto espantalho vindo de um cara que sempre discute de boa. Mas esse seu último parágrafo não tem pé nem cabeça. Primeiro porque ninguém tá falando em máquina de matar pessoas (que INÚMEROS engenheiros assinam todo dia na indústria bélica...). Segundo porque nós estamos tratando de uma situação de acidente em que NECESSARIAMENTE alguém vai morrer, o que a IA poderá fazer é só escolher se vai morrer X ou Y. E terceiro porque não tem nada a ver com o contrassenso que eu apontei e que você parece não ter lido.