Quem morre? Os carros autônomos e a máquina moral

[Marckar]

Não existe certo ou errado nesta discussão, o que vc vai descobrir é qual linha do pensamento filosófico vc se enquadra: Utilitarista (Stuart Mill) ou Imperativista (Kant).

[Alvinho]

E isso é péssimo pra tecnologia e ciência em geral, além de ineficiente.

Por que isso seria péssimo pra tecnologia e ciência? Por que seria ineficiente? O que seria controlado seria apenas as regras ueh, o que fazer em acidentes, o que priorizar. Você fala como se fosse impossível o software que controla o carro ter 2 partes independentes.

Porra, a gente tá falando de carro que dirige sozinho, você realmente acha que o empecilho é a padronização das regras que a IA deve seguir?

[RKint]

E isso é péssimo pra tecnologia e ciência em geral, além de ineficiente.

Por que isso seria péssimo pra tecnologia e ciência? Por que seria ineficiente? O que seria controlado seria apenas as regras ueh, o que fazer em acidentes, o que priorizar. Você fala como se fosse impossível o software que controla o carro ter 2 partes independentes.

Porra, a gente tá falando de carro que dirige sozinho, você realmente acha que o empecilho é a padronização das regras que a IA deve seguir?

É péssimo pra ciência porque viola o direito das pessoas de inovarem - o que acontece se um engenheiro inventar um novo algoritmo, ou quiser adicionar outra funcionalidade? Ele vai ter que pedir pro governo implementar? E quem fará esse controle de qualidade? E quem vai garantir o direito de patentes? É a mesma coisa que dar ao governo a prerrogativa de dizer como carros funcionam (em última instância eles podem matar pessoas). Exagerando um pouco, imagine na época do Ford se o governo interferisse (carros são mais mortais que charretes) e definisse um padrão para a indústria?

Não é impossível mas faz com que 1) as empresas tenham que se adequar a um padrão que não necessariamente garante qualidade e 2) precisaria de uma inspeção da parte "privada" do código (quem garante que a parte não-revelada não implementa parte ou totalmente o que a parte controlada faz?)

A padronização não é um empecilho porque é algo muito difícil de controlar. Hoje a tecnologia já é responsável por muitos casos de vida ou morte (direta ou indiretamente) e nem por isso existe um conselho que averigua tudo que um software pode fazer. Isso vai desde armamentos, equipamentos médicos até chats.

[Picinin]

@RKint

existe também a possibilidade de um defeito mecânico simples. Como o carro perder o freio.

Mas vamos nos ater à sua hipótese. Cai uma árvore na frente do carro e ele é obrigado a desviar. Ele está a 60 km/h e, se bater direto na árvore, é muito provável que você morra. Se desviar à direita, bate em um barranco e você provavelmente morrerá. No lado esquerdo é a porta de uma escola. Você pode entrar na escola e irá atropelar 10 crianças, que provavelmente morrerão, mas você sairá ileso. Tá todo mundo na legalidade, mas se o carro te proteger, morrem 10 crianças. Você acha razoável deixar essa decisão na mão do dono do carro?

Quanto ao controle, pode até ser possível burlar o controle prévio. Mas não será possível burlar o controle a posteriori. Na primeira vez que um carro não cumprir a regra, todo mundo vai saber. Aí é só foder pesado empresa e representantes legais que rapidinho nego começa a cumprir.

Mas o mais importante é que seria um contrassenso a empresa descumprir a regra às escondidas. O interesse em descumprir a regra é meramente comercial (um carro que proteja o dono em qualquer situação venderia mais que um carro "ético"). Se a empresa não pode anunciar essa característica, ela não vai vender mais. Por que diabos então ela deixaria de cumprir a regra?

[RKint]

@RKint

existe também a possibilidade de um defeito mecânico simples. Como o carro perder o freio.

Mas vamos nos ater à sua hipótese. Cai uma árvore na frente do carro e ele é obrigado a desviar. Ele está a 60 km/h e, se bater direto na árvore, é muito provável que você morra. Se desviar à direita, bate em um barranco e você provavelmente morrerá. No lado esquerdo é a porta de uma escola. Você pode entrar na escola e irá atropelar 10 crianças, que provavelmente morrerão, mas você sairá ileso. Tá todo mundo na legalidade, mas se o carro te proteger, morrem 10 crianças. Você acha razoável deixar essa decisão na mão do dono do carro?

Quanto ao controle, pode até ser possível burlar o controle prévio. Mas não será possível burlar o controle a posteriori. Na primeira vez que um carro não cumprir a regra, todo mundo vai saber. Aí é só foder pesado empresa e representantes legais que rapidinho nego começa a cumprir.

Mas o mais importante é que seria um contrassenso a empresa descumprir a regra às escondidas. O interesse em descumprir a regra é meramente comercial (um carro que proteja o dono em qualquer situação venderia mais que um carro "ético"). Se a empresa não pode anunciar essa característica, ela não vai vender mais. Por que diabos então ela deixaria de cumprir a regra?

Sim, existe. Por isso que eu comecei assumindo que o carro anda sempre na "legalidade", até porque o caso de falha mecânica acontece hoje em dia e não existe lei para isso.

Sobre seu exemplo, primeiro gostaria de dizer que é demasiadamente exagerado ao ponto de se tornar irrelevante discutir frente a todos os outros eventos possíveis. Mas vou reduzir a questão para um cenário onde a máquina avalie que qualquer outra saída que não seja acertar um humano signifique a destruição do carro.

A primeira coisa pra entender é que a máquina é mais segura que um humano dirigindo. Por exemplo, pela quantidade de sonares que são capazes de medir situações que o humano simplesmente não consegue avaliar (e.g. acabar com o ponto cego). Então isso por si só já é um avanço muito grande.

Mas de fato vai existir uma porcentagem de casos onde nem a máquina é capaz de evitar a colisão, como você mencionou. Nesse caso acredito que a melhor solução seja criar procedimentos de segurança especificamente para humanos - por exemplo lançar um airbag "externo" (poderia ser feito através do pára choque). Claro que to viajando aqui, mas o intuito é esse mesmo. Agora o que não pode pra mim em nenhuma hipótese é entrar em "suicide mode".

Sobre cumprir ou não a regra, isso é muito difícil de medir também @Picinin. Quem não garante que o carro entrou pela escola mas achou um caminho longe de uma criança, que se assustou e sem querer andou na direção do carro? Ou uma situação em que realmente não tenha o que fazer tipo 10 crianças atravessando o sinal em fila sem olhar pra rua?

Finalmente, sobre o contrassenso, esse é o principal ponto. A chave é exatamente essa, entender que nenhum engenheiro em sã consciência vai querer assinar o projeto de uma máquina que vai matar humanos. No final o esforço coletivo vai ser para melhorar a segurança (prevenção ou iminência de acidente), e isso é feito melhor deixando a tecnologia andar sozinha, e não colocando o governo para fiscalizar.

[ekalil]

@RKint,

Pergunta de leigo:

Alem de todos as dificuldades que vc ja expos, nao seria complicado pro governo desenvolver um codigo especifico para o caso de acidentes que se integrasse perfeitamente ao resto do codigo desenvolvido pela fabricante?

Imagino que nem todas as fabricantes vao desenvolver o codigo usando a mesma linguagem e, dessa forma, o governo teria que nao apenas ter acesso ao codigo todo, mas tb ter profissionais especializados em diversas areas pra garantir que o desenvolvimento e a integracao seria perfeita.

Fora tudo isso, obviamente antes de ser lancado no mercado o produto teria que ser exaustivamente testado. No caso, o governo teria que fazer parte desses testes, inclusive pra consertar eventuais bugs.

Existe alguma industria atualmente onde o governo atua dessa maneira?

[RKint]

@RKint,

Pergunta de leigo:

Alem de todos as dificuldades que vc ja expos, nao seria complicado pro governo desenvolver um codigo especifico para o caso de acidentes que se integrasse perfeitamente ao resto do codigo desenvolvido pela fabricante?

Imagino que nem todas as fabricantes vao desenvolver o codigo usando a mesma linguagem e, dessa forma, o governo teria que nao apenas ter acesso ao codigo todo, mas tb ter profissionais especializados em diversas areas pra garantir que o desenvolvimento e a integracao seria perfeita.

Fora tudo isso, obviamente antes de ser lancado no mercado o produto teria que ser exaustivamente testado. No caso, o governo teria que fazer parte desses testes, inclusive pra consertar eventuais bugs.

Existe alguma industria atualmente onde o governo atua dessa maneira?

Sim, nós chamamos isso de API (Application Programming Interface). Toda vez que dois programas independentes precisam se comunicar eles precisam falar uma linguagem comum - a API. O Facebook usa isso quando você faz o login de um site usando suas credenciais, por exemplo.

A gente pode pensar num código como esse como uma máquina de estado: dado uma determinado estado (parâmetros que definam uma situação, como velocidade do carro, temperatura, se a pista tá molhada, obstáculos detectados pelo sonar, consistência do obstáculo, etc) o código tem que ser capaz de tomar uma decisão homologada pelo governo (por exemplo, desviar das crianças). Existem dois problemas graves nesse sentido:

1) Exatamente como você disse, o código da empresa e o do governo teriam que conversar. Ou seja, precisaria ter uma forma que linguagens eventualmente diferentes se entendessem para processar a requisição. Acontece que isso não é factível pela inúmera quantidade de linguagens/frameworks/bibliotecas existentes, então o que aconteceria seria o governo escolher uma e basicamente limitar o uso de outras tecnologias no desenvolvimento da ciência.

2) Você tem que ser o último bloco do pipeline, pois caso contrário o output desse código pode ser transformado numa etapa posterior. E isso não tem a ver com sabotar a segurança das pessoas, mas simplesmente ignorar o processamento obrigatório para usar uma tecnologia que você se sente mais confortável mas o governo não aceita. Ou seja, qualquer tipo de pós-processamento teria que ser ou homologado ou simplesmente ignorado.

O que existe hoje são API's de consumo de informação - muitas vezes dados públicos. Mas ainda existem situações muito ruins como na área fiscal (ex: SPED) onde o governo estipula um formato para declaração e o software de validação. Então se você quer fazer a escrituração digital da sua empresa você precisa aprender o formato arbitrário definido pelo governo e lidar com eventuais bugs que apareçam (eu por exemplo sofro pra fazer rodar no Linux). Não estou dizendo que isso é certo ou errado, mas é um exemplo de uma indústria que sofre muito com problemas de TI (e não chega nem perto de ser algo complexo como carros autônomos).

[PebaVermelho]

O governo não precisaria fazer uma API, bastaria fazer um regulamento traçando regras gerais de como os conflitos de interesse deveriam ser resolvidos pelo sistema autônomo.

[ekalil]

@RKint, por favor, esclareca.

[Ravi]

Uma super máquina que anda sozinha não vai conseguir perceber a tempo de diminuir a velocidade?
Ah mas falhou os freios, então bate na arvore e seja salvo pelo cinto de seguranã e mais 50 airbags.

Se um dia só existir esses carros em circulaçao vai diminuir drasticamente o numero de acidentes, vai ter tanta tecnologia pra segurança tanto nos carros quantos na ruas mesmo.

Só não pode deixar governo decidir quem morre e quem vive senão vem um deputado do psol e faz uma lei que mata os brancos em detrimento dos negros e mata os heteros ao invés dos gays.