Les voitures autonomes, et même parfois les luxueuses voitures d’aujourd’hui, sont des robots dans lesquels nous montons avec une confiance absolue. Elles disposent de capteurs pour comprendre leur environnement, et d’un grand nombre de logiciels complexes qui interagissent pour décider quelle action réaliser. Des mécanismes leur permettent ensuite d’enclencher les freins pour vous faire tourner à un coin de rue ou vous empêcher de rentrer dans la voiture stationnée devant vous1. Elles peuvent même ne pas vous demander si vous voulez qu’elles le fassent et agir contre vos intentions pour sauver votre vie. Par exemple, les fournisseurs de systèmes Dynamic Stability Control peuvent autoriser le conducteur à désactiver le système en changeant de pilote. Mais dans de nombreux cas, si le véhicule dépasse une certaine vitesse ou un autre type de seuil, le système va se réactiver automatiquement parce que les fournisseurs estiment que c’est ce qui est requis par les régulations légales.

Les voitures d’aujourd’hui et les voitures autonomes de demain sont nécessairement sociales. Déjà, par exemple, les voitures s’indiquent l’une à l’autre que leurs conducteurs ont l’intention de ralentir en allumant leurs feux stop. Les aides à la navigation dont elles sont pourvues communiquent avec des bases de données centrales pour savoir où il y a des embouteillages et quelle route prendre pour les éviter. Ces systèmes de navigation peuvent communiquer les uns avec les autres2. Les voitures autonomes vont nous transporter sur les routes et les chemins d’aujourd’hui, où nous côtoierons d’autres usagers non-autonomes, et vont se livrer à l’activité indubitablement sociale de conduire. Elles vont devoir être des robots sociaux susceptibles de reconnaître d’autres agents et de les classer selon des critères moraux comme peuvent le faire la plupart des humains. Elles devront avoir une sorte de théorie de l’esprit opérationnelle pour prédire où passera le reste du trafic.

Depuis un siècle, conduire des véhicules de toutes sortes a été une occupation honnête et pratique pour un grand nombre de personnes travailleuses et responsables qui n’étaient pas particulièrement douées pour le travail intellectuel abstrait. Les véhicules autonomes promettent – ou menacent – de supprimer une part importante de ce travail. Il se peut que les humains deviennent inutiles pour le transport de marchandises, et ne soient plus que des fournisseurs de destination pour leur propre transport. Ils pourraient aussi devenir des superviseurs, à la manière dont les pilotes d’avions sont devenus les superviseurs de leurs machines. Nos économies trouveront-elles de nouveaux métiers pour ces précieux membres de la société ?

Dans la conception et la fabrication de véhicules routiers autonomes, une question récurrente poursuit constamment les ingénieurs sérieux : la technologie qu’ils sont en train de créer va-t-elle améliorer les capacités des conducteurs humains, ou va-t-elle remplacer ces derniers ? Et si elle peut être mise en œuvre quand il s’agit de la question pratique de manœuvrer un véhicule, qu’en est-il des situations extrêmes dans lesquelles les conducteurs font face à des dilemmes éthiques3?

Par exemple, prenons une situation dans laquelle le véhicule roule sur une route n’ayant qu’une voie pour chaque direction. Il y a des intersections où le conducteur ne voit rien. Le véhicule s’engage dans l’intersection et se retrouve face à deux enfants à vélo au milieu de sa voie. Au même moment, un camion qui vient de l’autre côté apparaît. Le système d’un véhicule autonome pourrait calculer plus vite qu’un humain s’il est possible de s’arrêter à temps. Le véhicule pourrait aussi freiner plus vite et plus fort qu’un conducteur humain. Il pourrait donc éviter l’accident simplement en restant dans sa voie et en s’arrêtant plus efficacement qu’un conducteur humain.

Mais que se passe-t-il si le véhicule calcule qu’il n’est pas possible de s’arrêter sans percuter les enfants sur leurs vélos ou le camion venant en sens inverse ? Dans ce genre de circonstances, les conducteurs humains ont probablement tendance à compter sur leurs instincts. Il est peut-être possible de sortir de la route – d’éviter les enfants en traversant la haie ou même en traversant à toute vitesse devant le camion pour parvenir en lieu sûr de l’autre côté de la route. Mais peut-être que cela non plus n’est pas possible. Peut-être qu’il y a de très hauts arbres qui bordent chaque côté de la route. Peut-être que c’est une route de montagne, et qu’il y a un précipice du côté des enfants et une falaise du côté du camion. Nous ne blâmerions probablement pas un conducteur humain qui éviterait l’effrayant poids-lourd par pur instinct, même s’il percute et tue les enfants. Nous ne savons pas combien de conducteurs humains rentreraient dans le camion, ou se jetteraient dans le précipice, pour éviter les enfants. Si nous pensions qu’ils l’ont fait délibérément, selon un choix conscient, nous les louerions sûrement pour leur pensée auto-sacrificielle. Si nous pensions qu’ils l’ont fait par pur instinct, nous leur en serions probablement reconnaissants quand même.

Dans ces circonstances tragiques, comment considérerions-nous le comportement d’un véhicule autonome ? Disons que ce véhicule est complètement autonome. Son passager humain dort ou n’est pas concentré sur la route4. Peut-être que la morphologie du conducteur humain ne lui permet pas de donner des directives au véhicule dans une telle situation. Alors que le véhicule est conçu pour agir de façon pleinement autonome, et qu’il est légalement autorisé à le faire.

La première possibilité serait que nous n’attendions pas davantage du véhicule que nous n’attendrions d’un conducteur humain. Ainsi, si le véhicule calcule, pour quelque raison que ce soit, d’éviter le camion et de percuter les cyclistes, alors nous devrions simplement accepter ce qu’il a fait. Nous ne pourrions critiquer moralement ni le véhicule, ni ses concepteurs, ni ses programmeurs, ni ceux qui l’ont vendu, ni ceux qui l’ont acheté ou qui l’utilisent.

On pourrait objecter que ces deux cas ne sont pas analogues. Le conducteur humain, dans cette situation, et même s’il s’est imaginé faire face à un tel problème et y réagir, peut ne pas contrôler ses réactions s’il s’y retrouve confronté. La plupart des conducteurs humains ne se seront pas particulièrement formés à un tel événement, et n’auront pas imaginé leurs réactions. Ils vont être à la merci de leurs instincts. Mais leurs instincts n’ont pas été formés, et ils peuvent ne pas correspondre à leurs positions morales réfléchies, ou à celles de leurs sociétés. Mais les concepteurs et les programmeurs du véhicule autonome auront réfléchi à ce scénario dans le calme de leurs bureaux (même s’il est peu probable qu’ils aient été sereins quand ils ont réfléchi aux conséquences de leur travail), et auront eu le temps et les ressources pour évaluer rationnellement ce que le véhicule devrait faire. Ils ne peuvent pas se défendre en disant qu’ils n’ont pas eu le temps d’évaluer la situation et de décider rationnellement. Certes ils pourraient répondre qu’ils n’ont pas pu prévoir toutes les situations possibles, mais ils ont clairement le choix des situations qu’ils évaluent et qu’ils prennent en charge. Quel que soit le choix qu’ils fassent pour leur véhicule, ils devront pouvoir le justifier.

Gardons cela en tête, et demandons-nous également comment justifier le fait que le véhicule rentre dans le camion et tue son passager. Comment les ingénieurs pourraient-ils se justifier si la presse, par exemple, écrivait que les véhicules de leur compagnie sont dangereux et sacrifient leurs occupants dans de telles circonstances ?

Une deuxième possibilité serait que notre niveau d’exigence global concernant le comportement de tels véhicules soit plus élevé ou plus bas que ce que nous attendons d’un individu humain. Mais en pratique, les humains et les véhicules autonomes ayant des capacités très différentes, de telles comparaisons sont trompeuses. Il est probable, par exemple, que les véhicules autonomes réagissent très rapidement, bien plus rapidement qu’un humain. Mais ils le feront en comprenant moins bien que les humains les implications plus larges de leurs actions, et ils auront plus de chance de le faire à un moment inapproprié. On pourrait comparer les conducteurs humains et les véhicules autonomes en fonction du nombre total de blessés ou de morts qui résulte de leur conduite5, mais ce ne serait pas si facile de les comparer en termes moraux. Nous devrions collectivement reconnaître, et peut-être justifier et décider par consensus, de façon détaillée, où nous attendrions que les autres usagers de la route tiennent compte des véhicules autonomes, et où nous attendrions que la technologie des véhicules autonomes diffère – peut-être pour les dépasser – des capacités des usagers humains de la route.

Une troisième possibilité serait d’exiger que l’usager du véhicule choisisse, avant d’utiliser le véhicule, ce qu’il voudrait que le véhicule fasse dans de telles circonstances. Dans ce cas, si le véhicule agit conformément au choix de l’usager, et si le véhicule interprète correctement le choix sélectionné, les fabricants et les ingénieurs n’auront pas à se justifier de son comportement. La responsabilité morale revient alors à celui à qui elle incombe actuellement – à celui qui utilise le véhicule à ce moment-là.

L’objection évidente ici, c’est qu’on voit mal comment on pourrait offrir aux usagers un choix simple couvrant toutes les situations possibles de ce genre.

Examinons encore comment un véritable être humain agirait dans de telles circonstances. Comme nous l’avons déjà dit, il n’emploierait probablement pas du tout ses facultés rationnelles. Il réagirait de manière purement instinctive. Mais il pourrait aussi agir en fonction de convictions morales établies prédéterminées. Ce dilemme est analogue à ceux qui ont permis d’étudier assez profondément les convictions morales établies des personnes : ceux qu’on appelle « les problèmes du tramway »6. Ce que nous savons, d’après ces études, c’est que les humains ne partagent pas tous les mêmes convictions morales établies dans ce genre de circonstances. Nous ne pouvons pas tous être d’accord, en tant qu’espèce, sur ce que serait le «juste» ou le meilleur comportement moral. Dans beaucoup d’autres cas nous pouvons être d’accord. Mais pas dans ce type de cas. Pourtant, nos systèmes éthiques et légaux ont évolué pour surmonter cette incertitude.

Les individus humains peuvent se soucier beaucoup de la ligne d’action qui a été suivie. En général, il y a deux options. Une ligne de raisonnement dira que la perte des deux vies des cyclistes est pire que la perte d’une vie, celle de la personne qui est dans la voiture autonome. L’autre ligne de raisonnement dira qu’il est mal d’entreprendre une action délibérée – ici, de faire un écart pour éviter les cyclistes – dont le résultat intentionnel est une mort certaine – celle du passager du véhicule autonome. Ne pas agir – continuer en ligne droite – est préférable même si cela provoque deux morts plutôt qu’une, parce que ce n’est pas une action délibérée. La première ligne – qui soutient que plus il y a de morts, pire c’est – est généralement utilitariste ou conséquentialiste7. La seconde – qui soutient que ce qui compte moralement, c’est l’intention qui est derrière l’action et non les résultats – est généralement proche de la pensée kantienne8.

Les individus peuvent être très fortement attachés à ce que leurs actions soient en accord avec l’une ou l’autre de ces théories morales majeures. Mais puisque, jusqu’à maintenant, nous sommes incapables de trancher entre ces deux théories, et de nous mettre d’accord en tant qu’espèce sur laquelle des deux est préférable, les ingénieurs qui conçoivent la voiture autonome ne peuvent pas dire qu’ils choisissent l’une ou l’autre théorie au nom de tous leurs consommateurs. Le seul argument sur lequel ils pourraient s’appuyer pour agir ainsi serait de dire qu’ils ont choisi la théorie en laquelle ils croyaient et qu’ils préféraient personnellement – mais quel droit ont-ils d’imposer leur croyance et leur préférence personnelle aux consommateurs potentiels qui pourraient tenir aussi fortement à l’autre théorie ?

La même chose serait vraie pour les régulateurs qui imposeraient un comportement standard : la régulation centrale de la sécurité routière peut être considérée comme acceptable, mais pas l’imposition officielle d’un système moral particulier.

On pourrait objecter qu’il peut y avoir des raisons techniques de choisir l’un ou l’autre des systèmes moraux – l’un des deux pourrait être plus facile à programmer, par exemple. En réalité, aucun des deux n’est plus facile à programmer parfaitement, mais il y a certains éléments indiquant que les deux peuvent être approximativement programmés9. Cependant, nous n’accepterions habituellement pas d’un être humain qu’il se contente de dire que « c’était le plus simple à faire » pour motiver son choix d’un système moral10.

Une solution potentielle serait donc que les ingénieurs produisent deux versions du logiciel, l’une kantienne et l’autre utilitariste. À chaque fois qu’un utilisateur démarrerait sa voiture pour faire un trajet, il devrait sélectionner, avant que le véhicule ne sorte, quelle version du logiciel devrait agir en son nom si le véhicule rencontrait une situation exigeant un choix éthique difficile. Dans ce cas le véhicule n’est pas un simple mandataire – autorisé à agir au nom de son passager humain – dans des situations moralement simples comme celle d’adapter sa vitesse en fonction de l’adhérence de la route et d’obéir au code de la route, mais le véhicule devient aussi un mandataire moral – autorisé à agir au nom de l’usager humain dans des situations morales difficiles.

Un mandataire moral n’est pas nécessairement un agent ou un patient moral en soi. En ce sens, le terme d’« agent » est ambigu. En termes philosophiques, un agent est à l’origine d’actions. En termes légaux, un agent est celui qui agit au nom d’un autre, le mandant. C’est pourquoi nous utilisons le terme « mandataire » pour faire la différence entre agir au nom d’un autre et être à l’origine d’actions. La voiture autonome n’est pas plus un patient moral qu’un insecte n’est un patient moral. On peut faire de bonnes analogies entre les insectes et les voitures autonomes – ils ont une architecture sensorielle similaire11. La voiture ne ressent pas de douleur et ne reconnaît pas la douleur chez les autres, même si elle peut avoir de simples intérêts propres. Comme la voiture ne peut être un patient moral, elle ne peut être un agent moral dans le sens où elle serait un être qui apprend la moralité à partir du blâme, de l’éloge et de leurs effets sur son bien-être, par les émotions qu’ils suscitent et la façon dont les punitions interfèrent avec ses intérêts. En principe, nous pourrions lui donner une sorte d’apprentissage par renforcement. Mais dans un futur proche, il est peu probable qu’elle atteigne le niveau de sophistication que nous supposons normalement être celui d’agents moraux participant à de tels systèmes de justice. Quand la voiture fait quelque chose qui blesse les intérêts humains, donner un coup de pied dans son pneu en disant « Mauvaise voiture ! » n’empêchera pas qu’un tel incident se reproduise. (Non pas que cela empêche les humains de soumettre leurs voitures à ce genre de traitement de temps à autre !)

En termes pratiques, dans les circonstances sociales de nos routes, la présence de ces mandataires moraux que sont les voitures autonomes parmi des voitures non-autonomes, pose un petit problème pratique. Si de tels véhicules peuvent rouler à vide – sans humain à l’intérieur – alors nous devrions avoir deux classes d’usagers de la route – ceux qui contiennent un être doté d’un statut moral et ceux qui n’en contiennent pas. Savoir les distinguer n’est pas forcément évident à première vue, et cela pourrait affecter la pertinence des décisions morales à la fois des conducteurs humains et des véhicules autonomes. Pour l’instant, nous pouvons en toute sécurité partir du principe que tous les véhicules routiers contiennent au moins un être doté d’un statut moral. Mais plus l’ambiguïté augmente, plus il devient complexe de conduire. Cette complexité croissante pourrait devenir un argument en faveur de la nécessité de conducteurs dotés d’intelligence artificielle, et de l’idée que, avec le temps, les conducteurs humains ne seront plus adéquats.

Une solution potentielle simple serait d’exiger que les véhicules autonomes indiquent clairement aux autres usagers de la route qu’ils voyagent sous contrôle autonome, et s’ils contiennent actuellement un ou plusieurs êtres dotés d’un statut moral. Cela soulève

une question, peut-être celle de la vie privée et de la dignité des usagers de tels véhicules, surtout s’il y a des chances pour que ces véhicules soient davantage utilisés que d’autres par des personnes ayant une morphologie inhabituelle.

Les véhicules routiers autonomes soulèvent d’autres questions pratiques et morales. Par exemple, celle de la sécurité – ils pourraient être programmés pour acheminer des bombes, ou servir pour des évasions12. Et surtout, ils pourraient être récupérés à distance ou être touchés par de nouvelles formes de sabotage. Ils posent aussi la question du risque moral pour l’environnement – vont-ils encourager les gens à rouler davantage avant que nous n’ayons trouvé les moyens de contrôler nos émissions de gaz à effet de serre ? Ils posent la question pratique de la façon dont peut se passer l’interaction de contrôle entre le véhicule et le conducteur humain13. Les bénéfices qu’apportent les véhicules autonomes en termes de sécurité, de consommation de carburant et de commodité pour les conducteurs humains ne sont pas clairement plus importants que les nouveaux risques qu’ils introduisent. Certes, pour certaines personnes – comme les malvoyants et certains autres groupes de personnes dotées d’une morphologie inhabituelle –, les bénéfices sont potentiellement significatifs. Mais les enjeux moraux sont plus grands quand on considère les similarités entre les véhicules autonomes – qu’ils soient sur la route ou en dehors – et l’évolution des animaux. Les véhicules rencontrent, dans leur environnement immédiat, beaucoup de pressions identiques à celles que rencontrent les animaux. De plus, la nature humaine et sociale de leur environnement ajoute la pression de reconnaître les humains et d’interagir avec eux – de manière moralement pertinente. Comme nous développons les véhicules autonomes pour qu’ils gèrent mieux ces pressions, vont-ils cesser de n’être que de simples mandataires moraux semblables aux insectes, et développer des capacités et des comportements qui nous inciteront, nous humains, à leur assigner une patience morale, comme nous pourrions le faire avec des chevaux, et même à leur reconnaître une agentivité morale ? Enfin allons-nous dangereusement nous tromper dans ces attributions… ou aurons-nous créé dans notre monde de nouvelles formes d’êtres dotés d’un statut moral ?

Traduit de l’anglais par Mona Gérardin-Laverge

1 V. Wyman, « Helping hands behind the wheel », Professional Engineering, no25, août 2012, p. 51-52 ; H. Jamson, N. Merat, O. Carsten, and F. Lai, « Fully-Automated Driving : The Road to Future Vehicles », texte présenté au Proceedings of the Sixth International Driving Symposium on Human Factors in Driver Assessment, Training and Vehicle Design, 2011 ; C. Urmson, « The self-driving car logs more miles on new wheels », http://googleblog.blogspot.hu/2012/08/the-self-driving-car-logs-more-miles-on.html ; T. Nothdurft, P. Hecker, S. Ohl, F. Saust, M. Maurer, A. Reschka, and J. R. Bohmer, « Stadtpilot : First fully autonomous test drives in urban traffic », Texte présenté à l’Intelligent Transportation Systems (ITSC), 2011 14th International IEEE Conference on, 5-7 Oct., 2011.

2  S. Bickerstaffe, « BMW 1 Series », in Automotive Engineer, 2011.

3  A. Sandberg, and H. Bradshaw, « What do cars think of trolley problems : ethics for autonomous cars », texte présenté 
au BAI2013, Plzen, Czech Republic, 13-15 novembre 2013, Forthcoming.

4 N. A. Stanton, M. Young, and B. McCaulder, « Drive-by-wire : the case of driver workload and reclaiming control with adaptive cruise control », Safety Science, no27, 2, 1997, p. 149-159 ; C. M. Rudin-Brown, and H. A. Parker, « Behavioural adaptation to adaptive cruise control (ACC) : implications for preventive strategies », Transportation Research Part F : Traffic Psychology and Behaviour, no 7, 2, 2004, p. 59-76 ; A. H. Jamson, N. Merat, O. M. Carsten, and F. C. Lai, « Behavioural changes in drivers experiencing highly-automated vehicle control in varying traffic conditions », Transportation Research Part C : Emerging Technologies, no 30, 2013, p. 116-125.

5 Aujourd’hui, tous facteurs bien considérés, nous n’avons pas encore suffisamment de preuves empiriques pour prédire en toute vraisemblance que les véhicules autonomes seraient plus sûrs que les conducteurs humains. Voir N. J. Goodall, « Ethical Decision Making During Automated Vehicle Crashes », Transportation Research Record : Journal of the Transportation Research Board, no à paraitre.

6 P. Foot, Natural Goodness, Clarendon Press, Oxford, 2001 ; F. M. Kamm, Intricate ethics : Rights, responsibilities, and permissible harm, Oxford University Press, USA, 2006.

7 S. Mill, and G. Williams, Utilitarianism; On liberty; Considerations on representative government; Remarks on Bentham’s philosophy, New ed. London, Rutland, Vermont, J. M. Dent, Charles E. Tuttle, 1993.

8  I. Kant, and H. J. Paton, The moral law: Kant’s Groundwork of the metaphysic of morals, Unwin Hyman, Londres, 1989.

9  M. Anderson, and S. L. Anderson, Machine ethics, Cambridge University Press, 2011.

10 Bien sûr, une profonde question métaphysique se pose ici: pensons-nous que les principes éthiques corrects sont simples, ou pourraient-ils être arbitrairement complexes ? Et s’il était très difficile, voire impossible pour l’esprit humain de les saisir? La question générale est de savoir si le comportement moral attendu par un système doit être compris dans les capacités posées par ce système pour réussir. La morale est-elle relative à la morphologie ? En d’autres termes, est-ce que « devoir » implique de « pouvoir » ? Même pour des systèmes non-humains et artificiels ?

11 R. A. Brooks, « Elephants don’t play chess », Robotics and Autonomous Systems, no6, 1990 ; R. A. Brooks, « Intelligence without representation », Artificial Intelligence, no47, 1, 1991, p. 139-159.

12 M. Harris, 2014, « FBI Warns driverless cars could be used as « lethal weapons »,The Guardian, mercredi 16 juillet.

13 S. Armstrong, H. Bradshaw, N. Beckstead, and A. Sandberg, « The auto pilot problem », in Systemic risk of modelling, Amlin, 2014, p. 36-51.