Imprimer

Rapport | Doc. 15683 | 09 janvier 2023

Émergence des systèmes d’armes létales autonomes (SALA) et leur nécessaire appréhension par le droit européen des droits humains

Commission des questions juridiques et des droits de l'homme

Rapporteur : M. Damien COTTIER, Suisse, ADLE

Origine - Renvoi en commission: Doc. 14945, Renvoi 4479 du 27 janvier 2020. 2023 - Première partie de session

Résumé

La commission s’inquiète des risques posés par l’émergence des systèmes d’armes létales autonomes et considère que la recherche d’un juste équilibre entre le maintien de la compétitivité militaire et la protection des droits humains doit être renforcée. Elle propose une solution intermédiaire, entre l’interdiction pure et simple et l’absence de toute réglementation, à deux volets:

premièrement, la reconnaissance universelle du fait que des systèmes d’armes létales entièrement autonomes qui sélectionnent des cibles et les éliminent sans le moindre contrôle humain significatif ne peuvent jamais être conformes au droit international humanitaire et des droits humains et sont donc interdits en droit international dans son état actuel;

deuxièmement, l’élaboration d’un cadre juridique pour les autres systèmes d’armes létales à autonomie partielle mettant en place des règles assurant le respect du droit de la guerre, adaptées aux défis particuliers posés par ce type d’armes.

Ce cadre devrait à terme être posé dans un instrument international juridiquement contraignant, sous forme d’une Convention internationale sur les systèmes d’armes létales autonomes. En attendant, il faudrait au moins développer un code de conduite non contraignant qui pourrait servir de guide aux négociateurs d’une future convention.

A. Projet de résolution

(open)

1. L’Assemblée parlementaire note que les progrès technologiques rapides en matière d’intelligence artificielle permettent l’émergence, dans un avenir proche, de systèmes d’armes létales autonomes (SALA).

2. Selon la définition du Comité International de la Croix Rouge (CICR), le terme SALA inclut tout système d’armes autonome dans ses fonctions critiques. Il s’agit d’un système d’armes capable de sélectionner (c’est-à-dire de rechercher ou détecter, identifier, traquer, sélectionner) et d’attaquer (c’est-à-dire utiliser la force contre, neutraliser, endommager ou détruire) des cibles sans intervention humaine. Il ne s'agit donc ni de systèmes télécommandés dans lesquels l'être humain garde entièrement le contrôle, ni de systèmes automatiques dans lesquels un certain processus a été programmé à l'avance de sorte que leur action est totalement prévisible.

3. L’émergence des SALA suscite l’inquiétude de nombreux États ainsi que de la société civile. 54 organisations non gouvernementales ont lancé une campagne pour obtenir l’interdiction préventive de la recherche et du développement de ces technologies émergentes et donc, a fortiori de leur utilisation, qu’ils nomment «les robots tueurs». Cette position de principe a été adoptée par le Parlement européen dans une résolution du 12 septembre 2018.

4. La logique de la “course aux armements” dans ce domaine amène certains à considérer que les SALA représentent la troisième révolution militaire dans l’histoire des relations internationales, après l’invention de la poudre à canon et celle de l’arme atomique. Les puissances militaires qui n’investiraient pas dans le développement de cette technologie risqueraient alors d’être distancées.

5. Les SALA risquent d’abaisser le seuil de déclenchement d’une guerre, en réduisant le risque pour un pays de pertes de ses propres troupes. Les SALA soulèvent aussi un problème fondamental de dignité humaine – le fait de permettre à des machines de «décider» de tuer un humain.

6. La conformité des SALA avec le droit international humanitaire dépend surtout de la possibilité, ou non, de respecter les principes de la distinction, de la proportionnalité et des précautions à prendre en cas d’attaque.

6.1. Le principe de distinction entre objectifs militaires et civils pourrait être respecté par des SALA bien conçus et programmés pour exécuter des frappes précises visant uniquement des objectifs militaires.

6.2. La question de savoir si une attaque est conforme au principe de proportionnalité se fonde sur des valeurs et des interprétations de la situation plutôt que sur des chiffres et des indicateurs techniques. Ces jugements, qui reflètent des considérations éthiques, requièrent le jugement humain qui est unique. C’est à ce titre qu’un minimum de contrôle humain est indispensable.

6.3. Pour être conforme au principe de précaution, l’action des SALA doit être prévisible. Les utilisatrices et les utilisateurs doivent pouvoir ajuster ou annuler les effets des systèmes d'armes si nécessaire, ce qui n'est possible que s'ils peuvent raisonnablement prévoir la réaction d'un système d'armes.

6.4. La conformité des SALA avec le droit international des droits humains, et notamment avec la Convention européenne des droits de l’homme (STE no 5) dépend d’une réglementation claire de leur usage. L’article 2 de la Convention exige la protection du droit à la vie par la loi. Cela signifie que l'État doit mettre en place un cadre juridique qui définit les circonstances limitées dans lesquelles l'usage de ces armes est autorisé. La jurisprudence de la Cour européenne des droits de l’homme concerne d'autres types d'armes. Mais l’utilisation des SALA ne devrait pas être soumise à des normes moins strictes.

7. Dans la perspective du droit international humanitaire et des droits humains, une réglementation du développement et surtout de l’usage des SALA est donc indispensable. Le point crucial est celui du contrôle humain. Le respect des règles du droit international humanitaire et des droits humains ne peut être garanti qu’en maintenant un contrôle humain dont l’intensité varie selon les positions adoptées par les États et autres acteurs de la communauté internationale. Plusieurs niveaux de contrôle humain peuvent être envisagés: le contrôle significatif, le contrôle effectif ou encore un jugement humain approprié. Un tel contrôle humain doit être maintenu sur les systèmes d'armes létales à tous les stades de leur cycle de vie.

7.1. Le contrôle humain peut être exercé au stade du développement, notamment par la conception technique et la programmation du système d'armes (ethics by design): les décisions prises au cours de la phase de développement doivent garantir que le système d'armes peut être utilisé dans les circonstances d'utilisation prévues ou attendues, conformément au droit international humanitaire et aux autres normes internationales applicables, notamment la Convention européenne des droits de l’homme.

7.2. Le contrôle humain peut également être exercé au point d'activation, ce qui implique la décision de la personne en charge du commandement et de celle en charge des opérations d'utiliser un système d'arme particulier dans un but particulier, décision qui doit être fondée sur une connaissance et une compréhension suffisante du fonctionnement de l'arme dans les circonstances données pour garantir qu'elle fonctionnera comme prévu et conformément au droit international humanitaire et aux normes internationales applicables. Cette connaissance doit comprendre une connaissance adéquate de la situation de l’environnement opérationnel, notamment en ce qui concerne les risques potentiels pour les civils et les biens civils.

7.3. Afin de garantir le respect du droit international humanitaire et des normes internationales applicables, il peut être considéré nécessaire de pouvoir exercer un contrôle humain supplémentaire pendant la phase d'opération, lorsque l'arme sélectionne et attaque des cibles de manière autonome. Une intervention humaine peut être nécessaire pour assurer le respect du droit, pour combler des lacunes éventuelles au stade du développement et au point d’activation.

8. Contrairement aux humains, les machines n'ont pas de sentiments et ne sont pas des agents moraux. Si une personne commet un crime de guerre avec une arme autonome, c’est l'humain qui commet le crime, en utilisant l'arme autonome comme outil. Les humains doivent non seulement être juridiquement responsables, mais aussi moralement responsables des actions des SALA. Certaines décisions relatives à l'utilisation d'armes nécessitent des jugements juridiques et moraux, comme par exemple la mise en balance des pertes civiles probables et des avantages militaires liés à la conduite d'attaques. Ces jugements doivent être endossés par des humains puisqu'il s'agit également de jugements moraux et qu’ils ont une portée juridique.

9. Les dispositions pertinentes du droit international humanitaire impliquent que de tels systèmes d’armes ne doivent pas être utilisés s’ils sont de nature à causer des blessures superflues ou des souffrances inutiles, ou s'ils sont intrinsèquement aveugles, ou s'ils sont incapables d'être utilisés conformément au droit.

10. À supposer que les futurs SALA soient conformes au droit de la guerre dans leur fonctionnement normal, un dysfonctionnement de la machine pourrait provoquer une attaque erronée et donc soulever des difficultés d’imputabilité de la responsabilité. La responsabilité juridique en cas de défaillance du système d’armes létales autonome doit pouvoir être établie en analysant le respect de la condition d’un contrôle humain suffisant. Les actions illicites commises par un système d’armes létales autonome dont résulteraient des violations du droit international humanitaire et d’autres normes internationales doivent pouvoir être rattachées alternativement à l’individu ou aux groupes d’individus à l’origine de sa conception, fabrication ou programmation ou encore de son déploiement et in fine à l’État utilisateur. A cet égard l’État utilisateur a une responsabilité particulière de tester et vérifier au préalable les armes qu’il entend utiliser afin de s’assurer de leur prévisibilité et de leur fiabilité et du fait qu’elles ne risquent pas de commettre des violations du droit international humanitaire par erreur, dysfonctionnement ou mauvaise conception et de vérifier les contextes dans lesquels leur utilisation est possible conformément au droit.

11. L’Assemblée note que les questions de compatibilité des SALA avec le droit international humanitaire et les droits humains sont en discussion parmi les États parties à la Convention sur certaines armes classiques (CCAC), qui ont établi un Groupe d’experts gouvernementaux (GEG). Celui-ci, sur la base des «11 principes directeurs sur les SALA» adoptés en 2019 et de la Déclaration Finale de la 6ème Conférence des États parties à la CCAC en décembre 2021 continue à rechercher un consensus sur la réglementation future de cette technologie émergente.

12. Lors de sa session de juillet 2022, le GEG a adopté une déclaration convenant que le droit des parties d’un conflit armé de choisir les méthodes et les moyens de faire la guerre n’est pas sans limite et que le droit international humanitaire s’applique aussi aux SALA. Toute violation du droit international, y compris une violation impliquant un système d’armes létales autonome, engage la responsabilité internationale de l’État concerné. Le Groupe a par ailleurs proposé la prolongation de ses travaux en 2023.

13. L’Assemblée note qu’un groupe d’États européens a proposé au GEG une approche en deux volets:

13.1. Premièrement, les États parties à la CCAC devraient reconnaître que les SALA qui ne peuvent être utilisés conformément au droit international, y compris le droit international humanitaire, sont de facto interdits; et que par conséquent les SALA fonctionnant complètement en dehors du contrôle humain et d'une chaîne de commandement responsable sont illégaux.

13.2. Deuxièmement, il convient de se mettre d’accord sur une réglementation internationale d’autres systèmes d’armes présentant des éléments d’autonomie pour garantir le respect du droit international humanitaire:

13.2.1. en assurant un contrôle humain approprié pendant tout le cycle de vie du système considéré;

13.2.2. en préservant la responsabilité humaine et l'obligation de rendre des comptes à tout moment, en toutes circonstances et tout au long du cycle de vie, en tant que base de la responsabilité de l'État et de celle de l'individu, qui ne peuvent jamais être transférées à des machines;

13.2.3. en mettant en œuvre des mesures d'atténuation des risques adaptées et des garanties appropriées en matière de sûreté et de sécurité.

14. L’Assemblée soutient cette approche en deux volets et considère que l’émergence des SALA requiert une réglementation claire de cette technologie visant à assurer le respect du droit international humanitaire et des droits humains et que le forum approprié pour convenir de la future réglementation des SALA est la Conférence des États parties à la CCAC et son GEG.

15. Pour ce qui est de la forme juridique de cette réglementation, l’objectif à long terme devrait être un texte contraignant sous forme d’un protocole à la CCAC ou même une convention internationale spécifique.

16. En attendant l’émergence du large consensus nécessaire pour élaborer un tel instrument, il convient de préparer un instrument non contraignant sous forme d’un code de conduite. Cet instrument, susceptible d’être mis à jour régulièrement, pourrait codifier les principes directeurs déjà largement reconnus et mettre en valeur les bonnes pratiques adoptées par l’un ou l’autre État partie à la CCAC.

17. L’Assemblée appelle donc les États membres du Conseil de l’Europe, ainsi que les États observateurs et les États dont les parlements bénéficient du statut d’observateur ou de partenaire pour la démocratie auprès de l’Assemblée, à participer, de manière constructive, aux travaux en cours au sein de la CCAC et de son GEG visant à encadrer l’émergence des SALA et à soutenir l’approche en deux volets évoquée ci-dessus.

18. Si aucun consensus ne devait émerger dans un délai raisonnable pour l’élaboration d’un code de conduite, puis pour la préparation et la négociation d’un accord international au sens des paragraphes 14 et 15, ou que de telles démarches semblent dépourvues de chance de succès, l’Assemblée invite les États membres du Conseil de l’Europe, ainsi que les États observateurs et les États dont les parlements bénéficient du statut d’observateur ou de partenaire pour la démocratie auprès de l’Assemblée, à envisager d’initier de tels travaux au niveau du Conseil de l’Europe.

B. Exposé des motifs par M. Damien Cottier, rapporteur

(open)

1. Introduction

1. Le 4 juillet 2019, la proposition de résolution intitulée «L’Émergence des systèmes d’armes létales autonomes (SALA) et leur nécessaire appréhension par le droit européen des droits humains» (Doc. 14945) a été renvoyée, pour rapport, à la commission des questions juridiques et des droits de l'homme. La commission m’a nommé rapporteur le 23 juin 2022, suite à la démission de l’ancien rapporteur, Fabien Gouttefarde (France, ADLE).

2. La proposition de résolution vise à analyser les aspects juridiques et éthiques soulevés par la potentielle future utilisation de systèmes d’armes létales autonomes lors de conflits armés, plus spécialement leur compatibilité et conformité avec les droits humains, et particulièrement la Convention européenne de sauvegarde des droits de l’Homme (STE n° 5, «la Convention»). Les difficultés rencontrées dans l’élaboration d’une définition juridique seront soulignées.

3. Il convient de préciser que les SALA sont seuls l’objet étudié ici et qu’ils ne doivent pas être confondus avec les armes automatisées ou télécommandées comme les drones armés. Les drones armés (UCAV, Unmanned Combat Aerial Vehicle) sont des aéronefs sans pilote qui peuvent être dirigés automatiquement ou à distance et qui peuvent transporter des armes comme charge utile. Bien qu'ils soient sans pilote à bord, ils sont contrôlés à distance par un pilote ou peuvent suivre des itinéraires de vol préprogrammés de manière indépendante ou même suivre automatiquement une cible. Ce sont des systèmes automatisés ou télécommandés. La sélection de la cible ou la décision d’engager la force létale est toujours prise par une personne.

4. En revanche, selon certaines conceptions, les SALA peuvent être considérés comme des systèmes qui prennent de manière autonome, c’est-à-dire sans aucune intervention humaine, la décision sur la sélection de la cible ou la détermination de la trajectoire de vol, ou encore sur l’engagement de la force létale. Dans le cas des drones, cette technologie n'a pas encore été appliquée pour contrôler le missile ou faire fonctionner la charge utile. Quant aux SALA, il ne s'agit donc ni de systèmes télécommandés dans lesquels l'être humain garde le contrôle, ni de systèmes automatiques dans lesquels un certain processus a été programmé à l'avance de sorte que leur action est totalement prévisible.

5. Les puissances militaires de la communauté internationale ont des divergences de vue significatives quant à l’emploi des SALA. D’aucuns considèrent qu’au moins dans un premier temps, les SALA ne remplaceront pas entièrement les soldats humains, mais auront des tâches de substitution adaptées à leurs capacités spécifiques. Ils seront très probablement utilisés dans une forme de collaboration avec les humains pendant les conflits armés, même s'ils seront toujours autonomes en termes de fonctions propres. Par conséquent, le cadre juridique existant doit être analysé à la lumière de ce scénario, ainsi que du scénario dans lequel des SALA seraient déployés sans aucune participation humaine

6. 54 organisations non gouvernementales ont lancé une campagne pour obtenir l’interdiction préventive de la recherche et du développement de cette technologie émergente et donc, a fortiori de toute utilisation de SALA, qu’ils nomment «les robots tueurs»

. Cette position de principe a été adoptée par le Parlement européen dans sa résolution du 12 septembre 2018 sur les systèmes d’armes autonomes

. Depuis 2014, les États parties à la Convention sur certaines armes classiques (CCAC) de l'ONU tiennent des cycles de discussions réguliers sur les armes autonomes afin d’en élaborer une définition commune et une amorce de régulation. En 2017, des experts en intelligence artificielle ont publié une lettre ouverte invitant les gouvernements et les Nations Unies à «prévenir une course aux armes autonomes» et à «éviter les effets déstabilisateurs de ces technologies» qui menacent entre autres l'application du droit international humanitaire et des droits humains.

7. L'une des raisons de l'urgence de cette analyse est que les évaluations actuelles du rôle futur des SALA affecteront le niveau d'investissement des ressources financières, humaines et autres dans le développement de cette technologie au cours des prochaines années. Les évaluations actuelles – ou leur absence – risquent donc, dans une certaine mesure, de devenir des prophéties qui se réalisent d'elles-mêmes

. D’autre part, les risques de ruptures capacitaires pour les puissances militaires mondiales qui n’investiraient pas dans ce nouveau champ technologique et donc la logique de “course aux armements” que ce domaine implique, incite certains chercheurs à considérer que les SALA représentent la troisième révolution militaire dans l’histoire des relations internationales, après l’invention de la poudre à canon et celle de l’arme atomique.

8. Le présent rapport s’intéresse à l’utilisation de telles armes dans le cadre de conflits armés et donc principalement dans le cadre d’application du droit international humanitaire (DIH). Des questions éthiques et juridiques importantes se poseraient néanmoins également en cas d’utilisation de telles armes par des autorités civiles, en particulier les forces de police, hors d’un contexte de conflit, pour des opérations spéciales (par exemple antiterroristes). Cette question connexe, qui ne semble pas aujourd’hui d’actualité dans les États membres du Conseil de l’Europe, impliquerait une analyse détaillée des obligations découlant de la Convention européenne des droits humains et des autres normes européennes et internationales des droits humains. Elle devrait faire l’objet d’un rapport en soi.

2. Définition des SALA

9. Compte tenu des différents aspects de la technologie alliant robotique et intelligence artificielle, il reste difficile de trouver un consensus sur la définition des SALA. La plupart des parties aux discussions s'accordent à dire que les caractéristiques définissant les SALA sont leur pleine autonomie et leur létalité, bien que les détails de ces termes fassent l'objet de nombreux débats.

10. Dans son rapport, présenté à l'Assemblée Générale des Nations Unies en 2013, Christof Heyns évoque les LAR, c'est-à-dire «lethal autonomous robotics» [robotique létale autonome], reprenant la définition adoptée par le ministère de la Défense des États-Unis qui définit les SALA comme des systèmes d’armes qui, une fois activés, peuvent sélectionner la cible et déclencher la force létale sans autre intervention humaine

11. Le Comité international de la Croix-Rouge (CICR) adopte une approche similaire et définit les SALA comme tout système d’armes autonome dans ses fonctions critiques. Il s’agit d’un système d’armes capable de sélectionner (c’est-à-dire rechercher ou détecter, identifier, traquer, sélectionner) et attaquer (c’est-à-dire utiliser la force contre, neutraliser, endommager ou détruire) des cibles sans intervention humaine

12. Il se déduit de ces définitions que les systèmes d’armes autonomes sont capables de sélectionner et d’attaquer des cibles de manière individuelle et indépendante sans aucune intervention humaine. Ainsi, les décisions cruciales de ciblage militaire qui seraient autrement prises par les humains seront prises par une machine. Les décisions humaines sont limitées aux étapes préliminaires telles que la programmation et le déploiement initial; le contrôle humain pendant l’exécution des missions semble exclu, sauf pour une possibilité potentielle de commandement général telle que la désactivation

13. La définition de travail du CICR, qui couvre tout système d'armes capable de sélectionner et d'attaquer des cibles de manière indépendante, peut fournir une base utile pour l'analyse juridique en délimitant de façon large le champ de la discussion sur les systèmes d'armes autonomes sans qu'il soit nécessaire d'identifier immédiatement les systèmes qui posent des problèmes juridiques

2.1. Formes d’autonomie dans le contexte

14. L'autonomie des systèmes d'armes peut revêtir trois formes

. Le degré d’autonomie utilisé par ces systèmes d’armes, en l’état actuel de la maturité technologique, dépend de l’étendue de l’intervention de l’opératrice ou de l’opérateur humain·e dans leur déploiement et leur utilisation

a. «Human in the loop»: Ces systèmes d'armes peuvent sélectionner des cibles individuelles ou des groupes spécifiques de cibles et l’humain peut et doit décider d'engager la force , par exemple les munitions guidées où la technologie de l’arme aide l’opérateur à frapper la cible. La personne qui opère l'arme, cependant, sait quels objectifs spécifiques doivent être engagés, et conserve la décision consciente que ces objectifs doivent être détruits .

b. «Human on the loop»: Ces systèmes d'armes peuvent sélectionner les cibles et engager la force que l’humain peut suspendre . Au moins 30 nations utilisent des systèmes de défense à supervision humaine dotés d'une plus grande autonomie, où les humains sont «sur la boucle de décision» (“on the loop”) pour sélectionner et engager des cibles spécifiques . Jusqu'à présent, ces systèmes ont été utilisés dans des situations défensives où le temps de réaction nécessaire à l'engagement de la force est si court qu'il serait physiquement impossible pour l'être humain d’agir délibérément avant chaque décision d’engagement de la force tout en maintenant une défense efficace. Les opératrices ou les opérateurs humains supervisent et ont connaissance des critères de détermination des cibles spécifiques et l’engagement de la force répond à des règles préprogrammées. Dans ces cas les opératrices ou les opérateurs humains peuvent intervenir pour désactiver le système d'armes, mais ne prennent pas de décision active pour engager la force contre des cibles spécifiques .

c. «Human out of the loop»: Ces systèmes d'armes peuvent sélectionner et engager la force contre des cibles spécifiques sans qu’aucune intervention d’humains en charge des opérations ne soit possible .

15. L’autonomie est interdépendante de l’étendue de l’intervention de la personne humaine en charge des opérations dans le déploiement et l’utilisation du système d’arme qui peut être très variable selon la complexité de la technologie et l’environnement dans lequel l’arme est utilisée, allant du système téléguidé, à l’automatisation et à l’autonomisation

2.2. Les armes autonomes ou semi-autonomes

16. Les technologies de l’armement émergentes se rapprochant à court terme des armes autonomes, ne sont pas des robots humanoïdes sensibles ou malveillants mais plutôt des systèmes qui ressemblent à des munitions flottantes de recherche et de destruction («search and destroy») sur une vaste zone, comme ceux que l'on voit dans la vidéo «Slaughterbots»

. Ainsi, les définitions doivent permettre de distinguer clairement, d'une manière techniquement rigoureuse, les armes autonomes, des munitions à guidage de précision, appelées systèmes armés semi-autonomes (SASA), qui sont utilisées depuis plus de soixante-dix ans

. Contrairement aux systèmes autonomes qui sélectionnent et attaquent leurs cibles de manière autonome, les SASA sont des systèmes d'armes qui incorporent l'autonomie dans une ou plusieurs fonctions de sélection de la cible et, une fois activés, sont conçus pour engager uniquement des cibles individuelles ou des groupes spécifiques de cibles contre lesquels un humain a décidé d'engager la force. Classés au milieu des deux, les systèmes d'armes autonomes surveillés ont les caractéristiques des SALA, mais l’opératrice ou l’opérateur humain·e a la capacité de surveiller les performances du système d'armes et d'intervenir si nécessaire pour arrêter son fonctionnement

17. L'idée d'une décision humaine passe par chacune des définitions ci-dessus. La décision d'utiliser une arme autonome par opposition à une arme semi-autonome est une décision très différente. Même dans le cas d'un missile à autoguidage («tire et oublie»), qui permet au missile, une fois tiré, de se déplacer de façon totalement automatique sans intervention d’une opératrice ou d’un opérateur, la décision quant à la cible individuelle ou au groupe spécifique de cibles qui doit être attaqué est prise par un humain. A l’inverse, dans le cas d'une arme autonome, l'opératrice ou l’opérateur humain·e décide d’utiliser une arme pour détecter et détruire une catégorie générale de cibles sur une large zone, mais ne prend pas de décision quant aux cibles spécifiques à attaquer. Néanmoins, les définitions se concentrent sur le degré de contrôle exercé par la décision que l'opératrice ou l’opérateur humain·e prend ou ne prend pas

, à l’exclusion de toute application du mécanisme de «décision» à une action du système d’arme. Ceci pourrait soulever des difficultés importantes quant à la prise en considération de l’intégration de l'intelligence artificielle des systèmes et de ce qui pourrait être apparenté à un libre arbitre

2.3. Le contrôle humain

18. La définition du CICR ne vise pas à appréhender le degré d'autonomie des systèmes d'armes mais a pour objet de permettre de définir le degré de contrôle humain approprié afin que leur usage soit en mesure de garantir le respect des règles de droit international humanitaire

. Dans la discussion juridique, l’analyse de la proximité du lien entre la décision humaine et l’action de la machine est cruciale. La garantie du respect des règles de droit international humanitaire ne peut être assurée qu’en maintenant un contrôle humain dont l’intensité varie selon les positions adoptées par les États et autres acteurs de la communauté internationale

19. Les discussions entre les États parties à la CCAC de l'ONU révèlent que malgré l’existence de plusieurs niveaux de contrôle humain qui peuvent être envisagés: «contrôle significatif», «contrôle effectif» ou encore «jugement humain approprié»

, l’un d’entre eux doit être maintenu sur les systèmes d'armes létales

20. A cette occasion, l'ONG ARTICLE 36 a développé le concept de contrôle humain «significatif», arguant que d’autres termes comme une implication humaine ou un contrôle humain «important(e), approprié(e), propre ou nécessaire»

pouvaient tout aussi bien convenir à la qualification du concept dont l’importance réside sur l’établissement de critères plus précis, et qui a été largement discuté depuis lors

. Toutefois, quelle que soit la terminologie qui sera adoptée, les critères de définition du contrôle humain qui feront consensus ne sauraient exclure la licéité de certaines armes acceptées et utilisées de longue date comme celles permettant de réduire drastiquement les risques de victimes civiles, et ce afin d’éviter que les règles de droit international ne soient déconnectées de la réalité de la guerre. Par exemple, le Comité International pour le Contrôle des Armes Robotiques (CICAR) a adopté une définition du contrôle humain significatif dont le premier des trois critères requiert que l'opératrice ou l’opérateur humain·e «doit avoir pleinement conscience du contexte et de la situation de la zone cible et être capable de percevoir et de réagir à tout changement ou à toute situation imprévue qui pourrait survenir depuis la planification de l'attaque»

. Pourtant, les humains utilisent des armes sans avoir une parfaite connaissance de la situation en temps réel de la zone cible depuis au moins l'invention de la catapulte

. Un tel critère apparait donc irréaliste. À cet égard, il est préoccupant de constater que la définition des SALA retenue par le groupe d’experts constitué par la Commission européenne et figurant dans les «Lignes directrices en matière d’éthique pour une IA digne de confiance» inclut des types d’armes utilisés de longue date

21. Dans sa déclaration originelle de 2013, l’ONG ARTICLE 36 propose de définir le contrôle humain significatif par les trois critères suivants:

a. Information – une opératrice ou un opérateur humain·e, et les autres responsables de la planification de l'attaque, doivent disposer d'informations contextuelles adéquates sur la zone cible d'une attaque, d'informations sur les raisons pour lesquelles un objet spécifique a été suggéré comme cible d'une attaque, d'informations sur les objectifs de la mission, et d'informations sur les effets immédiats et à plus long terme de l’arme qui résulteront d’une attaque dans ce contexte.

b. Action – le lancement de l'attaque devrait nécessiter une action délibérée de la part d'une opératrice ou d’un opérateur humain·e.

c. Responsabilité – les personnes chargées d'évaluer les informations et d'exécuter l'attaque doivent être responsables des résultats de l'attaque .

22. Les déclarations du CICAR et d’ARTICLE 36 mettent l'accent sur la notion centrale de l'action informée d'un être humain. Bien que le critère de l’information puisse, dans ces conditions, apparaître irréaliste, l'action informée est au centre du concept de contrôle humain significatif. Cela soulève la question de savoir quelle quantité d'informations est nécessaire pour qu'une opératrice ou un opérateur humain·e puisse prendre une décision significative sur l'usage de la force.

23. L'approche d’ARTICLE 36, qui consiste à exiger des informations «adéquates», pourrait être la plus appropriée: une décision sur la légalité de l'action doit être fondée sur la possession d'informations suffisantes sur la cible, l'arme et le contexte de l'engagement. Cela ne signifie pas que chaque opératrice ou opérateur humain·e impliqué dans la chaîne de décision doit avoir une vue d'ensemble. Comme c'est le cas aujourd'hui pour des militaires qui interviennent dans un bâtiment ou pour le ou la pilote qui lâche une bombe sur une cible prédéfinie, les opératrices ou les opérateurs humains peuvent s'appuyer sur des décisions qui ont été prises par d'autres dans la chaîne de commandement. Toutefois, se fier à d'autres personnes ne signifie pas qu'il faille faire confiance aveuglément ou abdiquer son propre jugement moral. Un individu ne peut pas être tenu responsable de tous les aspects de la prise de décision concernant l'attaque d'une cible, mais toute personne peut être tenue responsable de ses propres actions liées à cette attaque

24. Selon l'étude réalisée en 2015 par le Center for a New American Security (CNAS), le contrôle humain est significatif lorsque les humains prennent des décisions informées et conscientes sur l'utilisation de l'arme (personne ne se contente d'appuyer sur un bouton parce qu'il voit une lumière clignoter) et lorsque les informations dont ils disposent pour prendre cette décision sont suffisantes pour être en mesure de s'assurer de la légalité de l'action qu'ils entreprennent, compte tenu de ce qu'ils savent sur la cible, l'arme et le contexte de l'action. Ceci est particulièrement important en termes de détermination des fautes aux fins d’établissement de la responsabilité. Les opératrices ou les opérateurs humains doivent avoir un contrôle efficace sur l'utilisation des armes. C'est le cas même si certaines d'entre elles sont des armes «tire et oublie» («fire and forget») qui ne peuvent pas être rappelées après le lancement. En effet, les opératrices ou les opérateurs humains formés ont une compréhension claire de la manière dont l'arme fonctionnera dans certains environnements ainsi que de ses limites, de sorte qu'ils peuvent l'utiliser de manière appropriée

25. Le contrôle humain peut être exercé au stade du développement, notamment par la conception technique et la programmation du système d'armes. Les décisions prises au cours de la phase de développement doivent garantir que le système d'arme peut être utilisé conformément au DIH et aux autres normes internationales applicables dans les circonstances d'utilisation prévues ou attendues. À ce stade, la prévisibilité et la fiabilité du système d'arme doivent être vérifiées par des essais dans des environnements réalistes. Les limites opérationnelles doivent être fixées de sorte que l'arme ne soit activée que dans des situations où ses effets seront prévisibles, et il faudra établir le besoin opérationnel et le mécanisme technique de supervision humaine, ainsi que la capacité de désactiver l'arme.

26. Le contrôle humain peut être exercé au point d'activation, ce qui implique la décision du commandant ou de la commandante ou de l'opératrice ou de l’opérateur d'utiliser un système d'arme particulier dans un but particulier, décision qui doit être fondée sur une connaissance et une compréhension suffisantes du fonctionnement de l'arme dans les circonstances données pour garantir qu'elle fonctionnera comme prévu et conformément au DIH. Cette connaissance doit comprendre une connaissance adéquate de la situation de l'environnement opérationnel, notamment en ce qui concerne les risques potentiels pour les civils et les biens civils. Elle dépendra également de divers paramètres opérationnels, dont la plupart seront fixés au stade du développement et certains seront réglés ou ajustés au stade de l'activation:

a. La tâche assignée au système d'armes,

b. Le type de cible que le système d'armes peut attaquer,

c. Le type de force et de munitions qu'elle emploie (et les effets associés),

d. L'environnement dans lequel le système d'armes doit fonctionner,

e. La mobilité du système d'armes dans l'espace,

f. Le calendrier de son fonctionnement,

g. Le niveau de supervision humaine et la capacité d'intervention après l'activation.

27. Afin de garantir le respect du DIH, il peut être considéré nécessaire de pouvoir exercer un contrôle humain supplémentaire pendant la phase d'opération, lorsque l'arme sélectionne et attaque des cibles de manière autonome. Dans les cas où les performances techniques de l'arme et les paramètres opérationnels fixés pendant les phases de développement et d'activation seraient insuffisants pour assurer le respect du DIH lors d'une attaque, il sera nécessaire de déterminer les conditions dans lesquelles la capacité de contrôle et de décision de l'homme pour intervenir pendant la phase opérationnelle doit être conservée.

3. Perspective juridique

28. Les systèmes d'armes autonomes, tels que définis, ne sont pas spécifiquement réglementés par les traités internationaux. Cependant, leur utilisation (contre qui, dans quel contexte et à quelles fins ils sont déployés) doit être conforme au droit international humanitaire et aux droits humains. La Cour internationale de Justice a clairement indiqué, dans son avis consultatif de 1996, que les principes et règles établis du droit humanitaire applicables dans les conflits armés s'appliquent à «toutes les formes de guerre et à toutes les sortes d'armes, celles du passé, celles du présent et celles du futur»

29. Au regard du caractère létal de ces systèmes d'armes, il convient d'examiner si et dans quelle mesure les SALA pourraient porter atteinte aux garanties prévues par la Convention européenne des droits de l'homme, et notamment le droit à la vie protégé par l’article 2.

30. Les SALA sont plus susceptibles d'être utilisés dans des situations de conflit armé que dans toutes autres situations, c'est pourquoi le droit international humanitaire leur serait applicable. Toutefois, l'analyse de la conformité des SALA et du critère du contrôle humain significatif aux droits humains est nécessaire puisque les droits humains s'appliquent en tout temps et en tout lieu, alors que l'application du droit humanitaire dépend de l'existence d'un conflit armé dans lequel le droit humanitaire a la primauté en tant que lex specialis. Les droits humains peuvent constituer le cadre juridique régissant de nombreuses situations, par exemple, lors d'opérations militaires dans des situations qui ne peuvent être classées comme un conflit armé, dans des situations d'occupation ou de conflit armé dans lesquelles le droit humanitaire et le droit relatifs aux droits humains se recoupent souvent en pratique

31. La Cour européenne des droits de l'Homme a même souligné que l'article 2 de la Convention doit être interprété dans la mesure du possible au vu des principes généraux du droit international, y compris les règles du droit international humanitaire qui jouent un rôle indispensable et universellement accepté dans la réduction de la sauvagerie et de l'inhumanité des conflits armés

. Par conséquent, même dans les situations de conflit armé international, les garanties prévues par la Convention continuent de s'appliquer, bien qu'elles soient interprétées dans le contexte des dispositions du droit humanitaire international

3.1. Perspective du droit européen des droits humains

32. La première exigence importante de l'article 2 est de réglementer clairement l'utilisation des systèmes d'armes autonomes. Le droit à la vie contient deux obligations de fond, dont l'une est l'obligation de protéger le droit à la vie par la loi. Cela signifie que l'État doit mettre en place un cadre juridique qui définit les circonstances limitées dans lesquelles l'usage de la force est autorisé. En ce qui concerne les armes en général, la Cour a souligné qu'il est de première importance que les réglementations nationales excluent l'utilisation d'armes qui entraînent des «conséquences injustifiées»

. Ces exigences peuvent être reliées au concept de contrôle humain analysé ci-dessus, qui vise à garantir que les humains puissent porter des jugements fondés sur le contexte et que la technologie fonctionne de manière fiable et prévisible. Une réglementation nationale sera très probablement requise pour garantir que l'utilisation de systèmes d'armes autonomes sera conforme aux exigences, par exemple, des garanties contre les «effets injustifiés» et des garanties contre les «accidents évitables».

Même si la jurisprudence existante concerne d'autres types d'armes, telles que les armes à feu, il semblerait raisonnable que la Cour n'impose pas de normes moins strictes aux systèmes d'armes autonomes

33. Le texte de l'article 2, lu dans son ensemble, montre que le paragraphe 2 ne définit pas principalement les cas où il est permis de tuer un individu, mais décrit les situations où il est permis de «recourir à la force», ce qui peut entraîner, comme résultat involontaire, la privation de la vie. Le recours à la force doit cependant être «absolument nécessaire»

pour la sauvegarde de la vie d'autrui ou la protection d'autrui contre la violence illégale, ce qui constitue un seuil d'action pour l'État plus élevé que celui qui s'applique à la plupart des autres droits protégés par la Convention, à savoir celui d'être «nécessaire dans une société démocratique»

34. La Cour européenne des droits de l’homme a souligné qu'elle est bien consciente des difficultés rencontrées par les États modernes dans la lutte contre le terrorisme et des dangers de l'analyse rétrospective. Par conséquent, le critère de nécessité absolue formulé à l'article 2 doit être appliqué avec différents degrés de rigueur, selon que les autorités maîtrisaient ou non la situation et dans quelle mesure, et selon d'autres contraintes pertinentes inhérentes à la prise de décision opérationnelle dans ce domaine sensible

35. La Cour fait la distinction entre les «opérations de police de routine» et les situations d'opérations antiterroristes à grande échelle. Dans ce dernier cas, souvent dans des situations de crise aiguë nécessitant des réponses «sur mesure», les États devraient pouvoir s'appuyer sur des solutions adaptées aux circonstances. Cela dit, dans une opération de sécurité licite qui vise en premier lieu à protéger la vie des personnes qui se trouvent en danger de violence illicite de la part de tiers, le recours à la force meurtrière reste régi par les règles strictes de «nécessité absolue» au sens de l'article 2 de la Convention. Il est primordial que les réglementations nationales soient guidées par le même principe et contiennent des indications claires à cet égard, notamment les obligations de réduire le risque de dommages inutiles et d'exclure l'utilisation d'armes et de munitions qui entraînent des conséquences injustifiées

36. L'affaire Streletz, Kessler et Krenz c. Allemagne concernant le régime de police des frontières de l'Allemagne de l'Est entraînant la mise à mort de personnes de l’Allemagne de l'Est qui tentaient de s'échapper vers l'Allemagne de l'Ouest illustre la nécessité de procéder à des évaluations de la nécessité à la lumière de l'utilisation automatisée de la force

. Les armes utilisées dans cette affaire, mines antipersonnel et systèmes de tir automatique, n'étaient pas autonomes au sens des SALA, mais en raison de leur effet automatique et indiscriminé et du caractère catégorique des ordres donnés aux gardes-frontières de «détruire» les contrevenants et de protéger la frontière à tout prix, la Cour a considéré que le système de tir automatique violait de manière flagrante les droits fondamentaux de la Convention et violait le droit à la vie

. Ce cas ne concerne pas l'autonomie de la technologie de l'arme elle-même, mais l'organisation de l'opération en tant que telle et l'absence d'une évaluation de la nécessité d'automatiser la mise à mort. Cela doit être particulièrement pris en compte en ce qui concerne les SALA utilisés à des fins de défense. Ce cas illustre le fait qu'il doit y avoir un contrôle sur l'utilisation individuelle du système dans le sens d'une évaluation de la nécessité et de son respect, car sinon l'utilisation de la force létale sera probablement considérée comme ayant des effets automatisés et indiscriminés qui violeraient de manière flagrante le droit à la vie

37. Dans l'affaire de Gibraltar concernant des tirs de soldats britanniques sur des terroristes présumés de l'IRA, ce ne sont pas les actions des soldats en elles-mêmes qui ont donné lieu à la caractérisation d’une violation du droit à la vie, mais le contrôle et l'organisation de l'opération dans son ensemble

. Cette affaire montre que la phase de planification d'une opération est liée à la question de savoir si le recours à la force est absolument nécessaire. Par conséquent, la condition du contrôle humain significatif pour la conformité des SALA au droit européen des droits humains devra intégrer le critère de la nécessité du recours à la force dans la planification de l’opération

. L'obligation de planifier et d'exercer un «contrôle strict» sur les opérations susceptibles d'impliquer l'usage de la force meurtrière imposerait probablement des exigences encore plus strictes au stade de la planification avant le lancement d'un système d'armes autonome pouvant déclencher lui-même l'usage de la force, que lors de l'engagement d'agents de l'État

38. Cet aspect sera peut-être encore plus important dans le contexte des SALA que dans des cas comme celui de McCann (affaire de Gibraltar) concernant les tirs d'agents humains

. La raison pour laquelle les actions des soldats n'ont pas conduit en soi à une violation ici est la «foi honnête des soldats, qui était considérée comme valable pour de bonnes raisons à l'époque, mais qui s'est révélée fausse par la suite»

. La justification d'une infraction basée sur une croyance honnête erronée ne sera probablement pas acceptée lorsqu'un SALA tue quelqu'un par erreur. Le concept de «croyance honnête» serait difficile à appliquer à une machine, à moins que la Cour ne se demande si l'opératrice ou l’opérateur humain·e ou l'organisation militaire croyait honnêtement que l'usage de la force serait nécessaire. Un tel argument ne serait très probablement pas accepté puisque cette croyance doit être subjectivement raisonnable au regard des circonstances du moment

. Cette exigence ne sera pas satisfaite dans le cas de systèmes d'armes autonomes: le délai entre la décision humaine de lancer le système d'armes et l'éventuel recours à la force déclenché par le système est insuffisant, sauf s'il existe des possibilités de supervision et d'intervention humaine offrant une compréhension suffisante de l'environnement pour qu'une opératrice ou un opérateur humain·e puisse acquérir une croyance honnête et sincère valable au moment considéré

39. Au-delà de la notion de nécessité, une autre évaluation requise est celle de la proportionnalité, par exemple entre la valeur de la vie et l'avantage militaire. Il incombe aux humains qui utilisent les armes de procéder à cette évaluation, qui constitue un autre critère nécessaire d'un contrôle humain significatif des SALA. La Cour a souligné que les États qui jouent un rôle de pionnier dans le développement de nouvelles technologies ont la responsabilité particulière de trouver le juste équilibre dans l'évaluation de la proportionnalité

3.2. Conformité avec le droit international humanitaire

40. Selon l'article 36 du Protocole additionnel aux Conventions de Genève du 12 août 1949 relatif à la protection des victimes des conflits armés internationaux (Protocole I), les États qui développent, fournissent et utilisent de nouvelles armes doivent veiller à leur conformité avec les règles du DIH. Ce sont donc les humains qui sont responsables de l'application du droit et qui peuvent être tenus responsables des violations, et non l'arme elle-même. Ces exigences juridiques, notamment le principe de différenciation, l'interdiction d’attaques indiscriminées, le principe de proportionnalité et les précautions à prendre en cas d’attaque, doivent être remplies par les personnes qui planifient, décident et exécutent les attaques

3.2.1. Principe de différenciation

41. Les articles 48 et 51 paragraphe 4 du Protocole I interdisent les attaques sans discrimination, c'est-à-dire les attaques dans lesquelles aucune distinction n'est faite entre les cibles civiles et militaires. Selon ce principe de différenciation, le système doit pouvoir distinguer entre les combattants actifs et les personnes protégées et entre les biens militaires et civils, car les attaques ne doivent jamais être dirigées contre des personnes et des biens protégés. Cette interdiction comprend l'interdiction des attaques menées avec des moyens de combat intrinsèquement non-discriminants, dont les effets ne peuvent être limités et qui affectent donc sans distinction des objectifs légitimes et des personnes civiles (article 51 paragraphe 4 c) du Protocole I). Cela inclut, par exemple, les armes biologiques qui, par leur nature, ne peuvent pas faire la distinction entre civils et combattants. Toutefois, dans son avis consultatif sur la licéité de la menace ou de l’emploi d’armes nucléaires, la Cour Internationale de Justice n'a pas exclu la possibilité que même les armes nucléaires puissent être utilisées de telle sorte qu'elles ne violent pas le principe de différenciation, par exemple en étant appliquées à une cible militaire dans un vaste désert, de sorte que leurs effets soient limités à la seule cible militaire et n'affectent ni les civils ni les biens de caractère civil

42. Une catégorie particulière de personnes protégées est celle des combattants blessés (hors de combat) et ceux souhaitant se rendre. Tout SALA doit donc être en mesure de protéger ces personnes

. Dans ce contexte, notamment, il convient aussi de rappeler la «Clause de Martens», qui fait partie du droit international coutumier et selon laquelle les «lois de l’humanité et les exigences de la conscience publique» doivent être respectées même en l’absence d’une interdiction explicite

43. A supposer que les SALA soient spécifiquement conçus pour un ciblage et une précision d’action, ils seraient donc, par conception, capables de respecter le principe de discrimination. Ainsi, bien qu’une violation du principe de différenciation puisse survenir par l'utilisation réelle de SALA dans une situation concrète, l’illicéité de toute la catégorie d'armes ne semble pas pouvoir être a priori affirmée.

3.2.2. Principe de proportionnalité

44. En outre, il faut assurer le respect du principe du droit de la guerre selon lequel toute action militaire doit être nécessaire et proportionnelle aux dommages. (voir notamment les articles 50 de la Convention Genève I et 51 paragraphe 5b de son Protocole I).

45. Le défi réside dans les indicateurs techniques sur la base desquels les SALA fonctionnent et agissent, et notamment des profils cibles préprogrammés. Les SALA obtiennent des informations sur leur environnement grâce à des capteurs et à l'analyse informatique puis appliquent les données recueillies aux profils. De nombreux avis d’experts s'accordent sur le fait que ces procédures ne constituent pas en elles-mêmes une évaluation de la proportionnalité et ne peuvent pas remplacer les décisions d’individus exigées en vertu du principe de proportionnalité

46. La détermination qualitative et évaluative de la question de savoir si une attaque est conforme au principe de distinction ou de proportionnalité se fonde sur des valeurs et des interprétations de la situation plutôt que sur des chiffres et des indicateurs techniques. Par exemple, il est difficile de quantifier les pertes civiles ou la nécessité militaire et de résoudre des situations très variées dans des termes numériques à la base du fonctionnement des SALA. Ces jugements requièrent le jugement humain qui est unique. Ce jugement, qui reflète des considérations éthiques, fait ou doit faire partie de la formation militaire

47. Cependant, un être humain peut certainement consulter un système. L'évaluation des algorithmes peut être communiquée à l'humain qui prendrait le contrôle dans la mesure où il déciderait effectivement si le système va attaquer ou non. Dans un tel scénario, le jugement de la proportionnalité d'une attaque au regard du DIH resterait dans le cadre du processus de décision humain. De tels mécanismes se référant à une décision humaine doivent donc être mis en place pour respecter le principe de proportionnalité. En ce sens non seulement les États qui utilisent de tels systèmes mais aussi ceux qui les fabriquent et les fournissent ont une responsabilité au sens du Protocole I (voir paragraphe 39 ci-dessus)

3.2.3. Principe de précaution

48. Non seulement dans le contexte des principes de différenciation et de proportionnalité, mais aussi en ce qui concerne l'obligation de prendre des précautions en cas d'attaque, les SALA doivent être prévisibles dans une certaine mesure. Les utilisatrices et les utilisateurs doivent pouvoir ajuster ou annuler les effets des systèmes d'armes si nécessaire, ce qui n'est possible que s'ils peuvent raisonnablement prévoir la réaction d'un tel système.

49. Tous les types de SALA, même les systèmes dits déterministes, posent des problèmes de prévisibilité, car les conséquences de chaque résultat dépendront souvent des circonstances de l'environnement au moment de l'attaque. Un SALA se déploie à un moment et dans un lieu précis, inconnus de l'utilisatrice ou l’utilisateur au moment de l'activation. L'environnement peut varier dans le temps; et le statut et l'environnement peuvent changer rapidement ou fréquemment, par exemple lorsque des civils se sont installés dans le voisinage immédiat

3.3. Responsabilité juridique et morale

50. L’émergence et a fortiori l’emploi de SALA lors de conflits appellent des questions de droit nouvelles qui ne sont pas directement et expressément régies par les règles existantes du droit des conflits armés et mettent en exergue de potentielles lacunes en termes de responsabilité. À supposer que les futurs SALA soient conformes au droit de la guerre dans leur fonctionnement normal, un mauvais fonctionnement de la machine pourrait provoquer une attaque erronée et donc soulever des difficultés d’imputabilité de la responsabilité. En cas de dysfonctionnement du SALA, il pourrait s’avérer difficile, voire impossible, de déterminer la responsabilité d’une opératrice ou d’un opérateur humain·e. L’imputabilité de la responsabilité en cas de défaillance du SALA doit pouvoir être établie en analysant le respect de la condition d’un contrôle suffisant selon les critères décrits ci-dessus

. La question de la responsabilité du fabriquant se posera également dans un tel cas, celui-ci devra dès lors pouvoir démontrer qu’il a pris des précautions suffisantes pour assurer, à son niveau, le respect du DIH.

51. Toute action visant l’établissement de la responsabilité d’un SALA serait vaine, la machine n’étant pas conçue ni capable, par nature, et en dépit d’un degré élevé d’autonomie, de comprendre les conséquences de ses actions du point de vue de la responsabilité pénale conçue pour des humains. Par conséquent, les actions illicites commises par un SALA dont résulteraient des violations du DIH devraient pouvoir être rattachées alternativement à l’individu ou aux groupes d’individus à l’origine de sa conception ou programmation ou encore de son déploiement et in fine à l’État de nationalité des forces armées qui en est titulaire

. Ainsi, en vertu du droit de la responsabilité internationale des États, un État pourrait être tenu responsable des violations du DIH résultant de l'utilisation d'un système d'arme létale autonome. En effet, en application du droit international général régissant la responsabilité des États, ceux-ci seraient tenus responsables de faits internationalement illicites, tels que les violations du DIH commises par leurs forces armées en utilisant un système d'armes autonome. La question majeure est celle de la capacité de l’ordre juridique international à étendre son domaine matériel sans nécessité d’adopter de nouvelles garanties formelles d’application

52. Certains pensent qu’en l’état actuel du droit international, la responsabilité des personnes en charge des décisions politiques et militaires, de la partie opérationnelle, de la conception industrielle ou de la programmation pourrait toujours être engagée en cas de violation du DIH commise par un système d'arme autonome

. Un État serait donc également responsable s'il devait utiliser un système d'arme létale autonome qui n'a pas été suffisamment bien conçu, testé ou examiné avant son déploiement

53. Contrairement aux humains, les machines n'ont pas de sentiments et ne sont pas des agents moraux. Même si une personne commettait un crime de guerre avec une arme autonome, ce serait l'humain qui commettrait le crime, en utilisant l'arme autonome comme outil pour commettre le crime. Cependant, pour que cela reste vrai, les humains doivent non seulement être juridiquement responsables, mais aussi moralement responsables des actions des systèmes d’armes autonomes. En outre, certaines décisions relatives à l'utilisation d'armes nécessitent des jugements juridiques et moraux, comme par exemple la mise en balance des pertes civiles probables et des avantages militaires liés à la conduite d'attaques. Certains ont fait valoir que, indépendamment de la question de savoir si les machines pouvaient remplir ces fonctions de manière juridiquement conforme, les humains devraient les endosser puisqu'il s'agit également de jugements moraux. À cet égard, les êtres humains devraient garder un contrôle significatif en conservant une responsabilité morale pour l'utilisation des armes, y compris celles qui pourraient comporter un degré élevé d'autonomie.

A défaut, le choix des responsables politiques ou militaires qui accepteraient d’acquérir une telle arme ou de l’engager dans un contexte particulier, en connaissance des systèmes de décision de la machine et des risques de violation qui en découlent, devrait engager leur responsabilité; et l’obligation de tester et vérifier l’arme et de déterminer dans quels contextes elle peut être utilisée prend une importance particulière au sens de l’article 26 du Protocole I

54. Néanmoins, d’aucuns soulignent que s’il est parfaitement envisageable de considérer responsable une autorité militaire pour un acte illicite commis par un système d'armes létales autonome, au même titre qu’elle peut l’être pour le même type d’acte commis par un soldat ayant agi sous ses ordres

, la caractérisation de l’élément intentionnel indispensable à l’imputabilité de la responsabilité risque fortement de faire défaut. En effet, pour qu’une autorité militaire puisse être responsable il faut qu’elle ait eu connaissance des faits illicites projetés sans intervenir pour l’empêcher ou qu’elle n’ait pas sanctionné son subordonné qui a commis l’acte. Or, il est raisonnablement permis de douter de la capacité des responsables militaires d’être «en mesure d’avoir une compréhension suffisante de la programmation complexe»

du système d'armes létales autonome auteur de l’acte illicite

55. En revanche, des responsables de la programmation qui programment intentionnellement une arme autonome pour qu'elle fonctionne en violation du DIH ou sans qu’elle n’en tienne suffisamment compte ou une commandante ou un commandant qui active une arme incapable de fonctionner conformément aux prescriptions du DIH dans un certain environnement seraient certainement pénalement responsables d'une violation qui en résulterait. De même, la personne en charge du commandement qui décide sciemment d'activer un système d'arme autonome dont elle ne peut raisonnablement prévoir les performances et les effets dans une situation donnée peut être tenue pénalement responsable de toute violation du DIH qui en résulte, dans la mesure où sa décision de déployer l'arme sera jugée téméraire dans les circonstances.

56. Par ailleurs, en vertu des législations nationales sur la responsabilité du fait des produits, les responsables de la fabrication et de la programmation pourraient également être tenus responsables d'erreurs de programmation ou du dysfonctionnement d'un système d'armes autonome ou de l’absence de mesures de précautions suffisantes dans le système. Il convient, toutefois, de souligner à cet égard que la responsabilité mise alors en jeu aura un caractère civil et interne et non un caractère répressif et international à l’instar de ce que prévoit le droit international humanitaire ou encore le droit international des droits humains. Au demeurant, il semble utile de rappeler que le droit international ne permet d’engager la responsabilité internationale des sociétés qu’à la marge et que par conséquent les industriels, concepteurs et constructeurs de SALA ne sont formellement soumis à aucune obligation de se conformer au DIH

. Il est dès lors de la responsabilité de l’État qui acquiert et engage le système d'armes létales autonome de veiller à ce que sa conception et sa programmation répondent à des critères stricts et à tester et examiner la fiabilité de ceux-ci. A défaut, un problème de conception ou de programmation, volontaire ou involontaire, permettrait de contourner des normes importantes du DIH, par exemple la question de la différenciation ou de la proportionnalité, sans qu’il soit possible d’en tenir quiconque pour responsable au regard du DIH.

4. Audition du 5 novembre 2021

57. Lors de la réunion du 5 novembre 2021, une audition a été tenue avec quatre éminents experts:

Raja Chatila, Professeur émérite, ancien directeur de l’Institut des systèmes intelligents et de robotique, Sorbonne Université, Paris, France;

Noel Sharkey, président de l’ONG «The international committee for Robot arms control», informaticien spécialisé en robotique, Université de Sheffield, Royaume-Uni;

Jean-Gabriel Ganascia, président du Comité d’éthique du Centre national de la recherche scientifique (Comets), Paris, France;

Jean-Baptiste Jeangene Vilmer, directeur de l’Institut de recherche stratégique de l’École militaire (IRSEM), Paris, France.

58. M. Jeangène Vilmer s’est penché sur les dimensions éthique et diplomatique des SALA. Il a fait référence aux discussions consacrées à ce sujet, depuis le premier examen par le Conseil des droits de l’homme de l’ONU en 2013 jusqu’au groupe d’experts gouvernementaux (GEG) à partir de 2016. Ce groupe représente près de 90 États, le CICR et des ONG. Il devait rendre son rapport final en décembre 2021. M. Jeangène Vilmer a souligné que la plupart des ONG et certains États membres plaidaient pour une interdiction absolue de l’emploi de ce type d’armes. D’autres États étaient d’un avis différent: certains étaient «obstructionnistes» (Russie), d’autres plus constructifs (États-Unis, Royaume-Uni, France, Israël, etc.). Quoi qu’il en soit, aucun consensus n’avait encore été trouvé et deux questions essentielles restaient en suspens devant le GEG: comment définir les SALA et quelles peuvent être les raisons éthiques autorisant l’utilisation de ces armes. M. Jeangène Vilmer a ensuite présenté les arguments pour et contre l’emploi des SALA, sous l’angle de perspectives déontologiques et utilitaristes. En l’état actuel du droit, certaines règles s’appliquent déjà à l’utilisation de ces armes. Premièrement, les SALA ne pourraient être utilisés ni contre des objectifs non militaires ni contre certains objectifs militaires dans des contextes particuliers. Deuxièmement, ils devraient être programmés pour s’abstenir d’effectuer une frappe en cas de doute, et de manière générale être utilisés uniquement de façon subsidiaire, en s’inscrivant dans un processus de prise de décision humaine. Pour conclure, l’expert a contesté vivement le fait de décrire ces armes comme pleinement «autonomes»: le «facteur humain» étant en effet toujours nécessaire. Compte tenu de la réticence d’États importants à se mettre d’accord sur l’interdiction des SALA, il s’est dit favorable à l’élaboration d’un ensemble de principes directeurs ou d’un «code de conduite»

59. M. Chatila a évoqué les difficultés à définir ce type d’armes. Le terme «autonome» ne devait pas être entendu de manière absolue, mais plutôt au regard de l’intelligence computationnelle. M. Chatila a souligné que l’autonomie de la machine devait être considérée par rapport aux tâches et aux environnements dans lesquels fonctionne tout système informatique intelligent. C’est pourquoi le terme «autonome» désigne à la fois l’autonomie opérationnelle et l’autonomie décisionnelle. M. Chatila a ensuite décrit les caractéristiques de ces formes d’autonomie et énuméré certains enjeux liés à l’emploi des SALA. Il s’agit notamment de l’absence de processus décisionnel contextuel, l’impossibilité de prédire l’évolution de la situation en cours sur le champ de bataille et l’incapacité des SALA à s’adapter à des circonstances imprévues. À ces éléments s’ajoutent encore la confiance excessive placée par l’humain dans les données fournies par les technologies de l’information («biais de l’automatisation»), les différents niveaux de valeurs morales individuelles et la question générale de la possibilité de déléguer la responsabilité pour les «actes» commis par les machines. Enfin, les SALA semblent devenir plus facilement accessibles, y compris, éventuellement, pour les acteurs non étatiques, ce qui rendrait leur contrôle encore plus difficile

60. M. Ganascia a parlé de l’utilisation des SALA sous les angles sociologique et éthique. Il a évoqué les aspects d’imprévisibilité, de létalité, d’autonomie et d’automaticité de ces armes et a expliqué que l’intelligence artificielle n’était pas un outil fiable en période de conflit armé, car elle ne pouvait prendre des décisions basées sur des considérations morales. Il a comparé les SALA à d’autres types d’armes de guerre interdites, comme les armes chimiques ou d’autres armes de destruction massive qui sont incapables de faire la distinction entre combattants et civils. Il a analysé les SALA sous différents angles et conclu que davantage d’arguments avaient été avancés contre leur développement que pour leur développement. Il a fait référence aux initiatives dans certains pays, essentiellement en Europe, visant à imposer un moratoire sur le développement des SALA. Or, à ses yeux, certains grands États ne se sentiront jamais liés par un moratoire international et continueront à développer ces armes. Cela représente une menace pour les valeurs portées par le Conseil de l'Europe à laquelle celui-ci devrait s’opposer

61. M. Sharkey a expliqué sa compréhension plutôt technique du problème posé par l’utilisation des SALA. Il a tout d’abord renvoyé à la signification de «système autonome», qui devrait être entendu comme désignant une machine, un robot ou un système d’information capable d’agir sans intervention humaine. Cette notion soulève de nombreuses questions juridiques et éthiques. M. Sharkey a rappelé que les États étaient toujours incapables de parvenir à un consensus sur certaines de ces questions. Certains États sont favorables à l’interdiction absolue de ces armes, tandis que d’autres préfèrent une réglementation par des instruments juridiques non contraignants ou refusent la moindre restriction. Aucune des armes «autonomes» aujourd’hui disponibles ou qui le seraient dans un proche avenir ne pourrait garantir totalement le respect des lois de la guerre, et en particulier des principes de proportionnalité, de distinction et de précaution. Seul un esprit humain peut évaluer ces questions, qui ne peuvent être transposées dans un algorithme mathématique. M. Sharkey a attiré l’attention sur le phénomène du «biais algorithmique», que l’on retrouve dans d’autres domaines ayant recours à l’intelligence artificielle, comme le maintien de l’ordre, la santé et la protection sociale. Les SALA pourraient également déstabiliser la sécurité mondiale, en déclenchant une nouvelle course aux armements, notamment le développement de l’intelligence artificielle à des fins militaires, qui échapperait à tout contrôle humain. M. Sharkey s’est dit d’accord avec les autres experts pour dire que les décisions éthiques de vie ou de mort ne devraient pas être déléguées aux SALA. Il a ajouté, dans ce contexte, que la dimension de respect des droits humains n’avait jamais été convenablement examinée par le groupe de négociation de l’ONU. Les SALA offrent de nombreuses possibilités aux régimes oppressifs pour violer les droits humains en toute impunité. La prolifération d’armes autonomes empêcherait les personnes humaines de les contrôler. Ces armes fonctionneraient à une telle vitesse que l’esprit humain ne pourrait pas suivre. En outre, il existe toujours un risque que plusieurs algorithmes autonomes interagissent et excluent les humains de l’équation, avec des conséquences désastreuses.

62. En réponse aux questions et commentaires des membres de la commission, M. Jeangène Vilmer a confirmé le risque de «privatisation» de ces armes au regard du pouvoir financier et économique croissant des entreprises privées. Un autre risque est celui d’une utilisation des SALA par des terroristes. Il a répété que le contexte était essentiel pour prendre une décision en vertu du droit humanitaire et du droit relatif aux droits humains, ce que les machines restent incapables de faire. Il est impossible d’apporter une réponse définitive à la question de savoir si les SALA devraient être interdits, sinon réglementés. Ces armes présentent des avantages et des inconvénients. La tendance va toutefois dans le sens de l’élaboration d’un code de conduite régissant leur utilisation, plutôt que d’une interdiction pure et simple. M. Chatila a confirmé que le risque de diffusion de ces armes persistait, du fait de leur énorme avantage militaire. Par conséquent, une interdiction n’avait jamais été envisagée par la plupart des États, qui s’étaient toutefois mis d’accord pour ébaucher des règles limitant leur emploi dans le temps et dans l’espace. M. Ganascia a lui aussi reconnu l’existence d’un risque de privatisation, surtout si ces armes étaient interdites. Une simple interdiction serait déclarative et n’empêcherait pas les entreprises privées de les développer en secret. Il a souligné que la question la plus importante dans ce contexte était celle de savoir établir la responsabilité pour l’utilisation de ces armes. Plus ces armes seraient autonomes, plus la responsabilité des humains serait floue. Une véritable réglementation du développement de ces armes serait plus efficace que l’instauration d’une interdiction absolue. Si les humains avaient la volonté et la capacité d’en garder le contrôle, ces armes ne seraient plus considérées comme pleinement «autonomes». M. Sharkey a ajouté que la question la plus importante est la responsabilité pour l’utilisation des SALA. Cette question reste toujours sans réponse.

5. État actuel des discussions au sein du Groupe d’experts gouvernementaux spécialisé (GEG)

63. Dans le cadre de la 6ème Conférence des États parties à la CCAC des 13-17 décembre 2021, les États se sont mis d’accord sur le fait que le travail du GEG relatif aux technologies émergentes dans le domaine des SALA continue en 2022.

64. Dans le document final de la 6ème Conférence

, les États parties à la CCAC ont réaffirmé que le droit international humanitaire s’applique aussi aux SALA, que de tels systèmes d’armes ne doivent pas être utilisés s’ils sont de nature à causer des blessures superflues ou des souffrances inutiles, ou s'ils sont intrinsèquement aveugles, ou incapables d'être utilisés conformément au DIH. La Conférence a en outre estimé que la CCAC offrait un cadre approprié pour traiter des problèmes liés à cette technologie émergente.

65. L’ONG Stop Killer Robots.org rejette le résultat de cette conférence et estime «qu'une minorité d'États, dont les États-Unis et la Russie, qui investissent déjà massivement dans le développement d'armes autonomes, sont déterminés à utiliser la règle du consensus de la CCAC pour prendre en otage la majorité des États et bloquer les progrès vers la réponse juridique internationale qui est nécessaire de toute urgence. Les résultats de la Conférence d’évaluation sont très insuffisants et ne reflètent pas la volonté de la grande majorité des États, de la société civile ou de l'opinion publique internationale

66. La 6ème Conférence des États parties à la CCAC a donné mandat au GEG de se réunir 10 jours en 2022

pour examiner des propositions et élaborer des mesures éventuelles et d’autres options relatives au cadre normatif et opérationnel des technologies émergentes dans le domaine des SALA, en se basant sur les recommandations et conclusions antérieures du groupe (notamment les «11 principes directeurs sur les SALA» adoptés en 2019

) et en faisant valoir l’expertise concernant les aspects juridiques, militaires et technologiques, tout en gardant le principe de la décision par consensus

. Après deux réunions en mars et juillet 2022, le Groupe a adopté un rapport

contenant des recommandations, notamment celle de continuer les travaux du Groupe en 2023. Dans ses conclusions, le Groupe note qu’il a discuté de plusieurs options concernant un futur cadre juridique pour les SALA: l’élaboration d’un instrument contraignant dans le cadre de la CCAC ou d’un instrument non contraignant; la clarification des obligations existantes des États en droit international, notamment humanitaire; une option qui prohibe et régule les SALA sur la base du droit humanitaire international; et enfin une option selon laquelle aucune régulation juridique n’est nécessaire. Le Groupe est cependant convenu que le droit des parties d’un conflit armé de choisir les méthodes et les moyens de faire la guerre n’est pas sans limite et que le droit international humanitaire s’applique aussi aux SALA. Toute violation du droit international, y compris celles impliquant des SALA, donne lieu à la responsabilité internationale de l’État concerné. Les «recommandations» du Groupe se limitent pourtant à proposer la prolongation des travaux du GEG en 2023, selon les mêmes méthodes de travail (notamment l’exigence de consensus) et avec le même mandat que celui qui ayant régi ses réunions en 2022.

67. Un document de travail soumis au GEG par un groupe de pays européens propose une approche en deux volets pour essayer de débloquer la discussion

. Le document précise que les États parties à la CCAC devraient reconnaître que les SALA qui ne peuvent être utilisés conformément au droit international, y compris le DIH, sont de facto interdits; et reconnaître par conséquent que les SALA fonctionnant complètement en dehors du contrôle humain et d'une chaîne de commandement responsable sont illégaux. Le deuxième volet consiste à proposer une réglementation internationale d’autres systèmes d’armes présentant des éléments d’autonomie pour garantir le respect du DIH.

68. Pour rendre ces propositions opérationnelles, les auteurs du document invitent les États parties:

(1) à s'engager à ne pas développer, produire, acquérir, déployer ou utiliser des systèmes d'armes létales entièrement autonomes fonctionnant en dehors de tout contrôle humain et de toute chaîne de commandement responsable (voir principes directeurs b, c et d);

(2) à s'engager à ne développer, produire, acquérir, modifier, déployer ou utiliser des SALA que si deux conditions sont remplies: premièrement, que le respect du droit international est assuré lors de l'étude, l'acquisition, l'adoption ou la modification et l'utilisation de systèmes d'armes létales dotés d'une autonomie, et deuxièmement, qu’un contrôle humain approprié est maintenu pendant tout le cycle de vie du système considéré en s'assurant que des humains seront en mesure, entre autres:

d’avoir, à tout moment, une assurance suffisante que les systèmes d'armes, une fois activés, agissent de manière prévisible afin de déterminer que leurs actions sont entièrement conformes au droit national et international applicable, aux règles d'engagement et aux intentions de leurs commandants et opérateurs. À cette fin, les concepteurs, les commandants et les opérateurs – selon leur rôle et leur niveau de responsabilité – doivent avoir une compréhension suffisante du mode de fonctionnement des systèmes d'armes, de leurs effets et de leur interaction probable avec leur environnement. Cela permettrait aux commandants et aux opérateurs de prévoir (orientation prospective) et d'expliquer (rétrospective) le comportement des systèmes d'armes;

pendant la phase de développement: d’évaluer la fiabilité et la prévisibilité du système, en appliquant des procédures de test et de certification appropriées, et d’évaluer juridiquement la conformité au DIH;

pendant le déploiement: de définir et valider les règles d'utilisation et d'engagement ainsi qu'un cadre précis pour la mission assignée au système (objectif, type de cibles, etc.), notamment en fixant des limites spatiales et temporelles qui peuvent varier en fonction de la situation et du contexte, et contrôler la fiabilité et l'utilisabilité du système;

lors de l'emploi: d’exercer leur jugement quant au respect des règles et principes du DIH, notamment ceux de la distinction, de la proportionnalité et la prise des précautions nécessaires dans l'attaque, et ainsi de prendre les décisions critiques sur l'emploi de la force. Cela inclut l'approbation par un être humain de toute modification substantielle des paramètres de la mission, des liens de communication et de la capacité à désactiver le système en cas de besoin, sauf si cela est techniquement impossible;

(3) à préserver la responsabilité humaine et l'obligation de rendre des comptes à tout moment, en toutes circonstances et tout au long du cycle de vie, en tant que base des responsabilités de l'État et de l'individu, qui ne peuvent jamais être transférées à des machines. À cette fin, les mesures et politiques suivantes devraient être mises en œuvre par les États:

concernant la responsabilité: développer des doctrines et des procédures pour guider l'utilisation de systèmes d'armes létales dotés d'autonomie; prévoir une formation adéquate des décideurs et des opérateurs humains pour comprendre l'effet du système et son interaction probable avec son environnement; et assurer l'exploitation du système dans le cadre d'une chaîne de commandement humain responsable, y compris en assurant la responsabilité d’un être humain des décisions de déploiement et de la définition et de la validation des règles de fonctionnement, d'utilisation et d'engagement;

concernant l’obligation de rendre des comptes: prendre des mesures permettant un examen après action du système pour évaluer la conformité d'un système au DIH; instaurer des mécanismes de signalement des violations; mener des enquêtes sur des allégations crédibles de violations du DIH par leurs forces armées, leurs ressortissants ou sur leur territoire; et enfin mener des procédures disciplinaires et des poursuites pénales à l'encontre des auteurs présumés d'infractions graves au DIH, le cas échéant;

(4) à adopter et mettre en œuvre des mesures d'atténuation des risques adaptées et des garanties appropriées en matière de sûreté et de sécurité.

6. Conclusion

69. À titre de conclusion, l’élaboration d’une réglementation internationale des SALA apparait indispensable à terme. En effet, le droit international humanitaire, dans son état actuel, ne prévoit pas de garanties suffisantes pour régler les problématiques nouvelles soulevées par les SALA. Il est indéniable que ces derniers risquent d’engendrer un paradigme nouveau dans le rapport de gouvernance de la guerre. Les SALA risquent d’abaisser le seuil de déclenchement d’un conflit armé, les États y voyant une manière de réduire drastiquement le spectre des pertes de leurs propres soldats. Par conséquent, la recherche d'un juste équilibre entre le maintien de la compétitivité militaire et la protection des droits humains doit être poursuivie et renforcée. Certains participants dans les débats portant sur les SALA affirment que le critère du contrôle humain significatif sur l'utilisation de la force létale est implicitement inclus dans le droit international humanitaire. Ceci impliquerait l’illicéité de lege lata des armes qui ne sont pas soumises à un contrôle humain significatif. Néanmoins, la nécessité de rendre ou non cette condition explicite est encore disputée. A mon avis, dans l’esprit de l’article 7 de la Convention européenne des droits de l’homme (nulla poena sine lege), il convient de rendre cette condition explicite, avec une définition claire et réaliste de ce que le contrôle humain significatif signifie

70. Le document de travail soumis au GEG en juillet 2022 présenté ci-dessus (paragraphes 64-65) préconise une approche en deux volets, pour faire avancer la recherche d’un consensus. Le premier volet consiste à clarifier le fait que certains systèmes échappant à tout contrôle humain ne peuvent pas être conformes avec le droit international humanitaire tandis que d’autres systèmes intégrant des éléments d’autonomie se prêtent à être encadrés par le biais d’obligations positives définies dans un cadre réglementaire à définir dans un deuxième volet.

71. J’ai tendance à partager cette position qui me semble pragmatique et raisonnable et tenir compte de principes importants. Face à, d’un côté la position d’ONG et d’un certain nombre de pays qui militent pour l’interdiction pure et simple du développement, du déploiement et de l’usage de SALA, et de l’autre côté celle de certains pays, dont la Russie et les États-Unis, qui refusent de se soumettre à tout encadrement juridique de cette technologie en développement, il faut trouver un juste milieu. Selon cette proposition, les États devraient donc s'engager, dans le cadre du GEG:

à reconnaître comme interdits par le droit international en vigueur les systèmes d'armes létales entièrement autonomes fonctionnant en dehors de tout contrôle humain et de toute chaîne de commandement responsable,

à réglementer les autres systèmes d'armes létales dotés d’autonomie afin de garantir le respect des règles et des principes du droit humanitaire international, en préservant la responsabilité humaine et l'obligation de rendre des comptes, en assurant un contrôle humain approprié, en testant et vérifiant les systèmes d’armes, et en mettant en œuvre des mesures d'atténuation des risques dont des systèmes de formation des personnes qui les utilisent et des systèmes d’instruction appropriés.

72. Les travaux en cours dans le contexte de la CCAC sont encourageants et le cadre de discussion est approprié. Néanmoins la règle du consensus qui y prévaut peut être de nature à reporter longuement une conclusion de ce processus, ou d’une de ses phases, voire de le bloquer. Ce risque s’accroît dans le contexte des fortes tensions internationales actuelles. C’est pourquoi je recommande que si tel devait être le cas, les États membres et observateurs du Conseil de l’Europe envisagent subsidiairement de lancer un processus à l’échelon de cette Organisation qui pourrait aboutir à un cadre juridique ouvert à la participation d’autres États.

73. C’est sur la base de cette position que j’ai formulé le projet de résolution qui précède ce rapport.

Assembl�e parlementaire