Les Cahiers de la Revue Défense Nationale - Autonomie et létalité en robotique militaire

Revue Défense Nationale

Description

Le savais-tu ? Tu peux t'abonner à ce journal en cliquant sur la petite cloche. Tu recevras alors une alerte par mail à chaque nouvelle parution !

Sujets

• Mensuel
• Sociales
• Social
• Scientifique
• Mois
• Politique
• Militaire

Informations

• Publié par: Revue Défense Nationale
• Date de parution: 01 janvier 2022
• Langue: Français
• Poids de l'ouvrage: 11 Mo

Extrait

RDN

Autonomie et létalité  en robotique militaire

Les Cahiers de la Revue Défense Nationale

Le Centre de recherche des Écoles de Saint-Cyr Coëtquidan (CREC Saint-Cyr)

Créé le 21 juillet 1995, il a pour missions de : • contribuer directement à la formation des élèves-officiers et à la délivrance du diplôme d’ingénieur et du grade de Master ; • accompagner des projets d’étude et de recherche ; • rédiger des fiches au profit d’organismes centraux de l’armée de Terre. Afin de mener à bien ces missions, le CREC peut s’appuyer sur 43 enseignants-chercheurs sous la direction de M. Ronan D OARÉ , directeur général de l’enseignement et de la recherche, et de M. Gilles G UIHEUX , directeur du CREC Saint-Cyr. L’activité de recherche est structurée en 4 pôles, tous finalisés sur le métier militaire.

Le pôle « Éthique et environnement juridique » Ses principaux axes de recherche portent sur les problématiques liées à la responsabilité des militaires, à l’éthique de la décision, au soldat augmenté, aux enjeux de l’intelligence artificielle, aux blessures invisibles et à la lutte contre le terrorisme. Ce pôle déve- loppe une activité spécialisée avec le centre d’expertise « Lutte contre le terrorisme » en partenariat avec la SNCF. Le responsable du pôle est M. Stéphane B AUDENS .

Le pôle « Défense et sécurité européennes » Ses principaux axes de recherche portent sur les Européens et la guerre ainsi que sur les frontières et les périphéries de l’Europe. M. Frédéric D ESSBERG , responsable du pôle, est le titulaire d’une Chaire Jean Monnet et dirige, depuis mars 2017, le Groupement d’intérêt scientifique « Centre d’excellence Jean Monnet ».

Le pôle « Mutation des conflits » Les recherches du pôle sont axées sur l’analyse des mutations de la conflictualité et de leurs conséquences sur l’action des forces ter- restres. Elles abordent notamment la guerre irrégulière, la roboti- sation du champ de bataille ainsi que la cyberdéfense et cyber- sécurité. Le responsable du pôle est M. Didier D ANET . Ce dernier axe de recherche bénéficie d’un partenariat avec T HALES et S OGETI par le biais de la Chaire « Cyberdéfense et cybersécurité ».

Le pôle « Sciences et technologies de défense » Composé de trois laboratoires (Électronique, Informatique et mathématiques appliquées, et Mécanique), le pôle axe notamment ses recherches sur la transmission radio à haut débit, la propaga- tion électromagnétique, la planification d’actions en intelligence artificielle, la cryptographie, les études balistiques et la théorie des équations aux dérivées partielles. Depuis 2017, le pôle bénéficie d’un partenariat avec S AFRAN dans le cadre d’une chaire sur le soldat augmenté dans l’espace numérique de bataille vue sous l’angle des sciences de l’ingénieur dont le titulaire est M. Yvon E RHEL , responsable du pôle.

Autonomie et létalité en robotique militaire

Actes enrichis des colloques « Téléopération – Automatisme – Autonomie en robotique militaire : de quoi parle-t-on ? », 8 décembre 2016, DGGN (Issy-les-Moulineaux) et « “Legal & Ethics by Design” : L’intégration des normes juridiques et éthiques dans la conception et le développement des systèmes d’armes robotisés », 6 février 2018, École militaire (Paris).

7

11

17

25

36

45

Préface F RANÇOIS LABUZE

Sommaire

Introduction à la robotisation du champ de bataille D IDIER DANET CeCahier de laRDN fait le point des recherches entreprises par le CREC Saint-Cyr pour analyser le phénomène de robotisation du champ de bataille sous l'angle des sciences sociales. Il s’agit de synthétiser les principaux enseignements de ce programme de recherche et d'envisager de nouvelles voies de dévelop- pement.

L’impact des systèmes robotiques militaires pour l’armée de Terre et les enjeux liés à leur autonomie C HARLES BEAUDOUIN L’armée de Terre s’engage sur le chemin de la robotisation pour accroître ses capacités opérationnelles, mais les systèmes robotiques militaires semi-autonomes seront déployés sous le contrôle d’un chef militaire pour des fonctions non létales.

Définitions et concepts de l’autonomie Autonomie et respect de la Règle pour les robots militaires Considérations sémantiques et point de vue de la doctrine interarmées P ATRICK BEZOMBES La prochaine génération de systèmes d’armes disposera d’un niveau d’automatisation beaucoup plus per- formant que celui que nous connaissons à ce jour. Les armées doivent clarifier les concepts d’emploi juri- dique, éthique et opérationnel associés.

La révolution de l’Intelligence artificielle (IA) en autonomie J EAN -G ABRIEL GANASCIA En précisant que le terme d’autonomie s’entend à la fois en un sens philosophique et en un sens technolo- gique, on conclut que les Systèmes d’armes létaux autonomes (Sala) ne correspondent pas à une véritable révolution technologique, mais que l’intelligence artificielle renforce l’autonomie des opérateurs.

Déclinaisons et nouveaux usages militaires Essai sur les nouveaux usages robotiques G ÉRARD DE BOISBOISSEL Nouveaux outils et nouveaux pions tactiques pour le combattant, les systèmes robotiques vont progressi- vement révolutionner les usages militaires de demain.

56

67

73

83

95

105

118

L’autonomie des robots terrestres militaires est-elle pour demain ? J OËL MORILLON Le développement rapide des robots militaires pose la question de leur autonomie, en distinguant les niveaux techniquement accessibles et opérationnellement souhaitables. Une répartition pertinente des rôles de l’Homme et du Robot apparaît comme la voie à privilégier.

Les systèmes automatisés comme capacité nécessaire de l’action militaire terrestre G AËTAN DUBOIS S’agissant de robotique, l’autonomie est le facteur qui va permettre d’étendre les usages opérationnels des robots, aujourd’hui limités. Pour autant, elle devra être cadrée afin de maintenir les prérogatives de décision et de responsabilité des chefs.

Les robots, nouveaux partenaires du combattant dans les environnements dangereux et difficiles P IERRE SANTONI La bataille se déplace de nos jours vers des milieux qui restent encore difficiles d’approche : les milieux péri- urbains, urbains et suburbains. Dans ces univers à l’extrême limite des capacités humaines, que peuvent apporter les robots militaires et en quoi leur autonomie pourrait permettre de faciliter la progression et de réduire les risques ?

Drone de neutralisation chirurgicale à réponse graduée F RÉDÉRIC GALLOIS Les engagements de demain verront l’apparition de systèmes d’armes terrestres « de rupture » sur les théâtres d’opérations extérieures comme intérieures. La fulgurance des innovations technologiques doit pourtant s’inscrire dans une logique d’«ethic by design». Pour remplacer ou appuyer le fantassin du futur, les drones terrestres armés devront alors compter sur leur capacité de précision et de maîtrise par l’humain, à distance.

Les futurs systèmes de drones J EAN -M ARC MOSCHETTA La miniaturisation croissante des systèmes laisse présager que les futurs systèmes de drones seront à la fois plus compacts, plus intelligents et plus envahissants. Ils pourront ainsi être opérés non individuellement mais par vagues ou par essaims.

Le regard d’unleadermondial du marché des drones civils : dissémination technologique et autonomie grandissante face aux détournements d’usage par des mouvements terroristes H ENRI SEYDOUX Les technologies nécessaires à l’autonomie pour des systèmes robotiques sont maintenant disponibles et accessibles aisément. La dissémination de ces techniques pose de façon cruciale la question du maintien de l’homme dans la boucle pour tout usage létal.

La nécessaire place du chef militaire dans les systèmes d’armes robotisés autonomes G UILLAUME VENARD et G ÉRARD DE BOISBOISSEL Le déploiement de systèmes robotisés semi-autonomes semble inéluctable de par les avantages qu’ils offri- ront sur le champ de bataille. Pour accompagner cette évolution, il impose en revanche une formation poussée et anthropocentrée du chef militaire à une nouvelle éthique de responsabilité.

135

145

157

167

177

195

Implications juridiques

L’analyse des nouveaux systèmes d’armes robotisés sous le prisme de l’article 36 du Protocole additionnel I C AROLINE BRANDAO L’article examine la nécessité de contrôler la licéité d’une nouvelle arme en vertu du droit international humanitaire. Pour faire respecter ce cadre juridique, l’auteure analyse les discussions actuelles sur les nou- veaux systèmes d’armes robotisés.

Le déploiement des systèmes d’armes robotisés face au cadre juridique existant É RIC POMÈS Cet article soutient que si les systèmes d’armes robotisés obligent à réfléchir au champ de bataille, le droit international humanitaire ne les prohibe pas contrairement à ce que suggèrent les débats actuels fondés sur une exploitation politique du droit.

Le droit des conflits armés oblige légalement à des robots militaires «Ethical by Humanity» T HIERRY DAUPS Malgré sa spécificité : l’autonomie, l’arme robotique est soumise au droit des conflits armés dont les principes qualifiables d’«ethical by humanity» invitent à une subsidiarité des compétences entre le militaire responsable et la machine.

Systèmes d’armes létaux autonomes : ne pas mélanger juridique et éthique N ATHALIE DURHIN Le débat actuel sur l’interdiction préventive des Systèmes d’armes létaux autonome (Sala), qui semble se dérouler sur le terrain juridique, est biaisé par l’utilisation d’arguments de nature éthique. Cependant, si les contraintes juridiques pesant sur le développement de ces systèmes d’armes doivent être objectivées voire relativisées, il est aussi indispensable qu’une véritable réflexion éthique se structure en parallèle.

Dilemmes éthiques militaires : du langage juridique et des principes éthiques au langage informatique A DELINE AUFFRET et T ATIANA KOZLOVSKY L’autonomisation croissante des robots militaires questionne la capacité d’un algorithme à appréhender et respecter les règles de droit applicables aux conflits tout en contenant des garde-fous éthiques militaires.

Implications éthiques

Peut-on élaborer une politique éthique du véhicule autonome ? J ÉRÔME PERRIN L’introduction dans la vie courante de robots et de systèmes autonomes dotés d’intelligence artificielle fait l’objet d’une médiatisation accélérée et de débats sur les dilemmes éthiques. Cet article analyse différents aspects contextuels et dynamiques de l’usage de véhicules autonomes, et propose des pistes de travail spé- cifiques et des recommandations en vue de l’élaboration d’une « politique éthique du véhicule autonome » à l’ensemble des acteurs concernés de la filière automobile.

212

219

229

237

259

Formaliser et mettre en œuvre des cadres éthiques dans un système robotisé Approche technique et questionnements C ATHERINE TESSIER, V INCENT BONNEMAINS et C LAIRE SAUREL Les fonctions de calcul de décision des systèmes robotisés peuvent nécessiter l'intégration de connaissances relevant de considérations éthiques. Cet article propose de formaliser le calcul de jugements de décisions selon des cadres éthiques et soulève des questions générales sur la conception d'algorithmes dits « éthiques ».

Les problématiques de l’évaluation et de la certification des systèmes robotiques autonomes A GNÈS DELABORDE L’éthique de l’intelligence artificielle vise à protéger l’utilisateur et la société. Dans quelle mesure est-il possible de valider que les comportements d’un robot sont éthiques ? Tour d’horizon des principes de la certification et de l’évaluation des systèmes autonomes.

Éthique et machines autonomes : esquisse d’un discernement D OMINIQUE LAMBERT La constitution d’un algorithme est une activité porteuse d’une charge éthique. Or, les limites d’une éthique algorithmique montrent la place irréductible de l’acteur humain responsable. Il faut donc proposer, en matière de régulation éthique des systèmes autonomes, des critères de discernement basés sur un concept d’autonomie finalisée et responsable.

Trouvez le Sala ! La campagne internationale contre les « robots tueurs » : une décennie et déjà trois histoires É RIC GERMAIN La France a pris l’initiative de lancer en 2013 une réflexion multilatérale sur les enjeux éthiques et socié- taux de futurs Systèmes d’armes létaux autonomes. Ces Sala ont suscité, depuis 2009, une mobilisation internationale qui a déjà connu trois âges, chacun marqué par un acteur de la société civile : les universi- taires, les ONG et les industriels « philanthropes ».

Conclusion Conclusion et mise en perspective M ONIQUE CASTILLO

LaRevue Défense Nationaleest éditée par le Comité d’études de défense nationale (association loi de 1901) Adresse géographique : École militaire, 1 place Joffre, P ARIS VII Adresse postale : BP 8607, 75325 P ARIS CEDEX 07 Fax : [phone] - www.defnat.fr - [e-mail] Directeur de la publication : Thierry C ASPAR -F ILLE -L AMBIE - Tél. : [phone] Rédacteur en chef : Jérôme P ELLISTRANDI - Tél. : [phone] Rédactrice en chef adjointe : Audrey H ÉRISSON Secrétaire général etwebmaster: Paul L APORTE - Tél. : [phone] Secrétaire général de rédaction : Pascal L ECARDONNEL - Tél. : [phone] Assistante de direction et secrétaire de rédaction : Marie-Hélène M OUNET - Tél. : [phone] Secrétaire de rédaction : Jérôme D OLLÉ - Tél. : [phone] Abonnements : Éliane L ECARDONNEL - Tél. : [phone] Chargés d’études : Laurent H ENNINGER et Emmanuel D ESCLÈVES - Tél. : [phone] Comité de lecture : Marie-Dominique C HARLIER -B AROU , André D UMOULIN , Jean E SMEIN , Anthony H ERVEY , Sabine DE M AUPEOU et Bernard N ORLAIN Régie publicitaire (ECPAD) : Karim B ELGUEDOUR - Tél. : [phone] e DL 94344 - 4 trimestre 2018 - ISSN : 2105-7508 - CP n° 1019 G 85493 du 4 décembre 2014 Imprimée par Bialec, 23 Allée des Grands Pâquis, 54180 H EILLECOURT

Préface

François L ABUZE

Général de division, commandant les Écoles de Saint-Cyr Coëtquidan.

’actualité concernant les Systèmes d’armes létaux autonomes (Sala) est en d’u L tiliser ces derniers dans la zone d’immédiate conflictualité, dans la mesure où ils constante évolution. À l’heure où cet ouvrage est édité, le Département de la Défense (DoD) des États-Unis se pose la question de savoir s’il est éthique pourraient maintenir les troupes à l’écart. Ainsi, le 4 octobre 2018, le directeur du TRADOCde l’US Army(Commandement de l’instruction et de la doctrine de l’armée de Terre américaine) Tony C ERRI se posait cette question : « Est-il immoral de ne pas compter sur certains robots avec une autonomie de décision… étant donné qu’une (1) arme intelligente peut potentiellement limiter les dommages collatéraux ? » .

À l’opposé, quelques jours auparavant le 12 septembre 2018, une résolution du Parlement européen appelait à l’interdiction préventive des Sala, illustrant parfai- tement les débats sociétaux contradictoires concernant la robotisation du champ de (2) bataille et la crainte que pourrait inspirer une autonomie de ces machines dans la décision de tir. Elle met en lumière l’importance fondamentale de prévenir tout déve- loppement et production de Sala qui manquerait de contrôle humain dans les fonctions critiques telles que sélection et engagement des cibles.

Le débat n’est pas récent : il est en effet porté depuis mai 2014 par des orga- nisations non gouvernementales au sein de la Convention sur certaines armes clas- siques (CCAC), où se poursuit une réflexion sur l’interdiction éventuelle des systèmes d’armes létaux autonomes.

Pour revenir à l’origine des débats et à ses développements, vous trouverez dans cet ouvrage collectif une synthèse des travaux réalisés par le pôle Mutation des conflits du Centre de recherche des Écoles de Saint-Cyr Coëtquidan, le CREC Saint-Cyr, et en particulier le fruit des deux colloques organisés en décembre 2016 et février 2018. Il se veut une compilation des réflexions d’experts ayant travaillé avec lui sur la ques- tion de l’autonomie des systèmes robotiques militaires. Ayant pour premier objectif

(1) Tony C ERRI ,director of data science, models and simulations at TRADOC, cité par K OFLER Haiyah, « Exploring the humanity of unmanned weapons »,C4ISR Net, 10 octobre 2018 (www.c4isrnet.com/). (2) P ARLEMENT EUROPÉEN ,Résolution sur les systèmes d’armes autonomes (2018/2752(RSP)), 12 septembre 2018 (www.europarl.europa.eu/).

Les Cahiers de laRevue Défense Nationale

7

8

Préface

une clarification sémantique de la notion d’autonomie, cet ouvrage tente de couvrir les enjeux que pose le déploiement de systèmes robotiques militaires ayant une ou plu- sieurs fonctions automatisées ou autonomes (mobilité, recharge énergétique, forma- tion en essaim, tâches à effectuer, etc.), dont notamment la fonction létale. Et ce, avec ou sans contrôle de l’opérateur qui les met en œuvre.

D’une façon générale, si le mieux côtoie souvent le moins bon dans toute nouvelle potentialité offerte par la technologie, il n’est jamais utile ni souhaitable de refuser les évolutions technologiques. L’histoire démontre que bannir ces évolutions est vain, car elles finiront par être adoptées par l’intelligence créatrice de l’homme qui ne connaît pas de limites.

L’actualité du monde civil en témoigne car l’on voit mal, par exemple, comment interdire à des voitures autonomes, lorsque d’ici quelques années la technologie sera mature, de circuler sur nos routes sans chauffeur humain, sous prétexte que l’homme doit rester le seul maître à bord, bien qu’il soit communément admis que ce dernier est plus faillible que la machine dans certaines circonstances.

Or, l’autonomie dans le monde militaire pose question, bien qu’elle s’inscrive dans la continuité des premiers systèmes automatiques déjà déployés. Notamment en ce qui concerne la place de l’homme et notamment du chef qui les emploie, afin qu’il conserve la maîtrise de l’action militaire, et donc de l’usage de ces machines. Autrement dit, si la robotique apporte inéluctablement des opportunités, il convient d’encadrer strictement le développement et l’usage de systèmes autonomes de règles contraignantes prenant en compte le droit des conflits armés, les normes juridiques en vigueur, la doctrine et les us et coutumes des armées en campagne.

Mais le débat prend une tournure autrement plus grave lorsque l’on pose la question de la létalité et que l’on voit revenir au premier plan la volonté de supréma- tie technologique, vieux moteur de la guerre froide, et si l’on prend en considération la loi de Gabor qui stipule que « tout ce qui est techniquement possible se réalisera », avec comme effet induit que si nous ne le faisons pas, d’autres le feront.

Car s’il semble relativement consensuel que l’homme doive conserver le contrôle de ces machines, la recherche d’une meilleure précision et d’une meilleure réactivité dans le domaine du tir peut amener à envisager, sous conditions, un auto- matisme très avancé de la décision que certains qualifieront d’automatisation. D’autant que l’entreprise russe Kalashnikov a clairement annoncé, le 10 juillet 2017, qu’elle s’engageait dans « la production de drones de combat autonomes dotés de capacités d’apprentissage par réseaux de neurones, capables de reconnaître les cibles et de (3) prendre des décisions autonomes dont celle de l’engagement » .

Il convient toutefois de dépasser ces volontés d’hégémonie afin de faire valoir une politique d’encadrement internationale concernant l’armement des robots auto- nomes bénéficiant d’une certaine forme d’autonomie. Ceci afin d’anticiper leurs

(3) « Robots armés autonomes : l’art de la guerre en mutation », 15 août 2017 (https://theconversation.com/robots-armes-autonomes-lart-de-la-guerre-en-mutation-81460).