Los robots asesinos son sistemas de armas autónomas que pueden seleccionar y atacar objetivos sin un control humano significativo. Lo que significa que el sistema de armas puede usar la fuerza letal sin una instrucción directa de un operador humano. Esto podría aplicarse a varios sistemas de armas, por ejemplo, un tanque de batalla, un avión de combate o una nave de guerra.
Un malentendido común es que los robots asesinos son lo mismo que los drones armados. Sin embargo, con los actuales drones todavía hay un operador humano que selecciona y ataca objetivos a distancia. Otro malentendido es que los robots asesinos son lo mismo que el Terminator o el Robocop. Estos son conceptos de ciencia ficción, que es poco probable que se hagan realidad en las próximas décadas, si es que llegan a hacerlo.
Los sistemas de armas que pueden seleccionar y atacar objetivos de forma autónoma plantean muchas preocupaciones legales, éticas y de seguridad. Por ello, la PAX pretende prohibir el desarrollo, la producción y el despliegue de armas autónomas. Ya en 2011 la PAX advirtió sobre este desarrollo, y junto con otras organizaciones cofundó la Campaña para detener los robots asesinos en 2013.
¿Existen los robots asesinos?
Los robots asesinos aún no existen porque aún no les hemos dado la plena autonomía, aunque la tecnología ya la tenemos. Ejemplos de ello son la Arpía, una munición de holgazanería que busca y ataca los radares enemigos, así como el SGR-1, un robot armado en la frontera entre Corea del Norte y Corea del Sur. Ejemplos más recientes incluyen el KARGU, un pequeño avión teledirigido que puede atacar objetivos basados en el reconocimiento facial. La tecnología necesaria para producir estas armas se está desarrollando increíblemente rápido. Países como China, Rusia, Israel, Estados Unidos y el Reino Unido están involucrados en el desarrollo de sistemas de armas cada vez más autónomos.
¿Tenemos que temer por los robots asesinos?
Para la PAX la preocupación más importante es una preocupación ética. Nunca se debe permitir que una máquina tome la decisión sobre la vida y la muerte. Esta decisión no puede reducirse a un algoritmo.
Luego están las preocupaciones legales. Es poco probable que las armas autónomas puedan cumplir con el Derecho Internacional Humanitario, ya que es poco probable que sean capaces de distinguir adecuadamente entre civiles y combatientes, o de hacer una evaluación de proporcionalidad. Las armas autónomas también crean un vacío de responsabilidad. ¿Quién sería responsable de un acto ilícito: el robot, el desarrollador o el comandante militar?
La PAX también tiene problemas de seguridad. Las armas autónomas podrían reducir el umbral de uso de la fuerza y disminuir el incentivo para encontrar soluciones políticas para poner fin a los conflictos. Esta nueva tecnología podría conducir a una nueva carrera de armamentos internacional, que tendría efectos desestabilizadores y amenazaría la paz y la seguridad internacionales. ¿Qué sucede cuando los dictadores o los terroristas ponen sus manos en estas armas? Lea más sobre las preocupaciones en esta breve publicación de la PAX: Diez razones para prohibir los robots asesinos
La PAX quiere que los estados creen una prohibición preventiva del desarrollo, producción y uso de robots asesinos. O en otros términos, la PAX quiere un instrumento internacional legalmente vinculante que salvaguarde el control humano significativo sobre las funciones críticas de la selección y el ataque de los objetivos.
Actualmente hay 30 países que han pedido una prohibición. Además, hay un consenso creciente entre la mayoría de los estados de que el control humano significativo sobre el uso de la fuerza es esencial.
En 2015 más de 3.000 expertos en Inteligencia Artificial y en 2017 116 directores generales de empresas de robótica nos advirtieron sobre estas armas y pidieron a la ONU que tomara medidas. El Parlamento Europeo, veinte Premios Nobel de la Paz y más de 160 líderes religiosos también han pedido la prohibición de las armas autónomas. El Secretario General de la ONU, Guterres, ha dicho que estas armas son «políticamente inaceptables, moralmente repugnantes y deberían ser prohibidas por el derecho internacional».
¿Qué piensa Europa de los robots asesinos?
Por poner un ejemplo la posición nacional holandesa sobre las armas autónomas se basa en un informe de 2015 de dos consejos consultivos «Sistemas de armas autónomas; la necesidad de un control significativo». La PAX ha sido crítica con este informe. Su mayor preocupación es que el estudio afirma que el control humano en la fase de programación antes del despliegue es suficiente y que el control humano sobre la selección y el ataque de los objetivos no es necesario. Además, el informe carece de un sentido de urgencia y presta poca atención al contexto internacional y a las preocupaciones éticas. La PAX continúa trabajando para lograr un cambio en la política holandesa.
Los robots asesinos fueron discutidos por primera vez en el Consejo de Derechos Humanos en 2013 después de un informe del Relator Especial de la ONU Christof Heyns. Luego el tema fue abordado por la Convención de las Naciones Unidas sobre Armas Convencionales (CCAC) donde se realizaron reuniones informales de expertos en 2014, 2015 y 2016. En 2017 la primera reunión del Grupo de Expertos Gubernamentales (GEG), que tiene un mandato más formal, tuvo lugar en la CCW y desde entonces se han celebrado todos los años. La PAX participa en las reuniones de la CCW, donde nos reunimos con diplomáticos, hacemos declaraciones y hablamos en eventos paralelos.
Los robots asesinos en el sector privado
La PAX también se centra en la participación del sector privado, trabajando para prevenir el desarrollo de robots asesinos. Esta labor tiene por objeto colaborar con el sector tecnológico, los académicos e investigadores, así como con los productores de armas y el sector financiero.
El escenario hipotético parece fantástico, pero esos robots del campo de batalla ya existen hoy en día en una forma temprana. Milrem Robotics, una compañía de robótica militar con sede en Estonia, ha desarrollado un robot llamado THeMIS (Tracked Hybrid Modular Infantry System), que consiste en un cuerpo móvil montado sobre pequeños peldaños de un tanque, rematado con una torreta de arma remota que puede ser equipada con ametralladoras de pequeño o gran calibre. También incluye cámaras y software de rastreo de objetivos, de modo que la torreta puede perseguir personas u objetos según lo programado. Este es un sistema controlado por humanos por ahora, pero los componentes están ahí para un robot que puede interpretar lo que ve, identificar a los posibles combatientes y apuntarles, todo por sí mismo. «Los posibles usos del TEMIS», que los constructores del robot vierten en el sitio web, «son casi ilimitados».
La decisión de usar un robots autónomos de combate contra los soldados siempre ha sido una decisión tomada por un ser humano. Eso puede cambiar pronto. Los avances modernos en inteligencia artificial, reconocimiento de imágenes y robótica han puesto a algunos de los mayores ejércitos del mundo al borde de un nuevo futuro, en el que los sistemas de armas pueden encontrar y matar a personas en el campo de batalla sin intervención humana. Rusia, China y los Estados Unidos están trabajando en plataformas autónomas que emparejan las armas con sensores y computadoras de puntería; Gran Bretaña e Israel ya están utilizando armas con características autónomas: misiles y aviones teledirigidos que pueden buscar y atacar el radar, el vehículo o la nave de un adversario sin que un comando humano tome la decisión inmediata de disparar.
¿Cuándo podremos delegar en la Inteligencia Artificial la decisión de quitar la vida a una persona? Se trata de un salto moral que ha planteado cuestiones fundamentales sobre la naturaleza de la guerra y sobre el que los planificadores militares, las organizaciones de derechos humanos y los expertos todavía no han llegado a un consenso común.
Historia de los robots asesinos
La tecnología para que los sistemas de armas identifiquen y adquieran objetivos de forma independiente ha existido en forma básica durante varias décadas. En los años 80 y 90, los planificadores de la guerra de los Estados Unidos experimentaron con misiles Harpoon y Tomahawk que podían identificar objetivos de forma independiente; ambos se utilizan hoy en día, aunque con supervisión humana.
El armamento automatizado estadounidense más avanzado se ha centrado en aplicaciones defensivas. Cuando los ataques con cohetes y morteros amenazaron grandes bases estadounidenses en el Iraq en 2003, el Ejército desarrolló el sistema de contrarreco, artillería y mortero (C-RAM), un cañón de tiro rápido de 20 mm que puede identificar una amenaza aérea entrante, alertar a un operador humano y -con sólo pulsar un botón- rastrearlo y destruirlo con una ráfaga de munición especial que se autodestruye en pleno vuelo para reducir al mínimo los daños al personal amigo o a los civiles que se encuentren debajo.
Estos sistemas se basaban en un sistema de cañones navales, el Phalanx, que se considera la última línea de defensa contra los misiles anti-buque. La Phalanx fue solo una de las respuestas automatizadas de la Armada a las presiones de la Guerra Fría: La doctrina naval soviética se basaba en abrumar a los escuadrones de barcos enemigos con hasta 60 misiles de crucero a la vez. «Cuando llegan grandes salvas, es imposible que los humanos puedan decir: ‘Bien, tienes que sacar este misil primero'», dice Robert Work, investigador principal del Centro para una Nueva Seguridad Americana en Washington. «No había manera de que los humanos en el centro de información de combate fueran capaces de mantenerse al día con eso.» Así que los planificadores americanos desarrollaron Phalanx y el Sistema de Combate Aegis, que enlaza los sensores de los barcos y aviones de la flota para identificar las amenazas aéreas y, con la ayuda del operador, atacarlos automáticamente con misiles de a bordo. Fue programado, dice Work, «para tener un ajuste totalmente automático, y literalmente el humano en algún momento presiona el botón y la máquina toma todas las decisiones».
¿Cómo funcionarían los robots autónomos?
Depende de lo autónomos que sean. «Hay un tipo de arma de fuego y olvido en la que el arma misma decide, ‘O.K., esto es lo que veo que ocurre en el campo de batalla, y creo que voy a tener que eliminar este tanque en particular porque creo que este tanque es el tanque de mando'», dice Work. Esta es su definición de un verdadero sistema de armas autónomas letales: un arma independiente que decide todo acerca de quién y qué destruye una vez que un humano la ha desatado.
Como subsecretario de Defensa entre 2014 y 2017, Work fue responsable de llevar a cabo la Tercera Estrategia de Compensación del Pentágono, un plan para contrarrestar las ventajas numéricas de los posibles adversarios poniendo tecnologías innovadoras en el centro de la doctrina militar de los Estados Unidos. La primera compensación de los Estados Unidos, en tiempos del Presidente Eisenhower, se basó en la ventaja nuclear de los Estados Unidos; una segunda compensación en los años setenta y ochenta hizo hincapié en los avances de la nación en materia de computadoras y tecnología de orientación de misiles. En el caso de Work, la tercera compensación significó aprovechar la inteligencia artificial y la autonomía de las máquinas para crear una red más inteligente y rápida que integrara a los humanos y las máquinas. También significaba observar cómo otros estados y actores no estatales desarrollaban sus propias capacidades autónomas, desde vehículos aéreos no tripulados prescindibles hasta tanques o baterías de misiles aumentados por la inteligencia artificial.
Cuáles son los sistemas robóticos más avanzados en los Estados Unidos
Darpa (la Agencia de Proyectos de Investigación Avanzada de la Defensa) tiene un programa llamado CODE, u Operaciones de Colaboración en Entorno Denegado, para diseñar un software sofisticado que permitirá a grupos de aviones no tripulados trabajar en equipos estrechamente coordinados, incluso en lugares donde el enemigo ha podido negar a las fuerzas americanas el acceso al GPS y otras comunicaciones basadas en satélites. CODE «no tiene la intención de crear armas autónomas», dice Paul Scharre, autor de «Army of None»: Armas autónomas y el futuro de la guerra», sino que se adapta a «un mundo en el que tendremos grupos de robots operando juntos en colaboración bajo una sola persona en control de supervisión». El director del programa lo ha comparado con la caza de lobos en manadas coordinadas».
Los trabajadores del CODE supervisan el enjambre sin microgestionarlo, y la autonomía de los drones significa que están programados para improvisar y ajustar mientras llevan a cabo su misión preestablecida. «La idea aquí es que CODE va detrás de objetivos móviles o rápidamente reubicables, por lo que las localizaciones de los objetivos no pueden ser especificadas con precisión de antemano por los humanos», dice Scharre. «No es como un misil de crucero Tomahawk, donde sólo se programa en las coordenadas y luego el misil va y lo golpea. Los drones tienen que ser capaces de buscar un área y encontrar objetivos en movimiento».
Un sistema autónomo más simple es la munición de enjambre. Un dron que puede volar durante algún tiempo por sí solo, buscando señales específicas, antes de encontrar un objetivo y estrellarse contra él con una carga explosiva. Israel produce una munición de vagabundeo, denominada «Arpía», que está diseñada para cazar y destruir estaciones de radar enemigas y que se convirtió en un punto de fricción en las relaciones entre los Estados Unidos e Israel cuando algunas fueron vendidas a China a finales del decenio de 1990. Empresas de varias naciones, entre ellas Eslovaquia y los Estados Unidos, también han producido municiones para merodear.
¿Por qué necesitamos robots asesinos?
«Imaginen que estamos luchando en una ciudad y tenemos un enemigo que está usando la vida humana indiscriminadamente como un escudo humano», señaló Tony Cerri, quien hasta hace poco supervisaba la ciencia de los datos, los modelos y las simulaciones en el Comando de Entrenamiento y Doctrina del Ejército de los Estados Unidos. «Está constantemente en tu cara cuando sales a caminar por la calle. No puedes lidiar con todas las situaciones. Vas a cometer un error».
Las armas autónomas, sugiere, son mucho menos propensas a cometer tales errores: «Un robot, operando con milisegundos, mirando datos que ni siquiera puedes empezar a concebir, va a decir que este es el momento adecuado para usar este tipo de armas para limitar los daños colaterales». Este argumento es paralelo al controvertido caso de los coches que se conducen solos. En ambos casos, las máquinas ricas en sensores navegan en un entorno complejo sin la fatiga, las distracciones y otras faltas humanas que pueden llevar a errores fatales. Sin embargo, ambos argumentos descartan los comportamientos emergentes que pueden venir de máquinas cada vez más inteligentes que interpretan el mundo de manera diferente a los humanos.
En los robots móviles autónomos, esos nuevos comportamientos ya han tenido consecuencias mortales, como cuando un modelo S de Tesla en modo «piloto automático» en Florida no reconoció un tractor-remolque que cruzaba la autopista y pasó por debajo de ella, matando al dueño del automóvil. Ese accidente, en 2016, fue el primero de dos accidentes mortales en las carreteras de los Estados Unidos con un Tesla en piloto automático. Uber sacó temporalmente sus propios coches autoconductores de las carreteras el pasado mes de marzo, cuando uno mató a un peatón que cruzaba la calle con su bicicleta en Arizona.
Limitar los robots de combate
Incluso los mayores defensores de los robots militares autónomos reconocen que podrían comportarse de formas nuevas e imprevistas, induciendo nuevos errores – la forma en que los algoritmos de comercio desatados en el mercado de valores pueden causar choques repentinos o un par de algoritmos de revendedores de libros en duelo en Amazon podría terminar valorando un texto de biología de 70 dólares a 23 millones de dólares, lo que ocurrió en 2011. Esas posibilidades – y el peligro de que los errores letales de las máquinas puedan precipitar conflictos más sangrientos – requerirán medidas de cooperación estrecha entre las naciones armadas por robots. Las delegaciones ante las Naciones Unidas han iniciado conversaciones para regular los sistemas de armas autónomas letales en el marco de una Convención sobre ciertas armas convencionales existente, que rige cosas que van desde trampas explosivas hasta láseres cegadores.
En agosto, un grupo de trabajo de las Naciones Unidas estableció los principios que podrían utilizarse para guiar las futuras regulaciones internacionales sobre la autonomía letal. El principal de ellos es la idea de asegurar la responsabilidad humana por cualquier arma a lo largo de su ciclo de vida, lo que podría crear nuevas responsabilidades para los fabricantes de armas. El equipo de la ONU publicaró un informe oficial con recomendaciones para los próximos años. Además de los gobiernos, las reuniones del grupo atraen a una gran cantidad de activistas, como Mary Wareham de Human Rights Watch, que es la coordinadora global de la Campaña para detener los robots asesinos, una iniciativa lanzada en 2013 con la misión explícita de mantener a los humanos a cargo de las decisiones letales en la guerra.
«Nos hemos centrado en dos cosas que queremos ver que permanezcan bajo un control humano significativo, o apropiado, o adecuado, o necesario», dice Wareham. «Es la identificación y selección de objetivos y luego el uso de la fuerza contra ellos, letal o no.» Esos son los puntos clave de decisión, dicen los críticos, donde sólo un juicio humano – capaz de discriminar entre enemigos y civiles, y manteniendo un sentido de proporcionalidad en la respuesta – puede rendir cuentas y satisfacer las convenciones de la guerra.
¿Los robots deben tener la capacidad de arrebatar vidas?
La forma en que tendemos a justificar la guerra o a condenar ciertos actos «tiene que ver con el hecho de que los seres humanos están tomando decisiones que son morales o inmorales», dice Pauline Shanks Kaurin, profesora especializada en ética militar en la Escuela de Guerra Naval de los Estados Unidos. «Si los humanos no están tomando esas decisiones, si son literalmente máquinas contra máquinas, entonces parece que es otra cosa, ¿verdad?»
Es la forma en que el poder de fuego robótico puede ser aprovechado por los seres humanos que han estimulado algunos de los críticos más agudos del armamento autónomo. En 2015, Steve Wozniak y Elon Musk, junto con Stephen Hawking y más de 1.000 investigadores de robótica e inteligencia artificial, firmaron una carta abierta advirtiendo que «las armas autónomas se convertirán en los Kalashnikovs» del futuro, «ideales para tareas como asesinatos, desestabilizar naciones, someter poblaciones y matar selectivamente a un grupo étnico en particular». Google, que contaba con varios de sus investigadores principales de inteligencia artificial entre los firmantes de la carta, publicó una declaración de sus propios principios sobre la inteligencia artificial en junio de 2018, que incluía una negativa rotunda a desarrollar «armas u otras tecnologías cuyo principal propósito o aplicación sea causar o facilitar directamente el daño a las personas».
Para el trabajo, la cuestión de la moralidad podría reducirse a los adversarios de América. «Puede que haya un lugar y un momento en el futuro en el que nos enfrentemos a un adversario que esté menos preocupado por delegar una autoridad letal a una máquina», dice. «Pero eso está muy lejos, y tenemos mucho tiempo para pensarlo y mucho tiempo para actuar y asegurarnos de que todavía podemos controlar todas las armas».