11  인간을 루프에서 빼는 전쟁

자동화된 무기 루프를 멈추는 인간의 손

11.1 가장 빠른 쪽이 살아남는다는 논리

전쟁에서 속도는 생존과 연결됩니다. 상대가 먼저 탐지하고 먼저 공격한다면 대응할 시간이 줄어듭니다. AI는 센서 자료를 분석하고 표적을 분류하며 행동을 추천하는 시간을 크게 단축할 수 있습니다.

이 속도 경쟁은 자연스럽게 인간을 병목으로 만듭니다. 여러 나라가 인간의 승인 시간을 줄일수록 다른 나라도 같은 선택을 압박받습니다. 각 행위자에게 합리적으로 보이는 결정이 전체에는 위험한 균형을 만들 수 있습니다.

경계의 질문
판단 속도를 높이기 위해 인간을 제거한 시스템에서, 오판의 책임은 누구에게 남을까요?

11.2 죄수의 딜레마와 자동화 경쟁

게임이론의 죄수의 딜레마에서는 서로 협력하는 편이 모두에게 낫지만, 상대의 배신을 두려워한 각자가 배신을 선택합니다. 자율무기 경쟁도 비슷한 압력을 가질 수 있습니다. 모두가 인간 통제를 유지하면 우발적 확전 위험이 줄어들 수 있지만, 상대가 더 빠른 자동화를 선택할 가능성 때문에 각자는 통제를 줄이고 싶어집니다.

이 모델은 미래를 예언하지 않습니다. 국가가 하나의 합리적 플레이어처럼 행동한다는 가정도 현실과 다릅니다. 그러나 속도 경쟁이 윤리적 선택을 개인의 선의만으로 지키기 어렵게 만든다는 구조는 보여 줍니다.

11.3 의미 있는 인간 통제

국제적 논의에서 중요한 쟁점은 단순히 사람이 버튼을 누르는지 여부가 아닙니다. 국제적십자위원회는 예측 불가능한 자율무기와 인간을 직접 표적으로 삼는 자율무기에 대한 강한 제한을 제안하며 인간 통제의 필요성을 강조해 왔습니다 (International Committee of the Red Cross 2021년).

의미 있는 통제에는 적어도 다음 조건이 필요합니다.

  1. 사람은 시스템이 무엇을 인식하고 무엇을 놓치는지 알아야 합니다.
  2. 공격의 시간과 공간, 표적 범위를 제한할 수 있어야 합니다.
  3. 충분한 정보와 숙고 시간 없이 형식적으로 승인해서는 안 됩니다.
  4. 통신이 끊기거나 상황이 달라졌을 때 임무를 중단할 수 있어야 합니다.
  5. 결정 과정과 책임 주체가 사후에 추적 가능해야 합니다.

11.4 속도가 만드는 인식의 붕괴

자동화된 전쟁에서는 사건이 너무 빨리 진행돼 상대의 의도를 확인하기 어렵습니다. 방어 행동이 공격 준비로 해석되고, 센서 오류가 보복을 부르며, 한 시스템의 경보가 다른 시스템의 확신을 강화할 수 있습니다.

금융시장의 자동매매가 짧은 시간에 가격 변동을 증폭시키듯, 군사 시스템의 상호작용도 사람이 이해하기 전에 위험한 경로로 들어갈 수 있습니다. 차이는 손실의 규모와 되돌릴 수 없음입니다.

따라서 느림은 약점만이 아닙니다. 오판을 확인하고 외교적 신호를 읽으며 공격을 취소할 수 있는 안전장치입니다.

11.5 책임의 진공

자율 시스템이 민간인을 잘못 공격했을 때 책임은 개발자, 지휘관, 운용자, 데이터 제공자 가운데 누구에게 있을까요? 각자가 자신의 역할이 제한적이었다고 말하면 책임이 시스템 사이로 흩어집니다.

법과 윤리는 결과가 발생한 뒤 범인을 찾는 장치만이 아닙니다. 위험한 결정을 내리기 전에 누가 어떤 정보를 확인해야 하는지 정하는 사전 설계입니다. 책임을 배정할 수 없는 시스템은 성능이 높아도 배치해서는 안 됩니다.

11.6 비유가 깨지는 지점

게임이론은 이해관계와 전략을 단순화합니다. 실제 국가는 국내 정치, 동맹, 오판, 감정, 규범의 영향을 받습니다. 내시 균형이 인간 배제를 ‘예측한다’고 단정할 수 없습니다. 규범과 조약, 시민의 압력은 게임의 보상 구조 자체를 바꿀 수 있습니다.

이 점이 중요합니다. 나쁜 균형은 운명이 아닙니다. 투명성, 검증, 제한, 국제법은 선택의 조건을 바꾸기 위해 존재합니다.

11.7 마지막 결정은 남겨 두어야 합니다

AI는 인간보다 빠르게 표적을 찾을 수 있습니다. 그러나 누구를 적으로 규정할지, 어느 위험을 감수할지, 죽음을 초래하는 결정을 정당화할 수 있는지는 속도의 문제가 아닙니다.

인간을 루프에 남겨야 하는 이유는 인간이 완전하기 때문이 아닙니다. 인간만이 실수 뒤에 슬퍼하고, 설명을 요구받고, 규칙을 바꾸며, 다시는 같은 피해를 만들지 않겠다고 약속할 수 있기 때문입니다.