김창익 교수, 안보과학기술대학원장
AI의 엄청난 잠재력은 세계적인 세력과 영향을 차지하려는 국가들과 기업들 간의 경쟁 압력을 만들어냈다. ‘AI 경쟁’은 자신들의 위치를 확보하고 살아남기 위해 빠르게 AI를 개발하고 도입해야 한다고 느끼는 국가들과 기업들에 의해 주도되며 이러한 동적 압력은 글로벌 리스크를 올바르게 우선시하지 않아 AI 개발이 위험한 결과를 초래할 가능성을 높이게 한다. 이와 같이 AI 경쟁에 참여하는 것은 냉전 시대의 핵 무기 경쟁과 유사하게 개별적인 단기 이익을 얻을 수도 있지만, 궁극적으로는 인류에게 더 나쁜 총체적 결과를 초래할 것이다. 중요한 것은 이러한 위험들이 AI 기술의 본질적인 문제로부터 기인할 뿐만 아니라 경쟁 압력에서도 비롯된다는 점이다.
특히, 군사용 AI의 개발은 전쟁 기술의 새로운 시대를 열고 있으며, 이는 화약과 핵무기에 버금가는 잠재적인 결과를 초래할 수 있는 것으로, 이를 ‘전쟁의 세 번째 혁명’이라 부르기도 한다. AI의 무기화는 더 파괴적인 전쟁, 우연한 사용이나 통제권 상실의 가능성, 그리고 악의적인 행위자들이 이러한 기술을 자신들의 목적에 사용하는 가능성과 같은 다양한 도전 과제를 제기한다. AI가 전통적인 군사 무기에 영향을 미치고 점차 지휘 및 통제 기능을 담당하게 되면, 인류는 전쟁에서의 패러다임 변화를 맞이하게 될 것이다. 이제부터 우리는 국방 영역에서의 AI 경쟁이 자율무기체계, 자동화 전쟁, 그리고 사이버전에 어떤 영향을 미치고 있는지를 살펴볼 것이다. 이를 통해 AI 군사 경쟁이 세계 안보에 미치는 잠재적 위험을 분석하고, 그로 인해 초래될 수 있는 심각한 결과가 어떻게 종말적 위협으로 확대될 수 있는 지를 살펴보고자 한다.
1) 자율무기체계
일반적으로 이해되는 자율무기체계는 ‘일단 작동하면 인간이 개입하지 않고도 자율적으로 전개되어 목표물을 확인하여 물리적으로 공격하는 능력을 갖춘 무인무기체계’이다. 이들은 의사 결정 속도와 정밀도에서 지속적인 발전을 거듭하고 있지만 전쟁은 사회의 평화와 안전 문제에 위협을 가하는 영역이므로, 도덕적이고 실용적인 면에서의 우려가 매우 크다고 하겠다. 자율무기체계의 존재 자체가 재앙은 아니지만, 자율무기체계는 악의적 사용, 사고, 통제권 상실 또는 전쟁의 증가로 인한 재앙으로 향하는 길목으로 작용할 수 있다.
자율무기시스템의 성능은 인간보다 훨씬 뛰어날 것이다.
AI 기술의 급속한 발전에 힘입어 인간 지시 없이 스스로 인식하고 목표를 지정하며 인간을 공격 결정할 수 있는 자율무기 시스템은 전투의 미래를 혁신하고 있다. 2020년에는 고급 AI 에이전트가 경험 많은 F-16 비행사들을 가상의 전투에서 능가하여 인간 비행사에게 5-0으로 승리하며 ‘인간 비행사가 따라잡지 못하는 공격적이고 정확한 기동’을 선보이기도 했다. 과거에도 그랬듯이, 뛰어난 무기는 더 짧은 기간 동안 더 많은 파괴를 일으킬 수 있어 전쟁의 심각성을 증가시킬 것이다.
AI가 전쟁 속에 등장하다.
완전 자율 드론은 2020년 5월 리비아 내전에서 처음으로 사용되었을 가능성이 있으며 당시 후퇴하는 군대가 완전 자율 상태로 작동하는 드론에 의해 추격당하고 원격으로 공격당했던 것으로 추정되고 있다. 이 드론을 개발한 튀르키예 국영 방산기업 에스티엠(STM)사는 현재도 공격용 드론이 안면인식 기술을 장착했다고 홍보하는 반면, 윤리적 문제는 전혀 언급하지 않았다. 2021년 5월, 이스라엘 군은 가자지구에서 활동하는 이슬람 원리주의 조직 하마스를 대상으로 한 전투 작전 중 세계에서 처음으로 AI로 조종되는 무기화된 드론 스웜을 사용했으며, 이는 전쟁에서 AI와 드론 기술을 통합한 중요한 이정표로 여겨진다. 조종사 한명이 드론 한 대만 날릴 수 있는 것과 달리 스웜비행은 수십 대에서 수백 대의 드론이 기체간 통신을 하면서 무리지어 자율비행하는 형태를 말한다. 스웜비행에 의한 공격이 적에게 큰 위협이 되는 이유는 기체가 전투기나 미사일 등 기존의 공중무기와 비교해 비용이 저렴하고 기체가 소형이기에 레이더에 잡히지 않는 등 탐지가 어렵다는 것이다. 이 밖에도 스웜의 일부가 공격당해도 남은 스웜으로 임무 달성 능력이 유지되고 스웜내에서 기능을 분담하거나 역할을 교대하는 것도 가능하다. 2023년 8월에는 우크라이나군이 소형폭탄을 탑재한 드론 4대로 구성된 소규모 스웜으로 러시아 박격포를 파괴했다고 미국 월스트리트 저널이 보도한 바 있다. 지상에서는 걷고 쏘는 로봇이 전장에서 군인들을 대체하는 것은 아직 현실이 아니지만, 최근의 기술들은 이를 가능하게 할 수 있는 방향으로 빠르게 진화하고 있는 중이다.
자율무기체계는 전쟁의 가능성을 높인다.
군대를 전장에 내보내는 것은 자국 군인들의 생명이 걸린 일이기에 국가 지도자들이 가볍게 결정할 수 있는 문제가 아니다. 그러나 자율 무기는 자국 군인들의 생명을 위험에 빠뜨리지 않고도 공격을 수행할 수 있게 하므로 국내의 반대 의견을 줄일 수 있다. 원격 조종 무기도 이 이점을 공유하지만, 이러한 무기들은 인간 조작자가 필요하고 방해 대책에 취약한 점에서 확장성이 제한된다고 할 수 있다. 이런 제한점을 자율무기체계는 극복할 수 있는 것이다. 일반적으로 분쟁이 지속되고 피해자 수가 증가함에 따라 대중의 의견은 전쟁을 계속할 의사를 잃어가게 된다. 하지만 자율무기체계는 이러한 상황을 바꿀 것이다. 국가 지도자들은 더 이상 자국 병사들의 희생을 우려하지 않아도 되기에, 전쟁에 참전하기 전에 거쳐야할 고뇌의 시간을 대폭 줄일 수 있게 된다. AI에게는 사람을 죽이는 것에 대한 망설임도, 죽음에 대한 공포심도 없기 때문에 (또는 없다고 여겨지기 때문에) 전쟁을 시작하는 장벽은 낮아질 것이며 분쟁의 가능성은 증가하게 될 것이다. 하지만 전쟁으로 인한 희생양은 AI가 아니고 인간이기에 평화를 지키려는 굳은 의지와 체계가 필요하다.
2) 자동화된 전쟁
자율무기체계는 인간이 사전에 프로그래밍한 목표를 달성하기 위해 자체적으로 결정을 내리고 행동하는 무기 시스템을 말하는 반면 자동화된 전쟁 (Automated Warfare)이란 전쟁 전반에 걸쳐 자동화된 시스템과 기술을 사용하여 전략, 전술 및 전투 작전을 수행하는 개념이다. 즉, 자율무기체계뿐만 아니라 자동화된 군사시스템을 포함하는 좀 더 큰 개념이라 할 수 있다.
AI 기술은 전쟁의 속도를 높이며, 이로 인해 AI에 대한 의존도는 더욱 심해질 것이다.
AI는 대량의 데이터를 신속하게 처리하고 복잡한 상황을 분석하며 지휘관의 통찰력에 도움을 줄 수 있다. 전장으로부터 무인기가 찍어 보낸 영상. 인공위성사진, 척후병의 보고, 심지어 기상 데이터에 이르기까지 다양한 센서와 고급 기술로 인해 많은 정보가 들어온다. AI는 이 정보를 해석하여 중요한 패턴과 관계를 찾아내어 사람들이 놓칠 수 있는 중요 정보를 찾아내는 데 도움을 준다. 예를 들어 적의 부대 상황은 물론이고 기상데이터로부터 초단기 기상 예측을 하는 AI를 통해, 향후 2시간 이내의 전장의 기상상황을 예측하여 작전에 반영할 수도 있다. 이와 같이 전장에서 지휘관이 이용가능한 정보의 형태와 개수가 늘어날수록 인간이 AI와 맞먹을 만큼 빠르게 정확한 결정을 내리는 것은 점점 더 어려워질 것이며 이는 결국 군대가 결정적인 통제권을 AI에게 넘기도록 압력이 가중될 것이다. 즉, AI가 전쟁의 모든 측면에 계속해서 통합되면 전투의 속도는 더욱 빨라질 것이며 결국 인간이 변화무쌍한 전장 상황을 빠른 시간 내에 판단하고 결심하는 것이 불가능해짐에 따라 결정권을 고도로 발전한 AI에게 양도해야 하는 상황에 처하게 될 확률이 높다.
자동적인 보복은 단순한 사고를 전쟁으로 확대시킬 수도 있다.
이미 컴퓨터 시스템이 인간의 개입없이 자동적으로 보복할 수 있도록 하는 의사결정 시스템이 존재하는 것으로 알려져 있다. 2014년에는 NSA가 미국 기반 시설에 대한 사이버 공격을 자동으로 감지하고 차단할 수 있는 시스템인 먼스터마인드 (MonsterMind)를 개발 중이라는 유출정보가 공개되었다.7,8 NSA의 사이버공격에 대한 자동 반격 프로그램인 몬스터마인드의 존재를 알리고 기계오류로 우발적전쟁이 일어날 수 있다고 경고한 이가 바로 NSA의 무차별 개인정보 수집 실태를 폭로한 뒤 러시아로 피신했던 전 미국 정보요원 에드워드 스노든이다. 예를 들어, 중국에서 시작된 것으로 보이는 사이버 공격이 실제로는 러시아에서 시작된 것일 수도 있으며 이는 피해 측의 보복 공격이 엉뚱한 대상을 타겟으로하여 자칫 걷잡을 수 없는 혼란스러운 상황이 벌어질 수 있음을 뜻한다. 만일 여러 전투 참가국이 자동 보복 정책을 가지고 있다면, 사고나 잘못된 경보가 인간 개입 없이 빠르게 대규모 전쟁으로 확대될 수 있다. 이와 같은 현대 AI 시스템의 신속한 정보 처리 능력으로 인해 인간개입없이 핵 미사일 발사에 대한 결정을 자동화하는 것이 더 매력적으로 여겨지는 상황이 닥치면 인류는 매우 위험한 상황에 놓이게 될지도 모른다.
자동 보복의 위험을 보여주는 실제 예가 있다. 1983년 9월 26일, 소련 공군 방공군 대령인 스탠리슬라프 페트로프는 모스크바 근처의 Serpukhov-15 벙커에서 근무 중이었고, 소련의 대피 미사일의 초반 경보 시스템을 감시하고 있었다. 그 때 시스템이 미국이 소련으로 여러 개의 핵 미사일을 발사했다는 것을 나타냈으며 당시 규정에 따르면 이러한 사건은 합법적인 공격으로 간주되어 소련은 핵 보복 공격으로 응답해야 했다. 만약 페트로프가 이 경보를 상급자에게 전달했다면 이런 결과가 발생했을 것이다. 그러나 그는 이를 거짓 경보로 판단하고 무시했고 곧 그 경보가 드물게 발생한 기술적 결함에 의한 것이었음이 확인되었다. 만약 사람이 아니라 AI가 시스템을 제어하고 있었다면 이러한 오류로 핵 전쟁이 발생할 수 있었을 것이다. 이와 같이 즉시 ‘보복’ 공격을 시작할 수 있는 권한을 가지고 있는 한 시스템이 오작동하여 적의 공격을 감지하여 대응 공격을 하게 되면 이 공격으로 다른 쪽에서 자동적인 보복이 일어나고, 이러한 공격과 보복의 파도가 일어나게 된다. 과거에도 인간의 실수로 인해 에스컬레이션이 발생한 적이 있었지만, 대부분 자동화된 군대들 사이의 이 에스컬레이션은 이전에 있었던 것보다 훨씬 빠르게 일어난다. 또한 갑작스런 상황에 대응하려는 인간들은 AI 시스템이 투명하지 않기 때문에 문제의 근원을 진단하는 것이 매우 어려울 것이다.
AI로 제어되는 무기 시스템은 즉각적인 전쟁을 일으킬 수 있다.
자율 시스템은 완벽하지 않다. 이미 경제분야에서 우리는 자동화된 시스템의 오류가 경제에서 얼마나 빠르게 증폭될 수 있는지를 목격한 바가 있다. 특히 2010년 플래시 크래시에서는 자동 거래 알고리즘 간의 피드백 루프가 일반적인 시장 변동을 금융 재앙으로 증폭시켜 몇 분 만에 1조 달러의 주가가 사라지는 결과를 초래했다. 미국 증권거래위원회는 “시장에 널리 자리잡고 있는 자동화된 주식처분 프로그램과 알고리즘 트레이딩 간의 상호작용이 시장 무질서를 촉발했다”고 진단했다. 여러 국가에서 AI를 사용하여 방어 시스템을 자동화한다면 오류는 치명적일 수 있으며, 인간이 개입할 시간조차 없이 공격과 반격의 나선형을 일으킬 수 있다 – 주식 시장은 2010년 플래시 크래시에서 빠르게 회복되었지만, 즉각적인 전쟁으로 인한 피해는 치명적일 수 있다.
자동화된 전쟁으로 인해 군사 지도자들이 가져야 할 책임감은 줄어들게 된다.
군사 지도자들은 그들이 전쟁 법을 무시한다면 이를 이용해 전장에서 적지 않은 이점을 얻을 수 있다는 것을 잘 알고 있다. 예를 들어,일반인의 피해를 최소화하기 위한 조치를 취하지 않는다면 병사들은 더 강력한 공격을 수행할 수 있을 것이다. 그럼에도 불구하고 중요한 억제 요인은 그러한 행위가 군사 지도자들이 언젠가는 전쟁 범죄로 책임을 지거나 심지어 기소될 수 있는 위험한 행동이라는 것이다. 하지만 자동화된 전쟁은 이러한 억제 효과를 줄일 수 있다. 군사 지도자들이 자동화된 시스템의 실패를 탓함으로써 전쟁법 위반의 책임에서 벗어날 수 있게 만들기 때문이다.
AI는 전쟁을 더 불확실하게 만들 수 있으며, 이는 충돌의 위험을 증가시킬 수 있다.
AI를 기반으로 한 첨단 무기 혁신은 기존의 초강대국들이 그들의 지배력을 더욱 강화할 기회를 제공할 뿐만 아니라, 새롭고 중요한 분야에서 앞서 나가면서 자신들의 권력을 신속하게 증가시킬 수 있는 기회도 제공할 수 있다. 반대로, 새로운 기술을 통합하는데 얼마나 민첩하고 적응적인가에 따라 과거에 비해 국가간 힘의 우열이 쉽게 바뀔 수도 있으며 이러한 힘의 불확실성은 국가들이 전쟁을 통해 이익을 얻을 수 있다고 잘못 판단하도록 만들 수도 있다. 힘의 균형과 관련된 고려 사항들을 떠나, 빠르게 진화하고 있는 자동화된 전쟁은 과거에 겪어본 적이 없는 이례적인 일이기에, 특정 충돌에서 승리할 가능성을 예측하는 것을 어렵게 만들 수 있다. 이는 잘못된 판단의 위험을 증가시켜 전쟁의 발생 가능성을 높일 수 있게 한다.
3) 사이버전
AI 기술은 치명적인 무기뿐만 아니라 사이버 공격을 수행하기 위한 진입 장벽을 낮춰 더 빈번하고 파괴적인 공격을 일으킬 수 있다. 이러한 공격은 디지털 환경은 물론 물리적 시스템에서도 심각한 피해를 일으킬 수 있으며, 사회가 의존하는 중요한 기반 시설을 파괴할 수도 있다. AI는 사이버 방어 노력을 강화하는 데 사용될 수도 있지만, 공격과 방어 중 어느 쪽이 더 효과적일지는 여전히 불분명하다. 공격자가 방어자에 비해 더 유리한 경우, 사이버 공격이 더 흔해져 큰 규모의 지정학적 격동을 일으킬 가능성이 있으며, 그로 인해 대규모 충돌로 이어질 수 있다.
사이버 공격은 중요한 기반 시설을 파괴할 수도 있다.
사이버 공격은 물리적 프로세스를 제어하는 컴퓨터 시스템을 해킹하여 광범위한 기반 시설 피해를 초래할 수 있다. 예를 들어, 시스템 구성 요소를 과열시키거나 밸브를 잠그면 압력이 쌓여 폭발로 이어지게 할 수 있다. 이러한 방식으로 사이버 공격은 전기망 및 급수 시스템과 같은 중요한 기반 시설을 파괴할 수 있다. 2015년 러시아의 사이버 전쟁 부대가 우크라이나 전력망을 해킹하여 20만 명 이상의 사람들을 몇 시간 동안 전력 공급이 끊긴 상태로 남겼던 사례가 있으며 2023년 여름에는 러시아의 군사, 사이버 조직, 선전 부대가 우크라이나의 농업 부문을 집중적으로 공격한 일이 있었다. 러시아 정보기관(GRU)과 연관된 시셸 블리자드는 식품 및 농업 부문 네트워크에 파괴적인 악성소프트웨어 변종을 사용했다. 이러한 공격으로 100만명 이상이 1년 동안 먹을 수 있는 양의 곡물이 파괴됐다고 한다. AI가 강화된 공격은 생존을 위해 중요한 기반 시설에 의존하는 수십억 명의 사람들에게 더욱 파괴적이고 치명적일 수 있는 잠재력을 갖고 있다.
AI는 사이버 공격의 빈도와 효과를 현저히 증가시킬 수 있는 잠재력을 가지고 있다.
사이버 공격은 이미 현실이지만 AI를 사용하여 공격의 성공률을 높이기 위해 목표 시스템에서 더 중요한 취약점을 찾을 수 있는 기계 학습 도구를 사용할 수 있다. 또한 수백만 시스템을 병렬로 실행하여 공격 규모를 늘리고, 시스템에 침투하는 새로운 경로를 찾아내어 속도를 높일 수 있다. AI 무기를 탈취하는 데 사용된다면 공격은 더욱 강력해질 수 있다.
AI 기반 사이버 공격의 원인을 규명하기가 어려워 전쟁의 위험을 높일 수 있다.
중요한 국가 인프라에 물리적 손상을 초래하는 사이버 공격을 실시하기 위해서는 높은 기술과 노력이 필요하며 이는 국가 수준의 능력에만 해당할 수 있다. 이러한 공격은 전쟁 행위로 간주되어 완전한 군사적 대응을 유발할 것이다. 그러나 AI를 사용하면 공격자가 그들의 정체성을 숨길 수 있으므로, 예를 들어 탐지 시스템을 회피하거나 공격자의 흔적을 더 효과적으로 감출 수 있도록 할 수 있다. 만약 사이버 공격이 더욱 은밀해지면, 이는 공격당한 당사자로부터의 보복 위협을 줄어들게 하여 공격 가능성이 더 높아질 수 있다. 만약 은밀한 공격이 발생한다면, 이는 공격 대상이라고 의심되는 관련없는 제3자에 대한 실수적인 보복을 자극할 수 있으며, 이는 충돌의 범위를 크게 확대할 수 있다.
마치며
적의 공격에 대비하는 가장 좋은 방법은 자국의 군사 능력을 향상시키는 것으로 여겨질 수 있다. 그러나 경쟁 압력이 늘어나면 모든 당사자가 무기의 양과 질을 향상시키려고 하기 때문에 누구도 큰 이점을 얻지 못하고 모두가 더 큰 위험에 노출될 것이다. 미국의 전 해군 장관 리처드 댄지그는 “복잡하고 불투명하며 새로운 상호 작용을 요하는 기술은 사고, 긴급효과 및 파괴행위를 유발할 것입니다. 여러 차례 여러 가지 방식으로 미국 국가 안보 기관은 자신이 만든 시스템을 통제하지 못할 것입니다. 무력은 공격을 줄이기 위한 전략이지 사고를 막기 위한 것이 아닙니다”라고 지적한 바 있다.
이와 같이 AI 무기 경쟁은 어떤 나라에게도 최선의 선택이 되지 못한 채 인류를 위험한 길로 이끌 수 있다. 우리는 종말적 위험에 대해 원하든 원하지 않든 모두 같은 편에 있음을 기억하는 것이 중요하며, 그러한 위험을 예방하기 위해 집단적인 협력이 필요한 것은 당연하다. 파괴적인 AI 무기 경쟁은 아무에게나 이로운 것이 없으므로 모든 주체는 무기화된 AI의 가장 위험한 사용을 예방하기 위해 서로 협력하는 것이 합리적일 것이다. 드와이트 D. 아이젠하워는 “세계 3차 대전에서 승리하는 유일한 방법은 그것을 예방하는 것이다.”라고 우리에게 상기시킨 바 있다.
