인공지능(AI), 자동화 및 서비스형 사이버 범죄: 새로운 상태에 직면한 방어자

2024년 03월 07일

사이버 보안 분야의 인공지능(AI)

지난 18개월 동안 인공지능(AI)에 관한 논의, 특히 생성적인 인공지능(AI)의 변화하는 잠재력에 대한 흥분과 낙관주의부터 새로운 위험을 도입하는 두려움과 불확실성까지 다양한 반응을 보였습니다.

Darktrace가 의뢰한 새로운 연구에^[1] 따르면, 전 세계적으로 조사된 IT 보안 팀의 89%가 향후 2년 이내에 인공지능(AI)이 강화된 사이버 위협이 조직에 상당한 영향을 미칠 것이라고 믿지만 60%는 현재 이러한 공격을 방어할 준비가 되어 있지 않다고 생각합니다. 이들은 취약점을 표적으로 하는 다수의 멀웨어와 정교함, 생성적 인공지능(AI)을 도구로 사용하여 민감하거나 재산권 정보에 대한 노출 증가 등을 우려하고 있습니다.

Darktrace에서는 글로벌 고객을 기반으로 전반적인 트렌드를 모니터링하여 인공지능(AI) 산업 발전과 함께 보안 팀이 직면한 과제가 어떻게 진화하고 있는지 파악하고 있습니다. 우리는 인공지능(AI), 자동화 및 서비스형 사이버 범죄가 사이버 보안 공격의 속도, 정교함 및 효과를 향상시키는 것을 관찰했습니다.

인공지능(AI)가 피싱 시도에 미치는 영향

Darktrace는 가장 일반적인 공격 형태 중 하나로 남아 있는 피싱에 즉각적인 영향을 미치는 것을 관찰했습니다. 2023년 4월, Darktrace는 ChatGPT^[2]의 광범위한 채택에 따라 2023년 첫 두 달 동안 '새로운 사회공학적 공격'이 135% 증가했다는 연구 결과를 공유했습니다. 이러한 피싱 공격은 다른 피싱 이메일과 비교하여 의미론적, 구문론적으로 강한 언어적 편차를 보였으며, 이는 생산형 인공지능(AI)이 위협 행위자가 속도와 규모에 맞게 정교하고 표적화 된 공격을 할 수 있는 길을 제공하고 있음을 시사했습니다.

Darktrace 고객은 2023년 12월에만 약 2,867,000개의 피싱 이메일을 받았는데, 이는 몇 달 전인 9월^[3]에 관찰된 것보다 14% 증가한 수치입니다. 2023년 9월과 12월 사이에 새로운 사회공학적 기술을 사용한 피싱 공격은 Darktrace 고객 기반 전체에서 평균 35% 증가^[4]했습니다.

이러한 관측 결과는 업계의 다른 사람들이 공유하는 트렌드를 강화합니다. 예를 들어, 마이크로소프트와 Open AI는 최근 국가 위협 행위자가 사용하는 것을 관찰한 대규모 언어 모델(LLM)에 의해 강화된 전술, 기술 및 절차(TTP)에 대한 연구를 발표했습니다. 여기에는 LLM을 사용하여 사회공학적 공격을 초안하고 생성하고, 정찰 정보를 제공하고, 취약점 연구를 지원하는 등의 작업이 포함됩니다.

서비스형 사이버 범죄의 증가

방어자들이 직면하고 사이버 범죄의 증가는 인공지능(AI)만의 문제라고 볼 수 없습니다. 서비스형 사이버 범죄의 증가는 역동성을 바꾸고 있습니다. Darktrace의 2023년 연말 위협 보고서에 따르면 서비스형 사이버 범죄는 계속해서 위협 환경을 지배하고 있으며, 공격자는 대부분 멀웨어(MaaS)와 랜섬웨어(RaaS)와 같은 악의적인 도구를 사용하고 있습니다. 서비스형 생태계는 공격자에게 미리 만들어진 멀웨어부터 피싱 이메일, 결제 처리 시스템의 템플릿, 심지어 헬프라인에 이르기까지 모든 것을 제공하여 공격자가 제한된 기술 지식으로도 공격을 가할 수 있도록 합니다.

이러한 추세는 공격자가 이제 장벽을 줄이는 더 광범위하게 접근할 수 있는 도구 상자를 갖게 되었다는 것을 분명히 합니다.

우발적인 내부자 위협을 가능하게 하는 인공지능(AI)

하지만 기업이 직면한 새로운 위험은 외부 공격자만이 아닙니다. 기업 내에서 생산적 인공지능(AI)을 사용하면 우발적인 내부자 위협이라는 새로운 범주가 발생합니다. 생산적 인공지능(AI)을 사용하는 직원은 그 어느 때보다 많은 조직 데이터에 쉽게 접근할 수 있게 되었습니다. 아무리 선의의 직원이라도 이러한 도구를 통해 의도치 않게 제한적이고 민감한 데이터에 접근하거나 유출할 수 있습니다. 2023년 하반기에 Darktrace 고객 중에 약 절반 정도가 생산적 인공지능(AI)에 접속하는 직원을 확인했습니다. 이 추세가 계속 증가함에 따라 기업은 생산적 인공지능(AI)의 사용 사례를 지침으로 하는 정책과 강력한 데이터 관리 및 이러한 정책을 시행하여 위험을 최소화할 수 있는 능력이 필요합니다.

사전 대비적인 사이버 준비로의 전환

세계경제포럼(World Economic Forum)의 글로벌 사이버 보안 전망 2024(Global Cybersecurity Outlook 2024)에 따르면 "최소 실행 가능한 사이버 복원력을 유지하는" 기업들의 수는 2023년에 비해 30% 감소했으며, "대규모 기업들이 사이버 복원력의 향상을 입증한 반면 중소기업은 상당한 감소를 보였다"고 합니다. 오늘날 서비스형(ASA), 자동화 및 인공지능(AI)으로 증강되는 위협 환경에서 사이버 복원력의 중요성은 아무리 강조해도 지나치지 않습니다.

지금까지 기업들은 사건이 발생할 때까지 기다리고 알려진 공격 데이터에 의존하여 위협을 탐지하고 대응했습니다. 이로 인해 이전에 본 적이 없는 위협을 식별하는 것이 거의 불가능했습니다. 기존의 보안 스택은 엔드포인트, 이메일, 네트워크, 사내 데이터 센터, SaaS 애플리케이션, 클라우드, OT 등을 위한 개별 도구를 사용하여 디지털 환경의 다양한 부분을 보호하는 데 중점을 둔 포인트 솔루션에도 크게 의존했습니다. 이러한 포인트 솔루션은 조합된 공격의 완전한 그림을 형성하기 위해 분리된 사건을 상호 연관시키지 못합니다. 전사적인 이벤트를 통합할 수 있는 도구를 추가하더라도 위협 탐지 및 대응에 크게 중점을 두는 반응형 상태에 있습니다.

기업들은 대응적인 자세에서 사전 예방적인 사이버 준비 태세로 진화해야 합니다. 이를 위해서는 내부 및 외부 취약점을 사전에 식별하고, 공격이 발생하기 전에 보안 정책 및 프로세스의 빈틈을 식별하며, 공격 중에 모든 위협(알려진 것과 알려지지 않은 것)을 조사하고, 사건 발생 후에는 사건 검증 및 복구를 위해 인간 분석가를 상위 수준으로 끌어올리는 접근 방식이 필요합니다.

인공지능(AI)은 SOC 내 격리된 영역을 해체하고 방어자를 확장하고 강화하는 데 도움을 줄 수 있습니다. 다양한 시스템, 데이터 집합 및 스택 내 도구에서 정보를 제공받을 때 풍부한 컨텍스트를 제공하며, 인간 혼자서는 할 수 없는 비즈니스에 대한 심층적인 실시간 행동 이해를 구축할 수 있습니다.

SOC에서 인공지능(AI)이 주는 교훈

Darktrace에서는 10년 이상 인공지능(AI)을 사이버 보안 문제에 적용해 왔으며 우리는 사전 예방적 사이버 준비가 적절한 사람, 프로세스 및 기술의 올바른 혼합이 필요하다는 것을 알고 있습니다.

올바른 인공지능(AI)이 올바른 사이버 보안 문제에 책임감 있게 적용될 때, 인간 보안 팀과 비즈니스 모두에 미치는 영향은 매우 큽니다.

인공지능(AI)은 사이버 보안에서 가장 시간이 많이 소요되고 오류가 발생하기 쉬우며 심리적으로도 부담이 되는 구성 요소들에 기계의 속도와 확장성을 제공할 수 있어 사람들이 제공할 수 있는 가치를 집중시킬 수 있습니다.

인공지능(AI)은 보안에서 가장 시간이 많이 소요되고, 오류가 발생하기 쉬우며, 심리적으로 부담이 되는 구성 요소들에게 기계의 속도와 규모를 제공하여 인간들이 제공할 수 있는 가치 추가 작업에 집중할 수 있도록 도와줄 수 있습니다. 이미 인공지능(AI)은 사고 대응과 지속적인 모니터링를 통해 방어자를 효과적으로 보완한다고 입증된 두가지 분야입니다. 예를 들어, 한 건설 엔지니어링 회사는 SOC 팀의 이메일 사고를 분석하고 대응하는 반복적이고 수동 작업을 Darktrace의 인공지능(AI)을 사용하여 해방시켰습니다.  분석가들은 그들이 각자 주당 10시간씩 이메일 사고 분석 시간을 소비하고 있다고 추정하였지만 인공지능(AI)을 통해 자율적으로 이메일 사고를 분석하고 대응함으로써, 분석가들은 약 20%의 시간을 회복하여 사전 대비적인 사이버 보안 조치에 집중할 수 있었습니다.

효과적인 인간-인공지능(AI) 파트너십은 사전 예방적인 사이버 준비에 핵심이며, 방어자들의 업무에 직접적인 이익을 줄 수 있습니다. 이는 소진을 줄이고, 데이터 기반 의사 결정을 지원하며, 오랜 기간동안 사이버 보안에서 기술 부족을 초래한 부족한 전문 인재에 대한 의존도를 줄일 수 있습니다. 무엇보다도, 인공지능(AI)은 팀원들이 규정 준수, 사용자 교육 및 정교한 위협 추적과 같은 더 의미 있는 작업에 집중할 수 있도록 합니다.

인공지능(AI)의 발전은 빠른 속도로 이루어지고 있습니다. 우리가 이미 조사한대로, 공격자들은 이러한 발전을 지켜보고 본인에게 유리한 방법을 찾을 것입니다. 다행히도, 인공지능(AI)은 방어자들에게 이미 유용한 자산으로 입증되었으며, 사이버 복원역에 대한 사전 대비적인 접근을 방식을 채택함으로써 기업이 다음 단계에 대비할 준비 수준을 높일 수 있습니다. 인공지능(AI) 개발이 계속됨에 따라 사이버 보안의 우선순위를 정하는 것은 혁신과 발전을 가능하게 할 것입니다.

참고문헌

[1] 이 조사는 2023년 12월부터 2024년 1월까지 Darktrace를 대신하여 AimPoint Group & Dynata가 수행했습니다. 이 조사는 호주, 브라질, 프랑스, 독일, 이탈리아, 일본, 멕시코, 네덜란드, 싱가포르, 스페인, 스웨덴, UAE, 영국 및 미국 등 14개국에서 주니어 역할부터 CISO에 이르기까지 보안 팀의 직책에 있는 1773명의 보안 전문가를 대상으로 조사했습니다.

[2] 2023년 1월에서 2월 사이에 이상치를 제어하는 Darktrace/Email 배포에서 탐지된 평균 이메일 공격 변화를 기반으로 합니다.

[3] 2023년 8월 31일부터 12월 21일까지의 Darktrace 전제 고객들의 평균를 계산했습니다.

[4] 2023년 8월 31일부터 12월 21일까지의 Darktrace 전체 고객의 평균을 계산했습니다. 새로운 사회 공학 공격은 과거의 기술과는 다른 언어 기술을 사용하며, 의미론, 구문, 텍스트 양, 구두점 및 문장 길이의 결합을 통해 측정됩니다.

출처: Darktrace 제조사 블로그