[보안뉴스 / 4.12.] 공격자들이 대형 언어 모델을 공격에 활용할 것은 너무나 뻔한 미래

공격자들은 항상 적극적이다. 신기술이 나타나면 그 누구보다 먼저 손을 뻗어 만지고 주무르고 맛 보기 시작한다. 그리고 그것을 자신들의 목적에 맞게 활용하는 데 익숙해 진다. 현재 공격자들의 관심을 받고 있는 기술은 LLM이다.

[보안뉴스 문정후 기자] 인공지능 때문에 난리도 아니다. 특히 챗GPT는 이제 분야를 막론하고 가장 많은 사람들의 입에 오르내리는 주제이자 신문들이 가장 사랑하는 헤드라인인 것이 분명하다. 모든 사람이 챗GPT를 각자의 방식대로 찔러 보고 있고, 그 경험을 공유하느라 많은 시간을 보내고 있다. 그런데 그 누구도 진짜 문제에 대해서는 이야기하지 않는다. 즉 이 대형 언어 모델(LLM)이 무기로 사용될 때 어떤 식으로 변모할 것인지 명확히 얘기하는 사람을 찾기가 힘들다는 것이다.

[보안뉴스 / 4.12.] 공격자들이 대형 언어 모델을 공격에 활용할 것은 너무나 뻔한 미래

[이미지 = utoimage]

인터넷은 이미 너무나 크고 복잡한 공간이다. 그래서 소중한 보물을 숨긴다고 해도 누군가는 그 복잡함 속에서 경로를 찾아내 보물에 도달한다. 사실 반쯤은 자초한 일이기도 하다. 10년 전만 해도 기업들은 하나의 웹사이트만으로도 충분히 사업을 진행했었다.

하지만 요즘은 어떤가? 한 기업이 수십 개의 사이트를 갖는 경우도 있다. 어떤 기술이나 요소들이 어떤 방식으로 사용되었는지 일일이 파악할 수도 없다. 그 ‘파악할 수 없는 것들’ 사이로 공격자들은 파고든다. 최근 필자의 회사에서 이러한 사실을 한 눈에 보여주는 연구 결과를 발표한 바 있다. 간략히 요약하면 다음과 같다.

1) 기업들이 가진 공격 통로(공격을 허용하는 통로)는 매달 그 규모와 수가 크게 요동친다. 전달 대비 9%씩 차이가 난다. 그렇기 때문에 공격을 탐지하고 싶어도 탐지할 수가 없다.
2) 조직들은 평균 104개의 하위 조직들(자기업이나 사업부, 부서, 브랜드, 팀 등)을 보유하고 있다. 그런데 보안 팀은 10~31개의 존재 자체를 모르고 있다.
3) 보안 팀이 전혀 모르고 있는 10~31개의 하위 조직들은 평균 56%의 확률로 초고위험도 내지는 고위험도 취약점이 있다. 이 취약점들은 전부 개인정보나 고객 정보와 관련이 있다.

이 세 가지를 한 마디로 요약하면 다음과 같다. “기업들은 공격자들이 침입해 들어올 수 있을 만한 통로를 그 어느 때보다 많이 보유하고 있고, 그렇기 때문에 그 어느 때보다 더 취약하다.” 보안에 대한 투자 규모 역시 그 어느 때보다 큰 때라는 걸 감안하면 놀라운 결과다.

그런 상황에서 대형 언어 모델이 나타났다. 그리고 곧바로 주류 IT 기술이 되어버렸다. 인공지능이라는 기술이 구사하는 언어는 실로 놀라웠다. 사이버 공격에 활용될 여러 가지 가능성을 사람들은 점치기 시작했다. 일각에서는 과민 반응이라는 이야기도 나오고 있다. 필자가 서두에 얘기했다시피 아무도 ‘명확하게’ 이야기 하지 않고 있어서 ‘정말 챗GPT가 무기로서 활용되는 것을 걱정해야 하는 것인가?’라는 질문에 대부분 어리둥절한 반응이다.

그럼 다시 한 번 질문한다. 우리는 챗GPT가 무기로서 활용될 것을 염려해야 할까? 짧게 답하자면 ‘그렇다’이다. 슬슬 걱정을 시작해야 하는 게 맞다. 다만 여기에는 함정이 하나 있다. 어떻게 보면 긍정적인 부분이 있다고도 말할 수 있다. 이 부분은 글의 말미에 다루겠다.

대형 언어 모델은 반드시 무기로 변모한다
사이버 공격은 여러 단계와 절차로 나눠진다. 그리고 LLM이 사용될 여지가 있는 단계와 절차는 세기가 어려울 정도로 많다. 일부만 예로 들면 다음과 같다.

1) 사전 공격 혹은 정찰 : 공격 대상이 된 조직의 내부 자산과 하부 조직, 각종 장비들과 파일들, 브랜드들, 서비스들을 파악하여 지도를 그려낼 수 있다. LLM이 이 부분을 자동으로 처리해 주면 공격자들로서는 엄청나게 공을 들여야 할 사전 작업을 수초 안에 끝내게 된다.

2) 취약점 발견 : 1)번과 비슷한데, LLM을 통해 공격 대상이 될 네트워크에서 취약점을 편리하게 찾는 것도 가능하다. 발견 후 익스플로잇도 LLM이 담당하는 게 가능하다.

3) 데이터 탈취 : 민감한 데이터 혹은 가치가 높은 데이터를 찾아내 접근한 후 외부로 빼돌리는 작업 역시 LLM이 자동으로 해결해 줄 수 있다.

4) 내부 임직원이 챗GPT와 같이 상용화 된 LLM을 업무에 사용하다가 실수로 민감한 정보를 노출시킬 수 있게 된다. 무료 공개 버전을 사용하기라도 했다면, 실수로 노출된 민감 정보는 광범위하게 공개될 가능성도 높다. 그래서 JP모건(JP Morgan)과 같은 기업은 처음부터 챗GPT의 사용을 금지시켰다.

스피어피싱 공격자들에게 LLM은 특히 유용할 것으로 예상된다. 설득력이 높아서 피해자들을 잘 속이는 피싱 콘텐츠는 다음과 같은 요소들을 포함하고 있다.
1) 피해자에 대한 공격자의 깊은 이해
2) 분야에 어울리는 용어와 문장
3) 깔끔하며 오류가 없는 텍스트 구성

공교롭게도 이 세 가지는 LLM의 가장 큰 장점이다. 매우 많은 분량의 데이터를 빠르게 분석하고, 이를 말끔한 언어로 요약하거나 정리할 수 있다는 건 챗GPT를 통해 무수히 많은 사람들이 증명한 바 있다. 충분한 데이터만 제공한다면 LLM은 진짜 사람이 쓴 것 같은 이메일을 빠르게 다량으로 작성할 수 있다. 스피어피싱은 앞으로 LLM과 좋은 파트너 관계를 유지할 것으로 예상된다.

하지만 보안 팀들에게도 희망은 있다
이처럼 LLM과 관련하여 좋지 않은 소식들이 한 가득이지만 절망하기에는 이르다. 보안 팀 역시 LLM을 활용해 보다 안전한 조직을 만들 수 있기 때문이다. 어떻게? 위에 설명한 것들을 그대로 하면 된다. 공격자가 되어서 회사를 정찰해 지도를 만들고, 취약점을 찾고, 익스플로잇을 해 가면서 보안 점검을 하는 것이다. 사실상 매우 저렴한 레드팀으로서 LLM을 활용할 수 있다는 뜻이다.

그래도 의문이 남을 수 있다. ‘보안 장치들이 효과를 가지려면 공격자보다 한 발 앞서가야 하는데, 공격자와 똑같은 행위를 하는 데 그친다면 그것으로 충분할까?’ 당연히 충분하지 않다. 같은 정찰을 하고 같은 공격을 해도 공격자보다 보안 담당자가 나은 부분이 있어야 방어가 효과를 볼 수 있다.

다행히 위의 방식대로 공격자와 방어자가 똑같이 LLM을 활용한다고 해도 방어자가 공격자보다 나은 점이 있다. 회사에 대해 더 깊이 알고 있다는 것이다. 그렇기 때문에 같은 LLM을 사용해 같은 모의 공격을 한다고 해도 발견할 수 있는 리스크나 공격 통로, 위험 요인들의 양과 질이 달라질 수밖에 없다. 내가 나의 조직을 잘 알고 있다는 것, 이건 매우 큰 장점이다.

공격자들이 LLM을 활용해 공격을 가하기 시작할 거라고 예상하는 건 절대로 ‘오버’가 아니다. 클라우드가 처음 나왔을 때 대부분의 사람들은 이제 해커들의 삶이 힘들어질 것이라고 예상했다. 하지만 어땠는가? 클라우드가 다 도입되기도 전에 공격자들이 먼저 클라우드를 공격에 활용하고 있다. 거의 모든 신기술들이 이런 과정으로 공격자들의 장난감이 되는 게 현실이다. LLM이라고 해서 다를 게 없다.

그러니 아예 우리가 먼저 LLM을 적극 활용해 우리 회사를 스스로 공격해 보자. 공격자들이 그렇게 할 것이라는 걸 알고 있는데, 굳이 앉아서 기다릴 필요가 없다. LLM을 그들이 어떻게 사용하게 될지 예측이 되지 않는다고? LLM을 공격에 직접 써보지 않았으니 예측이 되지 않는 것이다. 한 번 공격자가 되어 보라. 더 단단한 방어자가 되어 있을 것이다.

글 : 롭 구르지브(Rob Gurzeev), CEO, CyCognito
[국제부 문정후 기자(globoan@boannews.com)]