레드팀(Red Team)

1. 개요2. 상세 설명3. 활용 예시

3.1. 미국3.2. 한국

[clearfix]

1. 개요

레드팀(Red Team)은 조직 내에서 전략적 취약점을 발견하고 이를 공격하는 역할을 맡은 팀 또는 그러한 팀을 구성하는 의사결정 기법을 의미한다. 조직의 의사결정 과정에서 발생할 수 있는 편향을 방지하고, 전략적 결함을 미리 파악해 보완하는 데 목적을 둔다. 보안, 군사, 기업 전략 외에도 금융, 의료, 기술 등 다양한 분야에서 활용되고 있다.

2. 상세 설명

레드팀의 개념은 냉전 시기 미군이 군사 훈련에서 아군의 취약점을 분석하기 위해 가상의 적군을 구성하면서 시작되었으며, 이후 군대, 기업, 정부, 언론사, 금융, 서비스 등 다양한 분야에서 활용되고 있다.

레드팀은 조직의 취약점을 발견하고 이를 보완하기 위한 다양한 활동을 수행한다.
- 첫째, 향후 발생할 수 있는 잠재적인 상황을 미리 시뮬레이션하여 대비책을 마련한다. 이를 통해 조직은 위기 상황에 더 효율적으로 대응할 수 있다.
- 둘째, 경쟁사나 실제 공격자의 입장에서 조직의 취약점을 탐구한다. 이 과정에서 조직의 보안 시스템이나 전략적 계획에서 발견할 수 있는 결함을 공격자의 시각으로 분석한다.
- 셋째, 대체 분석(Alternative analysis)을 통해 기존의 접근 방식과 다른 관점을 제시하며, 이를 통해 조직은 새로운 통찰력을 얻고 전략적 결정을 더욱 철저하게 검토할 수 있다.

레드팀이 성공적으로 운영되기 위해서는 독립성이 보장되며, 조직 내부와 외부의 논리에 정통한 전문가 그룹으로 구성되어야 한다. 더불어 객관성을 유지할 수 있도록 조직 내부의 정책이나 문화에 너무 얽매이지 않고 객관적인 시각에서 취약점을 탐구해야 한다. 또한 레드팀이 제시하는 비판적인 결과물이 의사결정자에 의해 적절히 수용되어야만, 조직은 이러한 시뮬레이션을 통해 위기를 예측하고 대비할 수 있다.

3. 활용 예시

레드팀은 인공지능(AI) 업계에서도 점차 많이 활용되고 있다. AI 시스템의 복잡성이 증가함에 따라, AI 모델의 신뢰성, 보안성, 공정성을 평가하고 잠재적인 문제점을 찾아내기 위한 방법으로 레드팀의 역할이 중요해지고 있는 것. 특히 다음과 같은 상황에서 AI 레드팀 활동이 효과적이다.

- AI 보안 취약점 탐색 : 레드팀은 공격자가 AI 모델에 잘못된 입력을 주입해 오작동을 유발하는 시나리오를 모의하고, 이러한 보안 취약점을 분석하여 방어책을 제시한다. 이를 통해 AI 시스템이 실시간 환경에서 안전하게 작동할 수 있도록 도울 수 있다.
- AI 모델의 공정성 및 편향 문제 점검 : AI는 편향된 결정을 내리면 특정 인종, 성별, 연령에 불리한 결과를 초래할 수 있다. 레드팀은 AI 학습 데이터와 알고리즘을 분석하여 편향 여부를 점검하고, 공정성 문제를 해결할 수 있는 방안을 제시합니다. 이를 통해 AI가 윤리적이고 객관적인 결정을 내리도록 하는 데 기여한다.
- AI 신뢰성 검증 : 레드팀은 예측하지 못한 상황에서 AI 시스템이 안전하게 작동할 수 있는지 시나리오를 통해 테스트하고, 잠재적 오류를 미리 발견하여 개선책을 마련합니다. 이를 통해 AI 시스템의 신뢰성을 보장한다.

3.1. 미국

1. 마이크로소프트 AI Red Team

- 2018년 출범한 마이크로소프트 AI 레드팀은 AI 시스템 취약점을 식별하고 대응하는 방법을 연구한다.
- AI 챗봇 '빙' 개발부터 배포 전 과정에 긴밀하게 협력했으며, MS 내부에서 생성 AI를 탑재한 제품을 출시하기 전 AI 레드팀 테스트를 반드시 거치는 정책까지 만들었다.[1]

2. 구글 AI Red Team

- Google의 AI Red Team은 2023년에 발표된 보안 팀으로, 인공지능 시스템에 대한 복잡한 공격을 시뮬레이션하고 보안 취약점을 탐지하는 데 초점을 맞추고 있다.
- 프롬프트 엔지니어링이나 데이터 중독(Data Poisoning)과 같은 공격을 시뮬레이션하여 AI 시스템의 취약점을 찾아내고, 구글의 다양한 제품과 기능에서 발생할 수 있는 잠재적 보안 문제를 해결하기 위한 테스트를 진행한다.
- 구글 AI Red Team 팜플랫 https://services.google.com/fh/files/blogs/google_ai_red_team_digital_final.pdf

3. Open AI의 Red Team

- 오픈AI는 챗GPT-4 출시 전 50명의 AI레드팀을 고용, 챗GPT가 오픈AI 개발팀의 의도와 다르게 유해하거나 편견을 가진 답변을 만들어내는 방법을 지속적으로 찾아냈다.[2]
- 실제로 ‘사람을 죽이는 방법’ ‘알카에다에 합류하는 방법’ ‘무면허 총기를 구매할 수 있는 방법’ 등을 챗GPT가 답변하게 했고, 오픈AI는 이런 약점들을 최대한 보완한 뒤 챗GPT를 공개했다.[3]

4. 메타(Meta)의 ‘Red Team X’

- 2019년 개설되어 Meta 인프라뿐만 아니라 Meta의 생태계에서 사용되는 외부 제품들의 보안 취약점을 사전에 찾아내고 해결하기 위해 활동하고 있다.
- Android와 macOS 시스템에서 중요한 취약점을 발견하고 수정하는 활동이 있습니다. 이들은 악의적인 공격자가 악용할 수 있었던 중요한 보안 결함을 찾아내고, 해당 플랫폼에 대한 보안 패치와 개선 작업을 이끌어냈다.[4]

5. 세계해킹방어대회(데프콘 31) : AI Red Team 챌린지

- 2023년 개최된 가장 큰 규모의 AI 모델 보안 점검 행사 중 하나이다. 이 행사는 AI Village, SeedAI, Humane Intelligence, AI Vulnerability Database와 같은 여러 파트너들이 협력하여 진행되었으며, 백악관 과학기술정책실(OSTP)과 미국 국립과학재단(NSF) 등의 지원을 받았다.
- Anthropic, Cohere, Google, Hugging Face, Meta, NVIDIA, OpenAI, Stability AI가 구축한 대규모 언어 모델(LLM)을 대상으로 수천 명의 참가자가 실시간으로 보안 취약점을 탐색하는 활동이 이루어졌다.
- 2,200명 이상의 참가자가 21가지 챌린지를 통해 LLM의 결함을 찾아내는 방식으로 진행됐다.
관련 뉴스

3.2. 한국

1. ‘생성형 AI 레드팀 챌린지’

- 2024년 4월 국내에서 최초로 개최된 레드팀 챌린지
- 초거대 언어모델(Large Language Model, LLM)의 안전성, 신뢰성 및 보안을 강화하기 위해 참가자들이 모의 프롬프트 공격을 실시하여 모델의 안전성을 검증하는 대회로, AI 윤리 및 안전에 관심 있는 국민 누구나 참여할 수 있었다.
- 네이버클라우드, SK텔레콤, 업스테이지, 포티투마루 등 국내 AI 기업의 LLM 모델을 대상으로 참가자가 잠재적 위험·취약점을 식별하는 공개 챌린지 방식으로 진행 됨.
- 참가자 : 1천여명 / 공격 프롬프트 수 : 1만 9238개

일시	2024년 4월 11~12일
장소	서울 코엑스 B2홀
주최	과학기술정보통신부[5]
주관	한국정보통신기술협회, 초거대AI추진협의회
대표 파트너사	셀렉트스타, 네이버