(시사캐스트, SISACAST=송현아 기자) 창발현상은 개별 구성 요소에는 없는 새로운 특성이나 행동이 전체 시스템에서 자발적으로 나타나는 현상이다. 시스템의 구성 요소만으로는 예측할 수 없는 특성인데 예컨대 전체는 부분의 합보다 크다는 말로 설명할 수 있다. 구성 요소 간 상호작용이 단순 합이 아닌 예측 불가능한 결과를 만들어낼 수 있다.

창발현상은 자연현상에서도 관찰되는데 개미들이 집을 지을 만한 능력이 없지만 그 집합체는 역할이 다른 개미들의 상호작용을 통해 거대한 탑을 세운다. 꿀벌이 밀랍을 만들고 꿀을 만드는 일 역시 창발현상이다.

창발현상은 단순히 규칙을 아는 것만으로는 예측할 수 없고 시스템을 실제로 작동시켜야 관찰할 수 있다. 창발현상은 인공지능 연구에서 핵심 개념으로 활용되고 시스템의 적응성과 학습 능력을 이해하는 데 중요한 역할을 한다.

프런티어 AI가 두려움과 공포를 자극하는 배경에는 프런티어 AI에 이러한 창발현상이 관찰되기 때문이다.

AI가 인간의 통제를 벗어나 스스로 명령을 내리고 스스로 진화, 발전할 수 있다면 AI가 인간에게 편리하다는 이유로 AI를 신뢰할 수 없다. 사이버보안에서 엄청난 결과를 초래할 수 있기 때문이다. 

프런티어 AI는 현재 AI 기술의 최전선에 위치한 초거대·자율형 AI 모델이다. 기업과 정부에서 전략적·실무적 활용이 가능한 동시에 높은 위험성을 내포한 기술로 대규모 기계학습 모델을 의미한다.

 

창의적이고 불확실한 AI로의 진화, 인간에게 유익한가 vs. 유해한가

기존 파운데이션 모델과 달리, 프런티어 AI의 특징은 창발적 능력, 범용성, 불확실성이다. 

우선, 훈련 데이터에 명시되지 않은 새로운 추론, 코딩, 문제 해결 능력이 스스로 발현되는 창발적 능력이 있다. 다음, 텍스트, 이미지, 음성 등 다양한 데이터 형태를 이해하고 다목적 과제를 수행할 수 있는 범용성이 있다. 아울러, 모델의 의사결정 과정이 예측 불가능하며, 잠재적 위험을 내포하는 불확실성이 있다.

프런티어 AI는 자가 학습과 계획 수립, 외부 도구 활용이 가능한 동적 에이전트로 진화하여, 단순한 명령 수행이 아니라서 실제 업무와 전략적 판단을 수행할 수 있다. 기업 업무 전반에서 AI 에이전트를 동료처럼 활용하여 생산성 향상, 영업 효율 개선, 문제 해결 시간을 단축할 수 있다. 예를 들어, 제조업체는 생산 최적화 시간을 6주에서 하루로 단축했다.

프런티어 AI는 편리해 보이지만 높은 자율성과 예측 불가능성으로 인해 사회적·윤리적 위험을 내포한다.

사이버 공격, 무기 개발, 자율적 공격 수행 등 악의적 사용 가능성, 모델이 잘못된 정보를 확신하며 제공할 수 있다. 나아가 제한을 우회할 수 있는 홀루시네이션 가능성이 있어 인간을 속일 수 있다. 

아울러 대규모 학습에 수 기가와트 이상의 전력이 필요하며, 데이터센터 확보 경쟁이 심화되는 전력 및 인프라 병목현상 등 위험요인에 따라 모델 기반 규제와 엔티티 기반 규제가 병행된다.

따라서, 글로벌 표준은 위험 관리 의무를 개발 기업에 부과하는 혼합형 규제 모델로 자리 잡고 있다

프런티어 AI는 코드 분석, 취약점 탐지, 익스플로잇 생성 능력이 뛰어나 기존 보안 체계를 빠르게 변화시키고 있다. 공격자는 AI를 활용해 제로데이 취약점을 신속히 발견하고 자동화된 공격을 수행할 수 있으며, 방어자는 AI 기반 탐지·자동화 시스템을 구축해야 한다.

프런티어 AI는 기업과 정부의 전략적 경쟁력과 업무 효율성을 극대화할 수 있는 기술이지만, 동시에 윤리적·안보적 위험을 내포하고 있다. 따라서 안전한 활용을 위해 거버넌스, 권한 관리, 모니터링, 규제 준수가 필수적이며, AI 에이전트를 실질적 경쟁 우위로 전환하기 위한 조직적 준비가 필요하다.
 

AI 모델 성능 비약적 향상될수록 해킹 악용 우려 커져 

최근 프런티어 AI 보안위협에 대응하기 위한 금융권의 움직임이 분주하다.

최근 금융위원회(위원장 이억원, 이하 금융위)는 유영준 디지털금융정책관 주재로 금융감독원, 금융보안원, 여신금융협회, 핀테크산업협회, 카드사(2사), PG(4사) 등과 함께 '프런티어 AI 상황대응반' 6차 회의를 개최했다고 밝혔다.

금번 회의는 AI 모델 성능이 비약적으로 향상됨에 따라 AI가 해킹 등에 악용될 우려가 높아지는 가운데 PG업권의 보안 리스크를 긴급 점검하고 향후 대응방향을 논의하기 위해 마련됐다.

PG사는 금융회사(카드사 등)와 가맹점 간 전자금융거래를 중계하는 과정에서 개인정보, 결제정보 등 개인신용정보를 처리하게 된다. PG사에서 침해사고가 발생하는 경우 대규모 개인신용정보 유출, 카드 부정결제 등 직접적인 소비자 피해로 이어질 수 있는 만큼, 금융회사 수준의 철저한 보안관리가 중요하다.

회의에서는 최근 금융권 해킹 동향을 점검하고, 상대적으로 보안이 취약한 PG업권의 보안 리스크 등을 심도 있게 논의했다. PG업권의 개인신용정보 보유·관리 현황, PG업권에서 발생가능한 주요 침해사고 유형, 개인신용정보 유출 등 사고발생시 대응체계 등에 대해 중점 점검했다.

PG업권은 업무 특성상 다양한 종류의 개인정보를 처리하고 있어 정보 유출시 부정결제 등 직접적인 소비자 피해로 이어질 가능성이 매우 크다.

 

PG업권에 대한 침해사고 양상 다각도 진화...침해사고 탐지·대응체계 필요

PG사 자체의 보안취약점을 직접 악용하는 방식뿐만이 아니라, 상대적으로 보안이 취약한 가맹점의 보안취약점을 악용한 우회 공격도 빈발하고 있다. 회의 참석자들은 PG업권의 보안리스크 대비를 위한 다양한 방안을 논의했다.

첫째, PG사는 여러 금융회사 및 가맹점과 시스템을 연계하고 있는 만큼, 자체 시스템에 대한 보안취약점뿐만이 아니라 가맹점 등 외부 접점에서 발생할 수 있는 보안 위협까지 종합적으로 고려하여 침해사고 탐지·대응체계를 갖출 필요가 있다는 점에 공감하였다.

둘째, 카드정보 등이 유출될 경우 소비자가 인지하지 못하는 사이에 2차 피해가 발생할 수 있으므로, 소비자 피해 가능성을 최소화하기 위해 PG업권에서 처리하는 정보를 최소화하고 불필요하거나 과도한 정보를 수집하지 않도록 해야 한다는 의견이 제기됐다.

셋째, PG사에서 정보유출 사고가 발생한 경우 신속한 소비자 피해 예방을 위해 PG사·카드사·관계기관(금융감독원·금융보안원 등) 간 보다 긴밀한 협조가 필요하다는데 인식을 같이 했다. 카드정보 유출시 신속히 카드사와 공유하여 이상거래탐지시스템(FDS) 등록, 이상거래·부정결제 모니터링 강화 등을 수행할 수 있도록 하는 한편, 신속한 고객 안내, 카드 재발급, 소비자피해 전액보상 등 적극적인 소비자 보호조치도 함께 이루어지는 것이 중요하다는 점이 강조됐다.

금융위 유영준 디지털금융정책관은 “PG사는 금융회사에 비해 상대적으로 규모가 작지만 다수의 금융회사, 가맹점과 연결되어 대량의 개인신용정보를 처리하고 있는 만큼, 보안사고로 인한 소비자 피해가 발생하지 않도록 철저한 보안관리가 중요하다”고 강조했다.

이어서 “침해사고 발생시에는 카드사, 관계기관과 긴밀히 협력하여 소비자 피해 예방조치가 즉각 이루어질 수 있도록 대응체계를 지속 점검·보완해야 한다”고 강조하면서, “금융분야는 오픈뱅킹, 마이데이터 등 API를 통해 시스템 연계성이 높은 만큼, 금융 생태계에 참여하는 모두가 보안 강화에 힘써야 한다”고 했다. 

아울러, “AI를 활용한 침해위협이 현실화되고 있는 상황에서 PG업권도 보안위협에 철저히 대비할 필요가 있다”고 언급하며, “지난 3일 실시한 제 2차 망분리 규제 긴급 완화 조치부터 전자금융업자도 참여할 수 있도록 참여대상을 확대한 만큼, 향후에도 적극 참여하는 한편, 금융AI보안연구소·지원센터, 금융 AI 보안 가이드라인 등 정부가 추진하는 정책도 적극 활용해 줄 것”을 당부했다. 이어서 “금번 회의를 계기로 PG업권의 보안체계 및 소비자 보호체계를 보다 면밀히 살펴보고, 제도개선 사항도 적극 발굴·검토해 나가겠다”고 밝혔다. [시사캐스트]