딥러닝을 통한 게임 봇 탐지를 위한 판단 근거 분석 기법

아래의 링크의 논문으로 스터디한 내용 요약입니다.

 

https://www.earticle.net/Article/A379291

딥러닝 모델을 사용한 게임 봇 탐지 시스템에서 판단 근거 분석을 위한 기법

 

딥러닝을 통한 게임 봇 탐지를 위한 판단 근거 분석 기법¶

딥러닝 모델을 사용한 게임 봇 탐지 시스템에서 판단 근거 분석을 위한 기법(한국차세대컴퓨팅학회 논문지 2020.06) 논문의 내용을 정리한 문서입니다.

요약(본문 발췌)

최근 온라인 게임 시장 규모가 급격히 성장하면서, 게임 내 재화를 획득하기 위한 부정행위가 빈번하게 발생하고 있 다. 대표적인 부정행위 중 하나인 게임 봇(game bot)은 게임 내 재화를 부정하게 수집하여, 게임 내 균형을 파괴하 고 콘텐츠를 빠르게 고갈시켜 게임 수명을 단축시키는 문제를 야기한다. 본 논문에서는 사용자 행위 로그를 입력으 로 하는 다층 퍼셉트론(Multi Layer Perceptron)을 적용하여 정상 사용자와 게임 봇을 분류하고, 각 행위가 분류 에 영향을 끼친 정도를 수치화하여 판단 근거를 추론하는 모델을 제안한다. 제안한 모델을 ‘AION’ 게임의 실제 로 그 데이터에 적용하여 10겹 교차 검증으로 테스트한 결과 약 98.4%의 정확도와 99.6%의 재현율을 보였다.

게임 봇 탐지 기법¶

게임 봇을 탐지하기 위한 방법에는 인간 대화형 증명(HIP) 기반 탐지, 인간 관촬형 증명(HOP) 기반 탐지, 사용자 행위 기반 탐지 등이 있다.

**HIP 기반 탐지**는 사람에게는 쉽지만 게임 봇 등이 쉽게 해결하기 어려운 문제를 제시하는 방법으로 게임 봇을 탐지한다.

**HOP 기반 탐지**는 사용자의 키보드, 마우스, 터치스크린 입력 패턴 등을 분석한 방법이다. 예시로 게임에서 일련의 사용자 입력을 추적하여 게임봇을 탐지하는 것이다.

**사용자 행위 기반 탐지**는 사람과 게임 봇의 행동 패턴에는 차이가 있다는 가정에서 출발한 행위 패턴 등의 분석 방법이다. 예시로 사람과 게임 봇의 캐릭터 이름은 특징이 다르다라는 점, 게임 봇은 자기 유사도가 높다는 점, 유저들은 사회적 상호작용을 고려한 점 등 다양한 사용자 행동에 기반한 탐지 기법이다.

설명 가능한 인공지능¶

머신러닝과 다르게 딥러닝의 경우 의사결정을 제안할 수 있지만 그에 대한 근거를 확인하기에는 너무 복잡하여 설명할 수 없다. 근거가 없다는 것은 인공지능을 완벽히 신뢰할 수 없다는 것을 의미한다. 이를 보완하기 위해 나온 방법이 설명 가능한 인공지능(XAI)이다. XAI는 인공지능의 판던 근거를 사람이 이해할 수 있도록 시각화하여 인공지능의 신뢰성을 높이는 연군 분야이다. 대표적 기법에는 Grad-CAM과 LIME이 있다.

Grad-CAM은 클래스 활성화 맵 기법을 발전시킨 것으로 합성곱 신경망(CNN) 모델의 분류 결과를 시각화할 때 주로 사용되는 기법이다. Grad-CAM은 잘못된 분류 결과에 대한 시각화를 통해, 데이터셋의 편향을 식별하고 이를 통해 모델 일반화에 도움을 줄 수 있다.

LIME은 입력값이 미세하게 변할 때, 모델의 예측 값이 크게 떨어질수록 해당 입력값의 영향력이 크다는 점에서 착안된 방법이다. LIME은 단일 분류 결과를 해석할 때 유용한 방법으로, 입력 데이터나, 분류 모데렝 대해 어떠한 가정도 하지 않으므로 다양한 모델에서 활용이 가능하다.

게임 봇 탐지 시스템 구성도¶

• n-dim Input vector : n개의 특징을 가진 입

력값

• Outputs : feed forward 과정에서 기록한 모든 노드들의 출력값

든 노드들의 출력값

• Predict : 입력 벡터에 대한 다층 퍼셉트론 모델의 예측 값
• Influence features : n-dim Input vector의 각 특징이 판단에 끼친 영향력
• Key Features in Bot Detection : 게임 봇 탐 지에서 각 특징들의 영향력을 정렬한 것
• Explaining : 탐지 모델의 판단 근거 설명

논문에서는 기존의 딥러닝 모델을 그대로 사용했다. 다른 점이라면 설명 가능한 모델을 접목했다는 점이다. 설명가능한 모델을 통해 오분류에 대한 판단 근거를 분석해 모델의 편향을 식별해 모델의 성능 향상시켰다.

모델의 과정을 쉽게 설명하자면 다음과 같다.

1. 데이터, 딥러닝을 통한 게임봇 예측
2. 이 예측 과정의 모든 노드들의 값과 예측값을 사용해 역전파 알고리즘에 적용.
3. 이를 통해 각 피처의 영향력을 평가

중요한 점은 앞서 과정에서 언급한 역전파 과정이다. 역전파 과정에서 다충 퍼셉트론의 오류 역전파 알고리즘을 사용했으나 다른점은 오류 대신 출력값을 역전파한다는데 있다. 즉, 피처들이 여러 층(Layer)를 거쳐 나온 출력값(게임봇 판단 여부)을 원래의 피처로 돌리는 과정이다.

이 부분은 역전파 알고리즘에 대해서 기본적으로 이해할 필요가 있다. 딥러닝에서 역전파 알고리즘은 최종적으로 모델의 성능을 평가하는 오차를 줄이기 위해서 이 오차를 역전파 시켜서 오차를 줄이는데 사용한다. 그런데 이 논문에서 출력값에 역전파 알고리즘을 사용했는데 이는 앞서 딥러닝 모델에서 각각의 층마다 결과값을 가지고 있었기 때문에 가능한 방법이다.따라서 이 역전파를 통해서 피처에 대한 중요도 파악이 가능해진다는 방법론이다.