모바일 4가지 게임 리뷰 토픽 모델링 분석(3)
이번에는 지난 포스팅에 이어서 CTM을 통한 토픽 모델링 결과에 대해서 포스팅 해보겠습니다.
지난 포스팅
1) 데이터 수집, 전처리 - https://coco0414.tistory.com/82
2) LDA 토픽 모델링 - https://coco0414.tistory.com/83
3-2) CTM
CTM 모델에 대해서는 이전에 포스팅한 글을 참고해주시면 됩니다.!
CTM부터는 4개 게임의 모든 리뷰에 대한 모델링을 제외하고 게임별 전체 리뷰에 대한 토픽 모델링, 긍/부정 리뷰에 대한 토픽 모델링 이렇게 두 가지로 진행하겠습니다. 게임 순서는 블루아카이브, 니케, 원신, 붕괴 스타레일 순으로 진행하도록 하겠습니다.
CTM에서도 두 가지 형태소 분석기를 사용하여 진행하였습니다. 이전에 LDA를 통해서 Okt 형태소 분석기가 조금 더 적합하다고 판단하였지만 LDA 모델링에서만 해당 될 수 있다고 생각되어서 CTM 모델링에서 Okt만 사용하지 안하고 두 형태소 분석기 모두 사용한 결과를 확인하였습니다.
블루 아카이브
게임 전체 리뷰
우선 블루아카이브의 게임 전체 리뷰에 대한 토픽 모델링입니다. LDA에 비해서 확실히 분류된 토픽들이 무엇을 뜻하는지 눈에 보입니다. CTM에서는 20개에 대한 토픽 모델링을 진행하였습니다. 게임 내 컨텐츠에 대한 0번과 같은 토픽도 눈에 보이고 오류와 관련된 부정적인 토픽인 2번도 눈에 보입니다. 그외에 과금, 가챠(뽑기)에 관한 토픽들도 여럿 눈에 보이기도 합니다. 또, 스토리와 관련된 토픽도 눈에 보이고 스토리에와 관련된 보이스와 캐릭터가 연관되어있는 키워드들임을 확인할 수 있었습니다. 전체적으로 긍정적인 리뷰, 부정적인 리뷰들이 공존하고 있고 각 토픽으로 분류되어 있음을 확인할 수 있었습니다. 이제 점수에 따른 긍/부정 리뷰로 토픽들을 확인해보겠습니다.
점수별 긍/부정 리뷰
긍정
우선 4,5점으로 분류된 긍정 리뷰들의 토픽 모델링 결과를 먼저 확인해 보겠습니다. LDA에 비해서 확실히 긍정적인 리뷰를 토픽 모델링 했다는 키워드들이 눈에 많이 들어옵니다. 게임에 대한 긍정적인 리뷰들이 많지만 두 형태소 분석기를 통해서 나온 결과를 종합적으로 보면 블루 아카이브는 스토리에 대한 만족도가 높은 것으로 보입니다. 그래도 눈에 보이는 토픽 중 하나는 게임에 대해 만족하지만 업데이트 이후의 오류라던가 플레이 중 발생하는 오류에 대한 아쉬운 점들을 같이 작성하는 리뷰가 있어 토픽으로 분류된 모습을 확인할 수 있었습니다. 특이한 점은 게임 디렉터인 김용하 디렉터의 이름이 포함된 토픽들이 긍정 리뷰에 많이 보이는게 재미있는 결과 중 하나였습니다.
부정
다음은 1,2점으로 낮은 점수를 받은 부정적 리뷰에 대한 모델링 결과를 확인해보겠습니다. 각 토픽들의 키워드들을 확인해보면 확실히 부정적 리뷰임을 확인할 수 있습니다. 게임 내적인 이야기로는 가챠(뽑기)에 관해서 이야기가 굉장히 많은 것으로 보입니다. 이에 관련해 환불이라는 키워드도 같이 보이기도 합니다. 그 외에 외적인 문제로는 긍정에서도 있었던 업데이트로 인한 오류 토픽도 눈에 보이고 기기에 대한 발열 문제도 있는 것으로 보입니다.
니케
게임 전체 리뷰
니케의 전체 리뷰에 대한 토픽 모델링의 결과입니다. 블루 아카이브와 마찬가지로 역시 LDA와 비교하여 토픽 모델링이 잘 이뤄진 것으로 보입니다. 니케의 경우 전체 리뷰에는 긍정과 부정적 리뷰 모두 포함하고 있고 역시 가챠(뽑기)관련 토픽들도 눈에 보입니다. 그리고 인게임적 요소인 캐릭터 이름이나 인게임 용어들도 포함되어 있는게 눈에 띕니다. 긍정적으로는 스토리에 관해서 마음에 들어하는게 보이고 LDA에서 보였던 게스트 계정 관련 토픽들도 눈에 보이는 것을 확인할 수 있었습니다.
점수별 긍/부정 리뷰
긍정
니케의 리뷰중 4,5점을 받은 긍정 리뷰들의 토픽 모델링 결과입니다. 니케는 특이하게 긍정 리뷰임에도 아쉬운 부분에 대한 언급이 많은 것을 보입니다. 아쉬운 부분으로 언급되는 부분은 인게임적 플레이에서 발생하는 로딩, 오류에 대한 이야기가 많고 게임 내 시스템에 관련된 이야기도 많이 보입니다. 그런데 해당 리뷰들은 모두 높은 점수를 받았던 리뷰로 게임 플레이에 대해서 만족하지만 지속적인 개선을 원하는 부분에 대해서 언급하고 있는 것으로 보입니다. 그리고 특이한 점은 모바일 게임임에도 전투 플레이의 손맛을 언급하는게 인상적이었습니다.
부정
이번에는 1, 2점으로 낮은 점수를 받은 리뷰에 대한 토픽 모델링을 보겠습니다. 긍정 토픽에서 확인했던 오류와 관련된 토픽들이 많은게 눈에 띕니다. 그 외로 부정에서만 등장하는 것으로보면 블루아카이브에서 등장한 것처럼 디렉터의 이름이 나오지는 않지만 디렉터를 언급하는 리뷰가 블루 아카이브에서는 긍정에서 나왔지만 니케에서는 부정에서 키워드로 등장하는것이 대비되는 모습을 보여줍니다. 또, 부정적 리뷰에는 게임 안에서 발생한 버그 악용으로 간접적으로 피해를 본 유저들이 낮은 점수의 부정적 리뷰를 남긴 것을 보입니다. 또 특이한 점은 쿠폰이 지급되는데 선착순으로 등록이 되는 것으로 보이는 토픽도 존재했습니다. 해당 부분이 유저의 불만사항으로 보입니다.
원신
게임 전체 리뷰
전체적인 리뷰에서 보면 긍정과 부정을 나타내는 키워드와 토픽들이 보입니다. 아무래도 앞선 두 게임과 다르게 제작사가 중국 개발사이다보니 중국과 관련된 토픽들도 눈에 보입니다. 그리고 유사한 게임인 닌텐도의 젤다의 전설과 관련된 키워드와 토픽들도 있는 것이 눈에 보입니다. 전체적으로 긍정적인 것으로 보이고 부정적 으로 보이는 토픽은 발열과 관련된 이슈들이 좀 있는 것으로 보입니다.
점수별 긍/부정 리뷰
긍정
높은 점수인 4, 5점의 긍정 리뷰에 대한 토픽인 것임을 알 수 있는 키워드들이 다수 배치해있는 것을 확인할 수 있습니다. 전체적으로 게임 플레이에 대해서 만족하는 리뷰들이 많은 것으로 보이고 정액제와 상호작용과 관련 키워드가 긍정 리뷰에 많이 포함되어 있는 것으로 보입니다. 발열과 관련 토픽도 눈에 보이는데 이는 아쉬운 점으로 꼽히는 것 같습니다.
부정
부정적 리뷰 역시 확실하게 부정적인 단어들이 많이 보입니다. 부정 리뷰에 대해서 크게 3가지로 분류해보자면 첫째는 젤다와 관련 토픽, 두번째는 게임 외적으로 발열, 용량 토픽, 세번째로 중국과 관련 토픽으로 분류해볼 수 있을 것 같습니다. 앞에서 본 블루 아카이브와 니케는 서로 비슷한 느낌을 받았지만 원신의 경우 두 게임과는 조금 다른 느낌을 주는 토픽들이 많이 보이는 것을 확인할 수 있었습니다.
붕괴 스타레일
게임 전체 리뷰
전체 리뷰에 대한 토픽 모델링의 결과입니다. 생각보다 부정적인 키워드들이 다수 존재하는게 특징인것 같습니다. 번역에 관련 이슈가 있었기 때문에 해당 토픽이 존재하는 것도 보이고 가챠(뽑기)와 관련 토픽도 눈에 보입니다. 또한 기기의 발열이나 업데이트 관련 문제 등 앞서 확인한 3개의 게임보다 전체 리뷰에서는 가장 부정적인 토픽들이 많은 것을 확인할 수 있었습니다.
점수별 긍/부정 리뷰
긍정
높은 점수의 긍정 리뷰에는아무래도 가장 최근에 나온 게임이다 보니 인게임적 요소에 대한 언급들이 다른 게임들에 비해 많은 것 같습니다. 게임 캐릭터에 대한 키워드들이 눈에 보이고 번역이나 오역에 관련된 아쉬움을 나타내는 토픽들도 눈에 보입니다. 그리고 같은 게임 개발사다보니 원신에 대한 언급이 긍정적인 리뷰에서 많이 나오는것이 특이한 점입니다. 아마도 원신과 비교해서도 좋은 플레이 경험을 전달하고 있다는 내용이 아닐까 유추되긴합니다. 그리고 턴제 게임이라는 점도 Okt를 통해 긍정적 리뷰 키워드에 포함되어있는 것이 눈에 보입니다.
부정
부정 리뷰에 대한 토픽 모델링은 확실한 토픽이 눈에 보입니다. 번역, 오역에 관련된 부정적 토픽입니다. 해당 이슈들이 두 형태소 분석기 모두에서 다수 등장하는 모습을 확인할 수 있었습니다. 그외로는 게임 플레이를 이용하는데 있어서 오류들이 존재함을 알 수 있는 토픽들을 확인할 수 있었습니다.
CTM 결론
블루 아카이브 : 블루 아카이브의 장점으로는 스토리와 관련해서 긍정 리뷰에 등장하고 부정 리뷰에 등장하지 않는 것으로 보아 블루 아카이브를 플레이하는 유저들은 스토리에 대해서 굉장히 만족하는 것으로 보입니다. 또한 긍정적 리뷰에는 게임 관리 위원회에서 진행한 심의 판정과 관련된 댓글들도 어느정도 있는 것으로 보였습니다. 그런데 이부분은 부정보다는 긍정 댓글에서 등장한 것으로 보아 유저들은 해당 이슈에 대해서 게임사의 편에 서있는 것으로 보였습니다. 그리고 긍정 리뷰에서 디렉터의 이름이 나오는 것으로 보아 블루 아카이브를 플레이하는 유저들은 현 디렉터에게 만족하는 모습을 보여주고 있는것 같습니다. 다만 부정적인 이슈와 관련해서 토픽들을 꼽아 보자면 내적으로는 가챠(뽑기)와 관련된 불만이 가장 큰 것으로 보였고 외적으로는 이용하는 기기의 발열 이슈가 눈에 띄었습니다.
니케 : 니케의 경우 전체 토픽에서는 긍정과 부정적 주제들이 많이 보였습니다. 긍정 리뷰의 토픽 경우 점수는 높지만 게임에 대한 아쉬움을 많이 들어내는 토픽들이 많이 보였고 특이한 점은 모바일 분재 게임임에도 전투방식에 대한 손맛을 언급하는게 특이한 점이었습니다. 그리고 특정 캐릭터에 대한 언급이 많았는데 이는 특정 캐릭터가 특별하게 좋은 성능을 내고 있을 가능성에 대해서 예측해볼 수 있었습니다. 부정 리뷰의 경우 블루아카이브와 다르게 디렉터의 이름은 언급되지 않았지만 디렉터라는 키워드가 나왔고 인게임 내 버그 악용으로 인한 간접적 피해에 대해서 불만을 많이 들어내고 있는 것을 확인할 수 있었습니다.
원신 : 원신의 경우 가장 많은 리뷰 데이터를 갖고 있는 데이터였습니다. 전체 데이터에서 확실한 긍정과 부정에 대한 토픽과 키워드를 확인할 수 있었습니다. 앞선 두 게임과 다른점은 원신 초기에 많은 이야기가 있었던 젤다의 전설 표절과 관련된 키워드들이 리뷰에 많이 존재하고 있음을 확인할 수 있었습니다. 긍정으로 분류한 토픽에서는 전체적으로 게임 플레이에 만족하는 토픽과 키워드들이 나왔고 다만 아쉬운점으로는 정액제나 발열에 관련된 이슈들이 조금은 아쉬운 부분들로 리뷰에 언급하고 있음을 유추할 수 있었습니다. 부정 리뷰에서는 크게 3가지로 토픽을 볼 수 있었는데, 표절, 게임 외적 이슈, 중국 이렇게 3가지 이슈로 볼 수 있었습니다. 이런 점에서 블루 아카이브, 니케와 다른점은 가챠(뽑기)에 대한 토픽이 없었다는 점과 디렉터보다는 개발사 자체에 대한 이야기가 많았다는 점이 앞선 두 게임의 리뷰와 다른점으로 볼 수 있었습니다.
붕괴-스타레일 : 붕괴 스타레일의 경우 가장 최근에 출시한 게임으로 리뷰수가 가장 적었습니다. 그럼에도 긍정과 부정으로 분류했을때 토픽 모델링을 잘 작동한 것으로 보이는 결과들을 얻을 수 있었습니다. 긍정의 경우 원신과 비교해도 재미있는 경험을 받았다는 토픽이 존재하였고 플레이 방식인 턴제에 대한 언급도 있었습니다. 부정의 경우 가장 큰 이슈였던 번역, 오역과 관련된 부정적인 토픽과 키워드가 주를 이뤘습니다. 그 외에는 발열, 로그인 오류와 같은 문제들을 언급하는 것을 볼 수 있었습니다.
4가지 게임에 대한 CTM 토픽 모델링의 결과로 보면 블루 아카이브와 니케를 하나의 그룹, 원신관 붕괴-스타레일을 하나의 그룹으로하여 서로 비교분석하는게 맞다는 결과들을 보여주었습니다.
CTM을 통한 토픽 모델링은 확실히 이전에 진행한 LDA보다 목표에 맞는 토픽 분류가 잘 되었다고 할 수 있습니다. 토픽안에 포함된 단어들도 게임의 이슈들을 잘 반영한 키워드들로 잘 추출된 것도 주목할만한 점입니다. 또한 이전에는 형태소 분석기에 따라 결과가 크게 달라지는 모습을 LDA에서 확인하고 Okt가 더 좋다 판단하였지만 CTM을 통한 결과에서는 두 형태소 분석기의 결과가 어느정도 유사한 결과임을 확인할 수 있었습니다. 이유는 CTM의 ZeroShotTM을 사용한 토픽 모델링이었기 때문에 다양한 주제로 나름 명확한 토픽 모델링이 가능했던 것으로 보입니다. 게임과 관련된 리뷰 데이터에는 LDA보다는 CTM을 통한 토픽 모델링이 더 적합할 수 있다는 경험을 할 수 있었습니다.