TranAD
본 포스팅은 시계열 데이터 이상 탐지에 트랜스포머 모델을 적용한 것에 대한 내용입니다.
모델을 이해하기 위한 설명은 이전에 작성된 포스팅들(하단 첨부)을 참고하여 주세요.
최근에는 시계열 데이터의 이상 발생 여부를 탐지하기 위해 트랜스포머(Transformer)모델이나 GAN을 많이 활용합니다. 이 모델들을 사용하면 인접한 시점 뿐만 아니라 먼 시점의 데이터 정보도 활용할 수 있기 때문에 데이터를 처리할 때 유용하다고 합니다. 이번 포스팅은 트랜스포머가 적용된 예시로 TranAD 모델을 소개합니다.
TranAD는 인코더 한 개와 디코더 두 개로 구성되어 있습니다. 디코더를 두 개 사용했다는 점이 기존 트랜스포머와의 차이점이고, 이 두 개의 디코더가 서로 적대적 학습을 합니다. 적대적 학습은 GAN에서 사용하는 학습 방식으로 두 개의 모델(생성기와 판별기)이 서로 경쟁을 하며 진짜에 가까운 가짜 이미지를 생성하는 것을 말합니다.
한 에포크(학습1회)는 두 단계에 걸쳐서 진행됩니다. 첫 번째 단계에서 디코더1이 가짜 데이터를 생성하면, 두 번쨰 단계에서 디코더2가 이를 진짜인지 가짜인지 판별합니다.
<입력 요소>
C : 전역적 트렌드
W : 지역적 트렌드
O : 입력 시퀀스 (t 시점의 데이터 | 재구축된 데이터)
입력 시퀀스의 업데이트는 anomaly score를 계산하여 결정하는데 이는 USAD(Unsupervised Anomaly Detection)모델에서 사용한 방식입니다. USAD 모델은 MAML(Model-Agnostic Meta-Learning)을 하는데, 이는 모델이 바뀔 때마다 구조를 변경할 필요없이 그 구조 그대로 대부분의 모델에 적용할 수 있는 학습법입니다.
이 때, 산출되는 점수는 디코더1은 작아지도록, 디코더2는 커지는 것을 목적으로 학습합니다. (아래 식 참고)
USAD는 오토인코더를, TranAD는 트랜스포머를 이용했다는 것이 차이점이고, 학습과정은 같습니다. 상세한 내용은 논문을 참고하여 주세요.
본 포스팅은 여기서 마칩니다.
참고
[1] 설명1
[2] 설명2
[3] 논문
[4] USAD 구조
[5] USAD 설명
[6] USAD