Long Short-Term Memory (LSTM) 딥 러닝

딥 러닝은 인공신경망(ANN)의 한 종류로, 머신 러닝의 한 분야입니다. 딥 러닝의 목적은 고차원, 비선형 데이터의 표현(representation)을 학습하는 것이며, 그 중 LSTM은 시계열 데이터의 예측문제에 특화된 딥 러닝 모델입니다.

LSTM의 개념

LSTM은 기본적인 인공신경망 모델에 기억력(memory)을 추가한 방법입니다. 이전의 데이터 포인트들을 잘 기억하면서, 현재 데이터의 패턴을 학습할 수 있습니다. LSTM 모델은 3개의 gate와 1개의 memory cell로 구성됩니다.

Forget gate

LSTM 모델은 기억할 정보를 결정하는 forget gate를 가지고 있습니다. 이 forget gate는 이전 시각의 출력물과 현재 입력을 사용하여 기존의 기억을 어느정도 삭제할지 결정하게 됩니다.

Input gate

LSTM 모델은 새로운 정보를 기억하는 input gate도 가지고 있습니다. 이 input gate는 이전 시각의 출력물과 현재 입력을 사용하여 어떤 정보를 cell state에 추가할지 결정하게 됩니다.

Output gate

LSTM 모델은 cell state의 정보를 얼마나 다음 시점으로 전달할지 결정하는 output gate도 가지고 있습니다. output gate는 현재 입력과 이전 시각의 출력물을 이용하여 cell state의 정보 중 어느것을 출력할지 결정하게 됩니다.

Memory cell

LSTM 모델은 cell state라는 메모리 셀을 가지고 있습니다. 이 메모리 셀은 현재 시각의 입력과 이전 시각의 출력물을 사용하여 이전 기억과 새로운 정보를 결합하고 비선형 정보처리를 수행합니다.

LSTM의 구조

LSTM 모델은 인공신경망 모델의 다층 구조처럼 시계열 데이터의 입력을 받는 input layer와 최종 출력값을 예측하는 output layer, 그리고 여러 개의 LSTM 셀(cell)로 구성됩니다.

Input layer

입력층은 입력 데이터의 feature 개수와 시계열 데이터의 길이를 명시합니다.

LSTM layer

LSTM 셀(layer)에서는 입력 데이터를 가지고 forward propagation이 수행됩니다. LSTM의 셀(cell)을 여러 개 층으로 쌓아서 더 깊은 모델을 만들 수 있습니다.

Output layer

출력층은 LSTM 셀의 출력값을 가지고 예측을 수행합니다.

LSTM의 활용

LSTM 모델은 다양한 분야에서 활용이 가능합니다. 그 중에서도 시계열 예측, 음성인식, 언어 번역, 이미지 캡션 생성, 이상 감지 등에 많이 쓰입니다.

시계열 예측

주가, 환율, 수요 추정 등 시계열 데이터의 예측문제는 LSTM 모델의 대표적인 활용 분야입니다. LSTM 모델은 다른 시계열 예측 방법론과 달리, 훈련 데이터 셋의 길이를 자유롭게 잡을 수 있고, 비선형적인 패턴을 잘 학습할 수 있습니다.

음성인식

LSTM 모델은 음성인식에서 발생하는 잡음(noise)이나, 대화 사이의 공백 등 불확실성 요소가 포함된 데이터를 잘 처리합니다. 이를 통해 고객센터 음성인식, 음성 비서 등에 활용이 가능합니다.

언어 번역

LSTM 모델은 다양한 문장에 대해서 번역을 수행할 수 있습니다. 이를 통해 구글 번역, 패파고 등에 활용되고 있습니다.

이미지 캡션 생성

LSTM 모델은 이미지와 문장을 학습하여 이미지에 대한 자연스러운 문장을 생성할 수 있습니다. 이를 통해 이미지 캡션 생성 등에 활용됩니다.

이상 감지

LSTM 모델은 시계열 데이터에서 이상치(outlier)를 감지하는 용도로도 사용됩니다. 이상 감지는 도시 인프라, 전자기기 등 교통, 생산 등 생활에 밀접한 상황에서 매우 중요한 문제입니다.

정리

LSTM 모델은 기본 인공신경망에 기억력(memory)을 추가함으로써 시계열 예측, 음성인식, 언어 번역, 이미지 캡션 생성, 이상 감지 등 다양한 분야에서 활용이 가능합니다. LSTM 모델은 시계열 예측에서는 SOTA(State-Of-The-Art) 를 달성하고 있으며, 이를 통해 다양한 생활환경에서 유용한 서비스를 제공할 수 있습니다.