Multi-Task Learning(MTL)은 여러 개의 관련된 작업을 동시에 학습하는 기계 학습 방법이다. 이는 일반적으로 각 작업을 개별적으로 학습하는 것보다 더 효과적인 모델을 생성할 수 있도록 한다. 이 포스팅에서는 기본적인 개념과 간단한 코드를 살펴보도록 하자!
목차
An Overview of Multi-Task Learning(MTL)
Multi-Task Learning(MTL)은 하나의 모델이 여러 작업을 동시에 학습하는 것이다. 이를 위해 모델은 각 작업의 입력과 출력을 동시에 처리할 수 있는 공유된 feature 추출기를 가지고 있다. 이 공유된 feature 추출기는 각 작업에 대한 개별적인 출력으로 연결된다. 이는 각 작업이 독립적으로 학습되는 것보다 서로 연결된 상태로 함께 학습되므로, 작업 간의 상호작용을 고려할 수 있는 이점이 있다.
하나의 데이터로 여러 문제를 동시에 풀 수 있다는 장점 외에도 주요한 다른 이점은 Inductive Transfer로써, 별도의 문제를 푸는 과정에서 신경망 내부의 정보가 모든 문제에 도움을 준다는 데 있다. 구체적으로 이야기를 하면 각각의 문제가 다른 목적을 해결하지만, 공통 입력 데이터를 받아들이고 인식하는 부분에는 서로 공통점이 있다. 그래서 만약 특정 데이터에서 A 문제에는 정답 레이블이 존재하고 B 문제에는 그렇지 않은 상황에서, A 문제를 해결하는 과정에서 직접적으로 B 문제를 해결 할 수는 없을 지라도 간접적으로 문제 해결에 도움을 주는 효과가 있다.
MTL은 크게 두 가지로 분류된다. 하나는 직접 신경망 파라미터를 공유하는 Hard parameter sharing 방식 , 다른 하나는 독립된 신경망이지만 파라미터가 유사하게 학습하도록 만드는 Soft parameter sharing 방식이 있다.
The Difficulties of Multi-Task Learning
MTL의 어려운 점 중 하나는 각 작업 간의 상호작용을 고려해야 한다는 것이다. 즉, 각 작업이 서로 영향을 미치는 경우, 이를 고려하여 모델을 설계하고 학습해야 한다. 가령, 총 3개의 태스크를 푼다고 한다면 Loss function 설계시 $\mathcal{L}=\alpha_1\mathcal{L}_1+\alpha_2\mathcal{L}_2+\alpha_3\mathcal{L}_3$ 과 같이 스케일만 조절하더라도 그 스케일 값을 결정해야 한다.
또 다른 어려운 점은 각 작업마다 충분한 데이터가 있는지 확인하는 것이다. 각 작업에 대해 데이터셋의 크기가 충분하지 않은 경우, 모델이 과적합될 가능성이 높다. 이를 방지하기 위해서는 각 작업에 대한 데이터셋을 충분히 수집하고, 데이터셋이 부족한 작업의 경우 다른 작업의 데이터를 활용하여 학습할 수 있도록 해야 한다.
더불어 멀티태스킹 학습은 각 작업이 서로 다른 특성 및 다른 학습 난이도를 가지고 있을 수 있다는 것도 어려운 점 중 하나이다. 즉, 각 작업의 중요도나 우선순위를 고려하여 학습을 조절하는 것도 중요하다. 태스크 별 다른 learning rate 을 사용하거나 필요한 epoch수가 다를 수 있는데 이를 모두 고려하여 반영하기가 어렵다.
PyTorch
다음에서 Hard parameter sharing을 간단한 코드로 살펴보도록 하자.
댓글