[clearfix]
Hypernetwork
1. 개요
별도의 신경망을 생성하여 다른 네트워크의 가중치 또는 매개변수를 조정하는 데 특화되어 있는 신경망 아키텍처 방법론, 혹은 그 과정에서 생성되는 신경망 네트워크 그 자체를 가리키는 말이다. 종종 "main network"라든가, "task-specific network"라는 말을 접할 수 있는데, 이는 후자 의미의 하이퍼네트워크를 지칭하는 같은 말이다.일반적으로 하이퍼네트워크는 작업별 네트워크를 새로운 작업에 빠르게 적용해야 하거나 입력 데이터가 복잡하고 보다 정교한 아키텍처가 필요한 경우에 특히 유용한 편이다.
2. 상세
모든 머신러닝 기술이 기본적으로 input 데이터로 지향점이 될 만한 결괏값을 주면 그 결괏값에 맞게 계수나 가중치 등을 조정하는 역할을 한다. 선형 회귀 또는 의사 결정 트리와 같은 전통적인 기계 학습 방법에서는 이러한 매개 변수를 생성하기 위해 별도의 네트워크를 사용하지 않고 입력 데이터에서 직접 중간 매개 변수를 학습한다. 하이퍼네트워크는 가중치를 생성하는데 별도의 네트워크를 사용한다는 점이 특징이다. 다른 네트워크의 중간 매개변수 또는 가중치를 생성하기 위해 중간에 task-specific network[1] 사용하는데, 이 네트워크를 하이퍼네트워크라 부르며 서로 혼용되는 용어이다.하이퍼네트워크라는 이름은 데이터 변수들간의 고차적 관계를 표현하기 위해서 하이퍼그래프(hypergraph) 구조를 이용하는 데서 왔다. 하이퍼그래프 확률 그래프 모델을 이용하여 데이터에 존재하는 고차 관계를 학습하는 모델이라 이를 하이퍼네트워크라고 한다.
[1] 한국말로 번역하자면 작업별 네트워크 정도의 이름이 된다.