Relational inductive bias란?

AI 논문을 읽다보면 inductive bias라는 말이 자주 나온다. 

어떤 중요한 내용을 담고 있기에 자주 등장하는지, 알아보자.

---

Inductive Bias(귀납 편향)

Inductive(귀납)이란?

개별적인 특수한 사실이나 현상에서 그러한 사례들이 포함되는 일반적인 결론을 이끌어내는 또는 역으로 보편성에서 구체성을 유도하는 추론 형식이다. 즉, 전제가 결론을 개연적으로 뒷받침하는 경우로 확률적 설명이라고도 한다. [위키백과]

 

Bias(편향)이란?

한 쪽으로 치우친 성질 [위키백과]

 

Inductive Bias

주어지지 않은 입력의 출력을 예측하는 것
즉, 일반화를 위해 주어지지 않은 상황에 대한 추론이 가능하도록 하는 알고리즘이 가지고 있는 가정의 집합이다.

An inductive bias allows a learning algorithm to prioritize one solution over another, independent of the observed data. (Mitchell, 1980)

귀납 편향은 학습 알고리즘이 관찰된 데이터와 관계없이 한 솔루션을 다른 솔루션보다 우선시할 수 있도록 한다.

---

Relational Inductive Bias

Which impose constraints on relationshps and interactions among entities in a learning process.

엔티티의 관계에 제약조건을 거는 것 (입력 요소와 출력 요소의 관계에 초점을 맞춤)

 

Various relational inductive biases in standard deep learning components.

 

FCN (Fully Connected Neural Network)

입력층의 모든 요소들이 출력층의 모든 요소들과 연결되어 있어, 모든 입력이 출력에 영향을 미칠 수 있어 Inductive Bias가 매우 약하다.

 

CNN (Convolutional Neural Network)

CNN의 Entities(Grid elements, 예를 들어 pixel)가 개별단위이지만, 그 관계는 약하다. 

FCN과 다르게 Locality and Translation invariance의 relational inductive biases를 가진다. 

이런 biases는 높은 covariance(공분산)를 갖는 이미지 처리에 매우 효과적이다. 

 

RNN (Recurrent Neural Network)

RNN은 시간의 개념을 갖는다.

RNN은 CNN과 유사하게, Sequential and Temporal Invariance의 relational inductive biases를 갖는다.  

 

---

Non-relational Inductive Bias

학습 과정 혹은 결과에 제약조건을 거는 것이다. 

예를 들면, activation non-linearities, weight decay, dropout, batch and layer normalization, data augmentation, training curricula, optimization algorithms 등이 있다. 

 

 

 

 

자료 출처]

Relational inductive biases, deep learning, and graph networks [google, 2018]