Neural Net을 학습시킬 때 많은 라이브러리들이 배열을 효율적으로 연산할 수 있도록 최적화 되어있기 때문에 전체 데이터에 대해 하나씩 연산을 수행하는 것 보다 batch 단위로 학습시키는 것이 더 효율적이다.
Mini-Batch
학습 데이터를 개로 분할하여 각각의 mini-batch에 대해 gradient descent를 수행한다. 데이터의 일부를 이용해 학습하므로 수렴 과정이 안정적이지는 않지만 학습 속도가 빠르다.
Oct 25, 2024, 1 min read
Neural Net을 학습시킬 때 많은 라이브러리들이 배열을 효율적으로 연산할 수 있도록 최적화 되어있기 때문에 전체 데이터에 대해 하나씩 연산을 수행하는 것 보다 batch 단위로 학습시키는 것이 더 효율적이다.
학습 데이터를 N개로 분할하여 각각의 mini-batch에 대해 gradient descent를 수행한다. 데이터의 일부를 이용해 학습하므로 수렴 과정이 안정적이지는 않지만 학습 속도가 빠르다.