ELMo

1. Architecture

1.1. Biderectional LSTM

$$R_k=\{x_k^{LM},{\overrightarrow{h}}_{k,j}^{LM}{\overleftarrow{h}}_{k,j}^{LM}|j=1,2,\dots ,L\}$$

각 LSTM layer의 hidden state를 word embedding과 함께 concatenate하여 2L+1개의 representation을 얻는다. 이를 weighted sum하여 하나의 embedding vector를 얻을 수 있다. $\gamma$는 scaler parameter로 Layer Normalization을 형성하는 데에 관여한다.

$$ELM{O}_k^{task}=E(R_k;{\Theta }^{task})={\gamma }^{task}\sum _{j=0}^L{s}_j^{task}{h}_{k,j}^{LM}$$

1.1.1. Skip Connection

2. Training

3. Application