• word2vec의 cbow, skip-gram 구현 방법 및 구현 차이
• genism 모듈을 이용한 wod2vec 사용 및 간단한 소개?
• doc2vec 구현 간단한 설명(참고 : https://github.com/inejc/paragraph-vectors)
• negative sampling & subsampling 구적 설명 : 차이 및 동작 방식, 결과적으로 어떤 점이 유리한지
• hierarchical softmax 좀더 설명 + 구현이 어떻게 되는지?
• Noise Contrastive Estimation(NCE) 추가 설명

1. Introduction, 2페이지 상단에

In addition, we present a simplified variant of Noise Contrastive Estimation (NCE) [4] for training the Skip-gram model that results in faster training and better vector representations for frequent words, compared to more complex hierarchical softmax that was used in the prior work [8].

라고 Noise Contrastive Estimation(NCE) 개념이 등장합니다. NCE란 어떤 개념일까요?

논문의 Intro 부분을 보게 되면, 기존의 NLP 모델이 One-hot encoding을 했던 이유 중에 모델의 강인함(robustness)에 대해 언급하고 있습니다. 모델의 강인함은 Input의 noise에 대한 강인함일까요? 잠깐 생각해보면 One-hot encoding이 Distributed에 비해 강인함을 가지고 있다 생각 됩니다. 하나의 값만 1이기 때문에 noise가 발생해도 복구가 쉽다고 생각합니다. 그런데 만약 논문에서 나온 CBOW, Skip-gram과같은 모델에서 input에 noise가 들어가 변형된 projection이 나온다면 어떻게 원래의 input으로 복구를 해줄까요?

어휘의 이진 트리 표현으로 검증되어야 하는 결과값의 크기가 log_2(V)에 가깝게 작아질 수 있다고 하는데 어떤 방식으로 이렇게 되는 걸까요?

3p, 'With binary tree representations of the vocabulary, the number of output units that need to be evaluated can go down to around $log_2(V)$.' 'the term H x V can be efficiently reduced to H x log_2(V) by using hierarchical softmax.'

논문에서 Negative Sampling은 NCE를 단순화한 방식이라고 합니다. 이 둘의 가장 큰 차이점에 대해서 논문은 아래와 같이 설명했는데요,

The main difference between the Negative sampling and NCE is that NCE needs both samples and the numerical probabilities of the noise distribution, while Negative sampling uses only samples. And while NCE approximately maximizes the log probability of the softmax, this property is not important for our application.

여기에서 Negative Sampling에서는 필요하지 않은 것이 numerical probability라고 하는데, 이 numerical probability의 의미가 무엇인지 잘 모르겠습니다. 정확히 말하면 NCE에서 NEG로 단순화하는 과정에서 무엇이 빠졌다는 것인지 잘 모르겠습니다..!

• 본 논문에서 training complexity를 계산하는 수식에서 Q가 등장합니다. Q는 모델마다 다르게 정의하기로 하는데, 이 수식 연산에서 자주 등장하는 것이 projection layer (matrix) 입니다.
• 정확하게 projection layer(matrix)가 뭔지 모르겠네요....?
  가장 비슷한건 embedding layer (matrix)가 떠오르는데 정확히 embedding이란 용어를 쓰진 않았으니...

• 일단 N에 대해서 설명하는 문구 이해가 정확히 안됐음(section2.1) 무슨 given time에? 그리고 active 된다는 것? N개의 sequence만 모델에 넣어주고 그때 그 단어만 학습되는 것을 이렇게 표현한건가?

As only N inputs are active at any given time, composition of the projection layer is a relatively cheap operation.

• 계산이나 dominant하다는 이유를 정확하게 이해 못하겠음.

1. NNLM : 두번째 term도 충분히 클텐데 왜 세번째 텀이 더 압도적이라는거지? 그럴려면 N* D<< V여야하는데 N은 입력 단어 갯수? D는 입력으로 들어오는 단어를 처음으로 projection 해주는 것이고? V는 전체 vocabulayr 사이즈? 라서 V가 압도적으로 크니까? 여서인가?

• Q = (NxD) + (NxDxH) + (HxV)
  • NxD : input layer
  • (NxDxH) : hidden layer( single layer란 의미인가?)
  • HxV : output layer(dominant)
• 허프만, hierarchical softmax 개념도 낯설다

2. RNNLM :

• Q = (HxH) + (HxV) where D=H
  • HxH : 음.. 이전 step의 데이터가 인풋으로 들어가서 다음 step에 영향을 주는 recurrent 하다는 것은 알겠고 그 맥락에서 이 식이 input과 hidden을 같이 퉁치는 것 같음. 하지만 인풋 단어 N개를 받아야하니까 NNLM처럼 input data인 N이 표현되는 식이 있어야되지 않나?
  • HxV : 위랑 동일해서 대충 알겠음

3. CBOW : 히든 레이어 빠지고 output layer sharing

• Q= NxD + Dx log_2(V)
  • NxD : input layer
  • Dx log_2(V) : output layer에 해당되는 계산. 주변 n 개를 통해 얻은 값으로 1개를 얻는 감소되는 과정을 log_2로 한 것 같은데 왜지??????** 왜 log2로 감소된다고 표현한거지 ?**

5. Skip-gram

• Q=Cx(D+Dxlog_2(v))
  • 이거는 log_2가 이해되면 이해될 것 같다

논문 4.3 section 3번째 문단입니다.

The CBOW architecture works better than the NNLM on the syntactic tasks, and about the same on the semantic one. Finally, the Skip-gram architecture works slightly worse on the syntactic task than the CBOW model (but still better than the NNLM), and much better on the semantic part of the test than all the other models.

• CBOW 은 NNLM 대비 syntactic에서 높은 성능냈지만 semantic 측면에서는 비슷
• Skip-gram은 syntactic task는 NNLM보다는 높지만 CBOW보다 낮음. 반면에 semantic에서는 가장 높음

CBOW는 주변 단어를 참고해서 현재 단어를 예측하고, skip-gram은 현재 단어로 주변 단어를 예측하는 방식으로 학습되는데요. 이런 학습 방식의 syntactic, semantic 테스크의 성능 차이로 이어지는 것일까요?

word sequence가 길어질 수록 추정해야하는 파라미터가 늘어야하는 것이 잘 안와닿음. 어차피 count 로 치환해서 계산하는거면 그게 왜 늘어나는거지? 여기에서도 비슷하게 설명하는데 정확하게 와닿지는 않음.

n을 크게 선택하면 실제 훈련 코퍼스에서 해당 n-gram을 카운트할 수 있는 확률은 적어지므로 희소 문제는 점점 심각해집니다. 또한 n이 커질수록 모델 사이즈가 커진다는 문제점도 있습니다. 기본적으로 코퍼스의 모든 n-gram에 대해서 카운트를 해야 하기 때문입니다.

character n-gram을 구성할 때, 첫 번째 subword에는 <를 붙이고 마지막 subword에는 >를 붙인다고 합니다. 저는 이 기호가 subword 집합의 시작과 끝을 알리는 역할이라고 생각했는데요, <과 >를 통해 해당 단어의 접두사와 접미사에 대한 정보를 알 수 있나요?

Each word w is represented as a bag of character n-gram. We add special boundary symbols < and > at the beginning and end of words, allowing to distinguish prefixes and suffixes from other character sequences.

단어 where의 character n-gram(n=3)

이 논문의 목적함수 뿐만 아니라 다른 논문, 데이터 분석에서도 자꾸 log를 취하는데 장점이 뭘까요? 값을 작게 해줌으로써 얻을 수 있는 점들이 궁금합니다.

~~수학적 지식이 부족한 사람의 조금 기초적인 질문이긴 하지만 이때 아니면 언제 알아보겠어 하는 마음에 올립니다.~~

논문에서 제시한 새로운 scoring function은 아래 사진과 같습니다. 이 식에서는 word가 아닌 각각의 n-gram vector(z_g)와 Vc를 내적한 값을 모두 더한 것을 score로 정의합니다.

여기에서 V_c는 원래 skip gram model에서의 V_wc와 같다고 생각했는데, 그러면 n-gram vector와 word vector를 모두 사용한다고 이해하면 될까요..?? 아니면 V_c도 n-gram의 조합으로 표현이 되어야 하는건지 궁금합니다.

논문에서 사용한 예시 where를 생각하면, <wh, whe, her, ere, re> 가 됩니다. 이때 her 라는 단어는 대명사인 her 과 겹치게 되는게요. 본 논문을 읽었을 때 원래 단어의 subword와 겹치는 단어(즉, where의 3-gram인 her과 대명사 her)를 다르게 처리하는 과정은 없는 것 같습니다.

그렇다면 where를 학습할 때 her 라는 3-gram vector값이 where의 단어 벡터를 구성하는데 좋은걸까요? 오히려 어떤 단어들에 대해서는 노이즈로 작동할수도?

3.5. Classification benchmarks에서,

다른 task에서는 언급되지 않았던 Naive Bayes가 나오게 되는데, combine-skip과 Naive Bayes를 함께 사용한 combination의 성능이 가장 좋은 것으로 나타납니다.

그런데 combine-skip에 Naive Bayes를 combine했다는 것이 어떤 의미인지(수식적으로 또는 학습 방식적으로) 잘 이해가 되지 않아서 질문을 드립니다..!

2.2. Vocabulary expansion 내용에서,

f : V_w2v -> V_rnn 을 만족하는 mapping function을 구축하기 위해 행렬 W를 학습시킨다는 얘기가 나옵니다.

이 때 W 학습을 위해 un-regularized L2 linear regression loss를 사용한다는 설명이 나오는데, 이 loss를 그냥 일반적인 RMSE와 유사한..? loss로 봐도 괜찮은지, 아니면 RMSE와는 완전히 다른 Loss인지 궁금합니다.

학습과정이 잘 이해되지 않아서 물어봅니다. 제가 이해한 학습 방식은 Encoder 단계에선 문장 단위의 hidden state vector를 학습하고, Decoder 단계에서 (이거도 start of sentence가 되어야하는데 표기는 eos네요)부터 한 단어 씩 hidden state vector와 vocab matrix를 활용하여 추론하는 방식입니다. Encoder 단계에서는 vocab matrix값이 활용이 안되는건가요?

만약에 아예 처음 등장하는 단어가 나오면 어떤 방식으로 추론이 되는건가요??