Word2vec 논문 리뷰

4. Results

단어들간 유사성을 측정하는 데 여러 방법이 존재한다.(semantic relationship or syntactic relationship)

 

4.1 task description

semantic question과 syntactic question을 test set으로 구성한다.

비슷한 단어의 쌍들을 직접 찾아 연결하여 question들을 만든다.

랜덤하게 두 단어를 한 쌍으로 선택해서 총 2.5K개의 질문을 만들었다. 

모든 질문에 대해 정확도를 측정했다: 예측한 결과 벡터에 대해 가장 가까운 단어가 질문과 완벽하게 일치할 때 정답으로 처리한다.

 

4.2 maximization of accuracy

구글 뉴스의 word vector를 training set으로 사용했고 6B개의 token이 나왔다.

가장 빈번하게 사용된 100만개의 단어를 사용했다.

좋은 성능을 빠른 시간에 내고자 train set의 30K개의 단어를 subset 이용했고 CBOW 모델을 사용하여 성능을 평가했다.

특정 지점 이후로 dimension이나 train set을 키운다고 해서 성능이 개선되지 않음을 확인했다.

 

4.3 comparison of model architectures

640 dimension을 가지는 동일한 학습 데이터로 RNNLM, NNLM, CBOW, skip-gram의 네가지 모델을 사용하여 semantic accuracy, syntactic accuracy 두 종류의 학습 성능을 비교한다. 

train set은 LDC 말뭉치를 포함함

이전의 8개 단어를 입력으로 사용한다.

DistBelief parallel training 방법을 사용하여 640개의 hidden unit을 학습한다. 

 

RNN: syntactic question에 대해서 거의 잘 작동함

NNLM: RNN보다 훨씬 성능이 좋음

CBOW: syntactic에 대해선 NNLM보다 성능이 좋았고 semantic에 대해선 비슷했다.

skip-gram: syntactic은 CBOW 보다 살짝 못했고 NNLM보다는 잘했고 semantic은 가장 잘 했다. 

 

알려진 test set으로 모델의 성능 평가

CBOW 모델은 하루동안, skip-gram 모델은 3일동안 시간이 걸렸다.

한개의 epoch으로 모델의 성능을 비교하는 것이 좋다.

 

4.4 Large scale parallel training of models

google news 6B 데이터셋을 학습에 사용한 결과, CBOW와 skip gram 모델 사용시 CPU 사용량은 비슷했다. 

 

4.5 microsoft research sentence completion challenge

microsoft sentence completion challenge가 NLP의 다양한 모델을 소개했다. 1040개의 빈칸 뚫린 문장의 빈칸을 5지 선다로 답을 맞추는 과제에서, skip gram이 우수한 성적을 내지 못했지만, RNNLM과 함께 작동시 정확도가 높아졌다.

 

5. examples of the learned relationships

단어들과의 관계는 word vector들끼리 더하거나 빼서 정의할 수 있고 이 때 accuracy는 꽤 높지만, 더 큰 데이터셋에서 학습할 경우 성능이 더 좋아질 것이다. 아니면 단어들간 관계에서 여러 개의 예시를 줄 수 있다. 

단어들의 리스트에서 평균 벡터를 계산하고 가장 멀리 있는 word vector를 찾아서 out of the list words를 잘 찾아낼 수도 있다.

 

6. conclusion

syntactic, semantic language를 다양한 모델에 적용해서 word vector들을 평가할 수 있었다. 

유명한 neural network 모델들에 비해 단순한 모델로 성능이 좋은 word vector를 만들 수 있었다.

계산 비용이 적은 모델로 거대한 dataset에서 고차원의 word vector를 정확도 높게 계산할 수 있었다.

거대한 크기의 vocabulary에서 DistVelief distributed framework를 사용해서 CBOW, Skip-gram 모델을 학습시킬 수 있었다.