[NLP] BoW(Bag of words)

Bag of Words

 

단어 및 문서를 숫자형태로 나타내는 가장 간단한 기법으로서

TextMining 분야에서 딥러닝 기술이 적용되기 이전에 많이 활용되던 방식이라고 한다.

 

 

Step 1. Constructing the vocabulary containing unique words

 

Example sentences: "John really really loves this movie", "Jane really likes this song"

이 문장에서 really와 this는 중복되기에 한 번만 포함하면 된다.

 

Vocabulary: {"John", "really", "loves", "this", "movie", "Jane", "likes", "song"}

 

 

Step 2. Encoding unique words to one-hot vectors(One-hot 인코딩)

 

Vocabulary: {"John", "really", "loves", "this", "movie", "Jane", "likes", "song"}

  John: [1 0 0 0 0 0 0 0]

 really: [0 1 0 0 0 0 0 0]

 loves: [0 0 1 0 0 0 0 0]

    this: [0 0 0 1 0 0 0 0]

movie: [0 0 0 0 1 0 0 0]

  Jane: [0 0 0 0 0 1 0 0]

  likes: [0 0 0 0 0 0 1 0]

 song: [0 0 0 0 0 0 0 1]

 

이런 식으로 각 단어를 One-hot vector로 만들어준다.

이때, 각 단어의 유사도 측정을 다음과 같은 두 가지 방법으로 할 수 있다.

 

1. 유클리드 거리 (Euclidean Distance)

2. 코사인 유사도 (Cosine Similarity)

 

 

1. Euclidean Distance Similarity

 

거리가 짧으면 유사도가 더 높다라고 판단하는 유사도 측정 방법이다.(L2 Norm)

 

2. Cosine Similarity

 

단어의 수가 늘어나면 실제 정답에 모순되는 결과가 나올 때가 있다.

이 부분을 해결할 수 있는 것이 벡터의 크기를 무시하고 유사도를 측정하는 코사인 유사도의 장점이다.

벡터와 벡터 간의 유사도를 비교할 때 두 벡터 간의 사잇각을 구해서 얼마나 유사한지 수치로 나타낸다.

벡터 방향이 비슷할수록 두 벡터는 서로 유사하며, 벡터 방향이 90도 일때는 두 벡터 간의 관련성이 없으며, 벡터 방향이 반대가 될수록 두 벡터는 반대 관계를 보인다.

 

참고: https://sy-programmingstudy.tistory.com/13

[6주차] Youtube 허민석 : 딥러닝 자연어처리 (1차)

 

위에서 생성한 벡터를 기준으로 하나의 문장/문서를 One-hot 벡터로 표현할 수 있다.

 

"John really really loves this movie" => John + really + really + loves + this + movie => [1 2 1 1 1 0 0 0]

"Jane really likes this song" => Jane + really + likes + this + song => [0 1 0 1 0 1 1 1]