논문 제목: BERT4Rec: Sequential Recommendation with Bidirectional Encoder Representations from Transformer

BERT4Rec: Sequential Recommendation with Bidirectional Encoder...

• <논문 리뷰 목차>

[1. 배경]

1) 선행 모델의 문제점

• 추천시스템에서 Sequential Dynamics의 중요성

  • 사용자의 관심은 동적이고 진화한다
  • 이러한 사용자의 Sequential Dynamic한 태도를 반영하고자 많은 선행 모델이 제안되었다
    • 사용자의 과거 행동을 반영하고자 함

• 선행 모델 특징

  • left-to-right unidirectional model 사용 (ex. RNN)
  • 선행 모델: Basic paradigm
    1. 사용자의 과거 interactions를 벡터로 encode
    2. left-to-right unidirectional model 사용하는 추천시스템
  • left-to-right unidirectional model 단점
    • 사용자의 행동 시퀀스에서 숨겨진 표현의 능력을 제한
    • 종종 엄격하게 순서가 정해진 시퀀스를 가정하는데, 이는 항상 실용적이지는 않다

• 선행 모델

  [1. General Recommendation 2. Sequential Recommendation 3. Attention Recommendation]

  1. General Recommendation

     1. 과거: Collaboratrive Filtering(CF) 주로 사용

        ex. Matrix Factorization, item-based neighborhood methods

     2. 최근: Deep-Learning 활용

     • 한계점: Sequential Recommendation을 위한 것이 아니다

  2. Sequential Recommendation

     1. 과거: Markovchains(MCs) 사용

     2. 최근: RNN, Gated Reccurent Unit(GRU), Long Short-Term Memory(LSTM)

        (참고) https://medium.com/analytics-vidhya/rnn-vs-gru-vs-lstm-863b0b7b1573

     • 한계점: unidirectional model

  3. Attention → Sequential 데이터에 잠재력 보임

     1. 과거: attention mechanism을 기존 모델의 추가적인 요소로 사용
     2. 최근: 순수하게 attention-based NN을 활용
        1. SASRec → 제안모델과 유사, 한계점: unidirectional model

2) 제안 모델의 차별점

• Cloze를 활용하여 추천시스템에 Bidirectional Model 사용

  • 장점
    1. Global receptive field: 입력 시퀀스의 모든 위치 간의 관계를 한 번에 고려 가능
    2. 병렬적 수행

  ⇒ 사용자의 행동 시퀀스에 대한 더 강력한 표현을 얻어 추천 성능을 향상시킬 수 있다

  

• 유사 모델과의 차별점

  • SASRec:
    • SASRec는 unidirectional ↔ BERT4Rec는 bidirectional
    • 다른 훈련 방법: SASRec는 시퀀스 내 각 위치에서 다음 항목을 예측 ↔ BERT4Rec은 Cloze Objection 사용하여 시퀀스 내 마스킹된 항목을 예측
  • Continous Bag-of-Words(CBOW) & Skip-Gram(SG)
    • Cloze는 CBOW와 SG의 목적을 위한 일반화된 형태
    • CBOW
      • CBOW는 맥락(좌우 모두)의 모든 단어 벡터의 평균을 사용하여 목표 단어를 예측
      • CBERT4Rec의 단순화된 사례 → BERT4Rec에서 하나의 self-attention 레이어를 사용, 항목에 대해 균일한 어텐션 가중치를 적용, item 임베딩을 공유 x, 위치 임베딩 제거, 중앙 항목만 마스킹하는 경우
    • SG(Skip-Gram)
      • BERT4Rec의 단순화된 사례 → BERT4Rec에서 하나의 item만 제외하고 모든 항목을 마스킹한 경우
    • 다른 학습 목표(목적)
      • CBOW는 좋은 단어 표현을 학습하는 것이 목표이기 때문에 단어 시퀀스를 모델링하는 간단한 집합 연산기를 사용 ↔ BERT4Rec는 추천을 위해 강력한 행동 시퀀스 표현 모델(본 연구에서는 심층 self-attention 네트워크)을 학습하고자 함.

[2. 제안모델]

1) 문제 정의

• 목표: S_u라는 history가 주어졌을때, n_u +1 시간에 user u가 상호작용할 item을 예측하는 것

Probability that the user u selects a specific item v at n_u +1 time

• 가능한 모든 items에 대해 확률을 구함