논문 리뷰6 [RecSys] KGAT : Knowledge Graph Attention Network forRecommendation 논문 리뷰, 수식 설명 👩🏻💻 본 포스팅은 개인적 공부를 위해 논문 KGAT를 정리한 포스팅으로, 오류가 있을 수 있습니다. 이전에 포스팅했던 LightGCN은 GCN의 연장선으로, 사용자와 아이템 간의 연관성을 고려하는 가벼운 모델이었다. 그러나 우리 프로젝트가 가지고 있는 데이터와 목표로 하는 모델링은 유저와 유저 간의 연관성도 고려해야 했기에, 따라서 협업 필터링 + knowledge graph까지 합쳐진 하이브리드 모델을 알아봐야 하는 상황이었다. Background - CF(Collaborative Filtering) : 동일한 아이템에 관심 있는 비슷한 사용자에 집중한다. - SL(Supervised Learning) : 아이템 - 속성의 연관성에 집중한다. - KG(Knowledge Graph) : entity-.. 2024. 4. 11. [RecSys] LightGCN: Simplifying and Powering Graph ConvolutionNetwork for Recommendation 추천시스템 프로젝트 시작하면서 급하게 읽는 GCN .. 💃🏻 수식이 너무 어려워용 👩🏻💻 본 포스팅은 개인적 공부를 위해 논문 LightGCN을 정리한 포스팅으로, 오류가 있을 수 있습니다. 1. Introduction LightGCN은 GCN에서 협업 필터링에 필요한 부분만 살린 모델로, 특히 GCN을 계승한 NGCF의 약점을 보완한다는 특징이 있다. Contribution은 다음과 같다. GCN 모델에 사용된 feautre transformation과 nonlinear activation 단계를 제거해, 협업 필터링에 의미 없고 연산량만 잡아먹는 연산을 제거한다. GCN의 아키텍처 중에서도 추천에 가장 의미있는 컴퍼넌트들만 선정한 추천시스템을 구축한다. 2. Preliminaries GCN - 애초.. 2024. 3. 25. [RL] Deep Reinforcement Learning From Human References : RLHF 👩🏻💻 본 포스팅은 개인적 공부를 위해 강화학습 논문 RLHF를 정리한 포스팅으로, 오류가 있을 수 있습니다. 1. Introduction 이전까지 진행되어온 RL 연구는 'reward' 단계가 태스크별로 매우 구체적이어야 한다는 단점이 존재했다. 이 논문은 'reward', 즉 보상이 구체적이고 복잡해야 한다는 단점을 극복하게 된다면 RL이 더욱 발전할 것이라는 전제에서 시작된다. inverse RL이나 정확한 행동을 지시하는 방법도 있지만, 로봇에게 행동을 지시할 때에는 인간과 다른 방식의 행동론을 적용해야 한다는 어려움이 존재한다. => 인간이 원하는 방향성대로 agent=머신을 조종하기 위해서는, '머신이 수행할 수 있는 범위와 방향성 내에서 인간이 궤도를 결정하여 최적화하는' 방식을 채택한다... 2024. 3. 11. [NLP] BERT 논문 리뷰, 개념 정리 👩🏻💻 본 포스팅은 개인적 공부를 위해 BERT를 정리한 포스팅으로, 오류가 있을 수 있습니다.1. Introduction 이전에 언어 모델 pre-training 연구들이 많이 되어 옴. pre-trained 언어 모델을 적용하는 데에는 총 두 가지 방법이 존재했음. feature-based ELMo는 pre-trained representation을 추가적 피처로 사용하는 task-specific 모델들을 다룸. fine-tuning GPT는 최소한의 task-specific 파라미터를 사용하는 대신, 모든 pre-trained 파라미터를 “전부”를 파인튜닝하여 사용하였음. 두 모델은 전부 pre-training 단계에서 단방향 언어 모델이 사용하는 동일한 함수를 사용함. 특히 파인튜닝을 요구하는 .. 2023. 9. 12. 이전 1 2 다음
