👩🏻‍💻 본 포스팅은 개인적 공부를 위해 BERT를 정리한 포스팅으로, 오류가 있을 수 있습니다.1. Introduction 이전에 언어 모델 pre-training 연구들이 많이 되어 옴. pre-trained 언어 모델을 적용하는 데에는 총 두 가지 방법이 존재했음. feature-based ELMo는 pre-trained representation을 추가적 피처로 사용하는 task-specific 모델들을 다룸. fine-tuning GPT는 최소한의 task-specific 파라미터를 사용하는 대신, 모든 pre-trained 파라미터를 “전부”를 파인튜닝하여 사용하였음. 두 모델은 전부 pre-training 단계에서 단방향 언어 모델이 사용하는 동일한 함수를 사용함. 특히 파인튜닝을 요구하는 ..

데이터베이스 시스템 데이터베이스에 데이터를 저장하고, 이를 관리하여 조직에 필요한 정보를 생성해주는 시스템 -> 정보 : 데이터를 토대로 의미있는 내용을 도출한 것 스키마와 인스턴스 스키마 데이터베이스에 저장되는 데이터 구조와 제약조건을 정의한 것 class, definition의 개념 인스턴스 스키마에 따라 데이터베이스에 실제로 저장된 값 object, 실체화된 내용임 3단계 데이터베이스 구조 ANSI/SPARC에서 데이터베이스를 쉽게 이해하고 이용할 수 있도록 하나의 데이터베이스를 관점에 따라 세 단계로 나눔. 외부 단계 : 개별 사용자 관점 데이터베이스 하나에 대해 여러 개의 외부 스키마가 존재할 수 있음 개별 사용자마다 필요한 데이터가 다르므로 -> 사용자마다 정의하는 외부 스키마가 다름 실제로는..

데이터베이스의 정의 => 특정 조직의 여러 사용자가 공유하여 사용할 수 있도록 통합해서 저장한 운영 데이터의 집합 공유 데이터 - 특정 조직의 여러 사용자가 함께 소유하고 이용할 수 있는 공용 데이터 통합 데이터 - 최소의 중복과 통제 가능한 중복만 허용하는 데이터 혹시 중복이더라도, 통제가 가능하다. 통합을 활용하면 중복을 최소화할 수 있음 저장 데이터 - 컴퓨터가 접근할 수 있는 매체에 저장된 데이터 운영 데이터 - 조직의 주요 기능을 수행하기 위해 지속적으로 꼭 필요한 데이터 데이터베이스의 특징 실시간 접근 모아서 한 번에 처리하지 않고, 사용자의 응답에 최선을 다해 빠른 속도로 응답함 계속 변화 동시 공유 내용 기반 참조 일반적인 programming language와의 차이가 존재함. progr..

👩🏻‍💻 본 포스팅은 개인적 공부를 위해 ResNet을 정리한 포스팅으로, 오류가 있을 수 있습니다. 1. Introduction - Background, Problem Statement 딥러닝 모델에 있어 network 'depth'의 중요성이 대두되며, deeper networks (layer를 층층이 쌓아 깊게 쌓은 구조)들이 많이 등장하기 시작했다. 다만, layer를 깊게 쌓게 되면 layer를 쌓을수록 정확도가 떨어지는 degradation 문제가 발생한다. 이 degradation 문제는 오버피팅에 의해서 발생하는 것이 아니다(오버피팅이라면 train 에러는 낮되, test 에러는 높아야함). 아래 Figure 1에서 볼 수 있듯 깊은 56번째 layer에서는 train과 test 모두 에러..