[PyTorch] Transformer 라이브러리 #1
·
AI
Hugging Face 🤗 사에서 제공하는 Transformers Course를 한국어 버전으로 혼자 공부하며 정리한 글입니다. Transformers 라이브러리의 첫 번째 도구, pipeline() 함수 이용하기 파이프라인 함수에 텍스트가 입력되면, 주요 3가지 단계가 내부적으로 실행된다. preprocessing 입력 텍스트 모델에 전달 postprocessing zero shot classification 파이프라인에서는 기존에 라이브러리에서 제공하는 레이블이 아닌 새로운 레이블 집합을 사용해서 텍스트를 분류할 수 있도록 하는 classifier이다. pipeline에서 기본적으로 제공하는 라이브러리로 사용할 수 있다. from transformers import pipeline classifier..
[PyTorch] M1, M2 칩으로 Pytorch GPU 사용하기
·
AI
글쓴이는 현재 M2 맥북 에어 환경에서 딥러닝 학습을 진행하고 있다. 본래 tensorflow 기반의 학습만 진행하다가 이번에 새로 pytorch 환경을 사용하게 되어서 Apple Silicon OS에서 pytorch 환경을 구축하게 되었다.cuda 환경은 MacOS와 호환이 불가하기 때문에,  M1 M2 환경에서 pytorch를 사용할 수 있는 mps 장치 적용 방법에 대해서 알아보도록 하겠다. 💻 MPS란?MPS 백엔드는 MacOS 장치에서 PyTorch 에코시스템을 확장하고 GPU에서 작업을 설정하고 실행할 수 있는 기존 스크립트 기능을 제공한다. 1. torch version 확인하기터미널을 키고, python과 torch 라이브러리 설치가 우선적으로 진행되어야 한다.torch 1.12.0 이상..