[실전 LLM 파인튜닝] Day2 - GPT 2.3 - 2.5 (46p ~ 82p)
주요 개념임베딩 레이어nn.Embedding은 토큰(단어/문자 등)을 고정된 크기의 벡터로 변환합니다.코드에서는 vocab_length 크기의 임베딩을 사용합니다.Forward Pass 및 손실 계산forward 메서드는 모델의 입력을 처리하고, logits(모델 출력)과 손실(loss)을 반환합니다.F.cross_entropy를 사용하여 목표(target)와의 차이를 계산합니다.시퀀스 생성generate 메서드는 현재 입력에 대해 다음 토큰을 샘플링하여 새로운 시퀀스를 생성합니다.torch.multinomial과 F.softmax를 사용하여 확률적으로 다음 토큰을 선택합니다.훈련 루프데이터를 배치 단위로 처리하며 모델을 학습시킵니다.손실이 일정 간격마다 평가됩니다.학습 데이터 배치 생성batch_fun..
Books
2025. 1. 1. 01:04
공지사항
최근에 올라온 글
최근에 달린 댓글
- Total
- Today
- Yesterday
링크
TAG
- Gemma
- error
- 한빛미디어
- csv
- 책리뷰
- palindrome
- leetcode
- Container
- feed-forward
- Git
- book
- AWS
- collator
- Fine-Tuning
- 파이썬
- lllm
- Kubernetes
- Python
- Binary
- kubens
- 나는리뷰어다
- BASIC
- LLM
- docker
- Algorithm
- kubernetes context
- K8S
- Shell
- 키보드
- go
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | |||
| 5 | 6 | 7 | 8 | 9 | 10 | 11 |
| 12 | 13 | 14 | 15 | 16 | 17 | 18 |
| 19 | 20 | 21 | 22 | 23 | 24 | 25 |
| 26 | 27 | 28 | 29 | 30 | 31 |
글 보관함
반응형