[실전 LLM 파인튜닝] Day3 GPT, 2.6 - 2.8 (89p~105p)
2.6 Multihead attention / Feed-ForwardAttentionHelp model to focus on the important dataclass MultiHeadAttention(nn.Module): def __init__(self, num_heads, head_size): super().__init__() self.heads = nn.ModuleList([Head(head_size) for _ in range(num_heads)]) def forward(self,inputs): return torch.cat([head(inputs) for head in self.heads], dim=-1)Feed ForwardAttention ca..
Books
2025. 1. 2. 01:34
공지사항
최근에 올라온 글
최근에 달린 댓글
- Total
- Today
- Yesterday
링크
TAG
- Fine-Tuning
- 키보드
- feed-forward
- lllm
- LLM
- 한빛미디어
- leetcode
- docker
- K8S
- Shell
- book
- kubernetes context
- 나는리뷰어다
- Python
- collator
- palindrome
- Binary
- csv
- Container
- AWS
- Git
- BASIC
- error
- go
- 파이썬
- Gemma
- 책리뷰
- Kubernetes
- kubens
- Algorithm
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | |||
| 5 | 6 | 7 | 8 | 9 | 10 | 11 |
| 12 | 13 | 14 | 15 | 16 | 17 | 18 |
| 19 | 20 | 21 | 22 | 23 | 24 | 25 |
| 26 | 27 | 28 | 29 | 30 | 31 |
글 보관함
반응형