[실전 LLM 파인튜닝] Day3 GPT, 2.6 - 2.8 (89p~105p)
2.6 Multihead attention / Feed-ForwardAttentionHelp model to focus on the important dataclass MultiHeadAttention(nn.Module): def __init__(self, num_heads, head_size): super().__init__() self.heads = nn.ModuleList([Head(head_size) for _ in range(num_heads)]) def forward(self,inputs): return torch.cat([head(inputs) for head in self.heads], dim=-1)Feed ForwardAttention ca..
Books
2025. 1. 2. 01:34
공지사항
최근에 올라온 글
최근에 달린 댓글
- Total
- Today
- Yesterday
링크
TAG
- Fine-Tuning
- 책리뷰
- leetcode
- Python
- csv
- 한빛미디어
- 나는리뷰어다
- LLM
- kubernetes context
- feed-forward
- book
- Kubernetes
- Container
- collator
- docker
- palindrome
- lllm
- K8S
- Git
- Shell
- error
- Binary
- 키보드
- go
- 파이썬
- Gemma
- Algorithm
- kubens
- BASIC
- AWS
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | ||||||
| 2 | 3 | 4 | 5 | 6 | 7 | 8 |
| 9 | 10 | 11 | 12 | 13 | 14 | 15 |
| 16 | 17 | 18 | 19 | 20 | 21 | 22 |
| 23 | 24 | 25 | 26 | 27 | 28 |
글 보관함
반응형