Generative AI: Hành trình của một Prompt

AI Truyền thống (Discriminative):
Input:  "Con vật này là gì?" + [hình con mèo]
Output: "Đây là con mèo" (phân loại)

Generative AI:
Input:  "Viết bài thơ về con mèo"
Output: "Chú mèo lười biếng nằm hong nắng sớm,
         Đôi mắt xanh ngọc lấp lánh hồn nhiên..." (tạo mới)

Training Data: "The cat sat on the ___"

Model học:
- "mat" ← xác suất cao (câu phổ biến)
- "roof" ← xác suất trung bình (hợp lý)
- "airplane" ← xác suất thấp (ít logic)
- "xyzabc" ← xác suất ~0 (vô nghĩa)

# Tokenization ví dụ (tiếng Anh)
"Hello, world!" → ["Hello", ",", " world", "!"]  # 4 tokens
 
# Tiếng Việt tốn nhiều token hơn
"Xin chào Việt Nam" → ["X", "in", " ch", "ào", " Việt", " Nam"]  # ~6-7 tokens

Câu: "Con mèo đuổi con chuột vì nó đói"

Attention tập trung:
"nó" → attention cao đến "mèo" (không phải "chuột")

Vì model học được rằng:
- "mèo đuổi" → mèo là chủ thể hành động
- "vì nó đói" → "đói" thường gắn với kẻ săn mồi

# Input
prompt = "Giải thích đệ quy trong Python"
 
# Tokenization
tokens = ["Gi", "ải", " th", "ích", " đ", "ệ", " quy", " trong", " Python"]
# → Vector IDs: [15234, 892, 1023, 456, 227, 1891, 7823, 234, 12892]

Token "Python" → [0.23, -0.67, 0.91, ..., 0.12]  (768-4096 chiều)

Các từ có nghĩa tương tự sẽ có vector gần nhau:
- "Python" ↔ "Java" ↔ "JavaScript" → Gần nhau
- "Python" ↔ "apple" → Xa nhau

Prompt:     "Đệ quy là"
Bước 1:     "Đệ quy là" → P(kỹ)=0.7, P(một)=0.2 → Chọn "kỹ"
Bước 2:     "Đệ quy là kỹ" → P(thuật)=0.9 → Chọn "thuật"
Bước 3:     "Đệ quy là kỹ thuật" → P(lập)=0.6 → Chọn "lập"
...
Cho đến khi: Token <END> hoặc max_tokens

Temperature = 0 (Deterministic)
→ Luôn chọn token xác suất CAO NHẤT
→ Câu trả lời giống nhau mọi lần
→ Dùng cho: Coding, Math, Facts

Temperature = 1 (Creative)
→ Chọn ngẫu nhiên theo phân phối xác suất
→ Câu trả lời đa dạng
→ Dùng cho: Creative writing, Brainstorming

Prompt: "Viết một từ mô tả bầu trời"

Token probabilities: 
  "xanh" = 40%
  "trong" = 25%
  "đẹp"  = 15%
  "cao"  = 10%
  "rộng" = 10%

Temperature=0: Luôn chọn "xanh" (40%)
Temperature=0.7: Thường "xanh", đôi khi "trong" hoặc "đẹp"
Temperature=1.5: Có thể chọn bất kỳ từ nào

Top-P = 0.9 nghĩa là:
→ Chỉ xem xét các token có tổng xác suất = 90%
→ Loại bỏ các tokens "đuôi" ít khả năng

Ví dụ:
Tokens: xanh(40%) + trong(25%) + đẹp(15%) + cao(10%) = 90%
→ Loại bỏ: "rộng" (10% còn lại)
→ Giảm khả năng sinh text "lạ"

Top-K = 3 nghĩa là:
→ Chỉ xem xét 3 tokens có xác suất cao nhất
→ Đơn giản hơn Top-P

Ví dụ: Chỉ chọn trong ["xanh", "trong", "đẹp"]

GPT-4 pre-training: ~13 trillion tokens
≈ 10 triệu cuốn sách
≈ Toàn bộ Wikipedia x1000
≈ Hàng triệu code repositories

Pattern học được:
"X là Y vì Z" → Cấu trúc giải thích
"Bước 1... Bước 2..." → Cấu trúc hướng dẫn
"def function_name(params):" → Cấu trúc Python

→ Khi bạn hỏi "Giải thích X", model tự động dùng pattern giải thích!

Để dự đoán từ tiếp theo chính xác, model PHẢI hiểu:
- Grammar (ngữ pháp)
- Facts (kiến thức)
- Logic (suy luận)
- Context (ngữ cảnh)

→ "Nén" terabytes text vào model GB = Phải "hiểu" để nén!

Giai đoạn RLHF:
Human: "Câu trả lời A tốt hơn B"
Model: Cập nhật weights để ưu tiên kiểu A

→ Model học được style trả lời "thuyết phục"
→ Câu văn mạch lạc, có cấu trúc, giải thích từng bước

Model có thể tự tin nói sai!

Ví dụ:
Q: "Ai phát minh ra điện thoại?"
A: "Thomas Edison phát minh ra điện thoại vào năm 1876."

→ Câu trả lời rất tự tin
→ Nhưng SAI! (Alexander Graham Bell mới đúng)

Đây gọi là "Hallucination"

❌ "Phân loại sentiment"
✅ "Phân loại sentiment của câu sau thành 'positive', 'negative', hoặc 'neutral':
   'Sản phẩm này tuyệt vời!'"

Ví dụ 1: "Tôi yêu món này!" → positive
Ví dụ 2: "Chất lượng tệ quá" → negative
Ví dụ 3: "Giao hàng bình thường" → neutral

Bây giờ phân loại: "Sẽ mua lại lần nữa!"
→ positive

❌ "25 x 17 = ?"
✅ "Tính 25 x 17. Giải thích từng bước."

Output:
"Bước 1: 25 x 10 = 250
 Bước 2: 25 x 7 = 175
 Bước 3: 250 + 175 = 425
 Đáp án: 425"

system = """Bạn là trợ lý lập trình Python.
Quy tắc:
- Luôn thêm type hints
- Viết docstring theo Google style
- Giải thích logic trước khi code"""
 
user = "Viết hàm tính giai thừa"

❌ "A có 5 quả táo, cho B 2 quả, B cho lại A 1 quả. Hỏi A có mấy quả?"
✅ "A có 5 quả táo, cho B 2 quả, B cho lại A 1 quả. 
    Hãy tính từng bước và cho biết A có mấy quả?"