Loại RAM này giúp mấy con AI chạy tốt: High Bandwidth Memory (HBM) là gì?

Tóm tắt Video về High Bandwidth Memory (HBM)

Key Concepts:

• High Bandwidth Memory (HBM): Loại RAM băng thông cao, chủ yếu dùng cho bộ xử lý đồ họa (GPU) và bộ tăng tốc AI trong máy chủ.
• Băng thông (Bandwidth): Lượng dữ liệu có thể truyền tải đồng thời, băng thông càng lớn tốc độ trao đổi dữ liệu càng nhanh.
• 3D Stacking: Xếp chồng các chip DRAM lên nhau để tăng dung lượng và tiết kiệm diện tích.
• True Silicon Via (TSV): Đường dẫn kết nối xuyên suốt các lớp chip DRAM trong HBM.
• Memory Controller: Bộ phận điều khiển RAM trong bộ xử lý.
• VRAM: Bộ nhớ video, RAM dành riêng cho GPU.
• AI Accelerator: Bộ tăng tốc AI, chuyên dụng cho các tác vụ AI.
• Unified Memory: Kiến trúc bộ nhớ hợp nhất, cho phép CPU và GPU chia sẻ chung bộ nhớ.
• Processing-in-Memory (PIM): Xử lý dữ liệu ngay trong bộ nhớ, giảm tải cho bộ xử lý.
• Silicon Interposer: Lớp trung gian kết nối các thành phần (chip, die) trong HBM.

1. Giới thiệu về HBM và tầm quan trọng của băng thông:

• HBM là loại RAM băng thông cao, không mới (xuất hiện từ 2015) nhưng ngày càng quan trọng trong bối cảnh AI phát triển mạnh mẽ.
• Băng thông lớn cho phép trao đổi dữ liệu nhanh hơn, tránh nghẽn cổ chai, tương tự như việc mở rộng đường cao tốc để tăng lưu lượng xe.
• HBM chủ yếu được sử dụng cho các bộ xử lý đồ họa trong máy trạm (Workstation) và máy chủ (Server), đặc biệt là các hệ thống chạy AI.

2. Các sản phẩm sử dụng HBM:

• Intel: Dòng CPU Intel Xeon Max và GPU Intel Max sử dụng HBM (nhưng dòng Xeon 6 mới hơn không còn sử dụng).
• AMD: CPU AMD EPYC 9664H (96 nhân CPU Zen 4, 128GB HBM3), làm riêng cho hệ thống cloud Azure của Microsoft.
• Nvidia: Các dòng card đồ họa data center như Nvidia B100, H100 sử dụng HBM. GPU GB200 mới nhất sử dụng HBM3E với băng thông lên tới 14 TB/s.
• Các dòng card đồ họa tiêu dùng (RTX 4090, 50 series) thường sử dụng GDDR5/GDDR6.
• Có tin đồn Huawei đang phát triển CPU máy chủ sử dụng HBM.

3. Nguồn gốc và sự phát triển của HBM:

• HBM được phát triển bởi liên minh Samsung, AMD và SK Hynix.
• Mục tiêu: Tạo ra chuẩn RAM mới cho công nghệ 3D stacking, tăng dung lượng và băng thông cho GPU, đồng thời tiết kiệm diện tích.
• Chip HBM đầu tiên do SK Hynix sản xuất năm 2013, AMD sử dụng từ năm 2015 (GPU Fiji).
• JEDEC (tổ chức tiêu chuẩn hóa bộ nhớ) công nhận HBM là chuẩn chung.
• Các phiên bản HBM: HBM2 (2016), HBM3 (2022), HBM3E, HBM4 (dự kiến 2026).

4. Lợi ích của HBM:

• Tiết kiệm diện tích: Cho phép xếp chồng chip RAM lên nhau (tối đa 8 chip với các chuẩn mới).
• Băng thông cao: Sử dụng True Silicon Via (TSV) để kết nối các chip DRAM, hiệu quả hơn so với dây vàng truyền thống.
• Dung lượng VRAM lớn: Ví dụ, Nvidia GB200 có thể đạt 384GB HBM3E, băng thông 16 TB/s.
• Quan trọng cho AI: Cần thiết cho các tác vụ AI đòi hỏi truy cập nhanh vào bộ dataset lớn và mô hình trong RAM.
• Tiết kiệm điện: So với các chuẩn RAM thông thường, quan trọng cho các data center tiêu thụ nhiều điện.
• Hỗ trợ Unified Memory: (Không bắt buộc) HBM giúp CPU và GPU chia sẻ chung bộ nhớ, tăng hiệu quả truy cập.

5. Công nghệ Processing-in-Memory (PIM) của Samsung:

• Cho phép xử lý dữ liệu ngay trong quá trình di chuyển từ HBM đến bộ xử lý, giảm tải cho bộ xử lý và tăng tốc các tác vụ AI.

6. Nhược điểm của HBM:

• Giá thành cao: Chi phí sản xuất cao, đòi hỏi linh kiện đặc biệt.
• Tản nhiệt: Thách thức trong thiết kế hệ thống.
• Độ phức tạp: Cần Silicon Interposer để kết nối các thành phần.
• Độ trễ (Latency): Có thể còn hơi cao so với DDR5, tối ưu cho tính toán song song hơn là các tác vụ CPU thông thường.

7. Kết luận:

• HBM là loại RAM quan trọng cho các bộ xử lý đồ họa và bộ tăng tốc AI trong máy chủ, đặc biệt là trong bối cảnh AI phát triển.
• HBM cung cấp dung lượng lớn, băng thông cao, hỗ trợ tốt cho tính toán song song, nhưng có giá thành cao và độ phức tạp trong thiết kế.
• HBM là một tiêu chuẩn đã được chuẩn hóa và nhiều hãng có thể sử dụng công nghệ này để làm ra những cái bộ xử lý GPU hoặc là những cái bộ AI Accelerator.