Theo DigiTimes đưa tin hôm nay, Micron đang nghiên cứu mô-đun NAND flash có độ bền cao. Công ty dự định triển khai mô-đun này ở vị trí gần GPU hơn, thay vì kết nối qua nhiều giao thức tới các cụm lưu trữ cách xa GPU như những giải pháp lưu trữ truyền thống.
Theo báo cáo, Micron đang tìm cách đưa NAND flash đến gần GPU hơn, với kỳ vọng tạo ra một giải pháp cân bằng giữa mật độ lưu trữ và độ bền. Sản phẩm này hiện được gọi là “NAND gần GPU” (near-GPU NAND), có thể được dùng để xử lý các khối lượng công việc không yêu cầu độ trễ thấp / băng thông cao.
Giải pháp này cho phép GPU truy cập trực tiếp vào cụm lưu trữ NAND dung lượng hàng trăm GB. NAND có thể được đặt trực tiếp bên trong gói GPU hoặc trên PCB, với cách thức hoạt động tương tự các giải pháp như HBM và GDDR7. So với NAND TLC hoặc QLC truyền thống, các chip NAND này có mật độ lưu trữ thấp hơn, tập trung vào việc tăng tốc độ I/O và băng thông.
Lớp lưu trữ này nằm giữa bộ nhớ GPU và bộ nhớ thông thường, có thể đóng vai trò như một lớp bộ nhớ đệm tốc độ cao, đặc biệt phù hợp để chạy các mô hình ngôn ngữ lớn AI quy mô lớn hơn. Khi được triển khai, giải pháp này sẽ giúp hoạt động suy luận LLM không còn bị giới hạn bởi dung lượng bộ nhớ GPU.