NVIDIA ra mắt Nemotron 3 Super, mô hình AI mã nguồn mở với cửa sổ ngữ cảnh 1 triệu token

NVIDIA vừa công bố Nemotron 3 Super, phiên bản mới nhất trong dòng mô hình ngôn ngữ lớn (LLM) mã nguồn mở của hãng, được thiết kế để tối ưu hóa cho các ứng dụng AI tác nhân (agentic AI).

Điểm nổi bật của Nemotron 3 Super là kiến trúc lai Mamba-MoE. Khác với các mô hình MoE truyền thống, Mamba thay đổi cách LLM diễn giải luồng dữ liệu, sử dụng Mô hình Không gian Trạng thái (SSM) để đọc dữ liệu một cách tuyến tính. Điều này giúp ngăn chặn việc xây dựng cửa sổ ngữ cảnh quá lớn và bao gồm thông tin không liên quan, cho phép Nemotron 3 Super duy trì cửa sổ ngữ cảnh tối ưu cho các tác vụ của người dùng.

Các lớp Mamba trong kiến trúc này cung cấp hiệu quả bộ nhớ và tính toán cao hơn gấp 4 lần, đồng thời các lớp transformer thúc đẩy khả năng suy luận nâng cao. Mô hình chỉ kích hoạt 12 tỷ trong số 120 tỷ tham số khi suy luận, nhờ công nghệ Latent MoE mới giúp cải thiện độ chính xác bằng cách kích hoạt bốn chuyên gia với chi phí của một để tạo ra token tiếp theo. Ngoài ra, tính năng dự đoán đa token cho phép Nemotron 3 Super dự đoán nhiều từ tương lai cùng lúc, giúp tăng tốc độ suy luận gấp 3 lần.

Một tính năng ấn tượng khác của Nemotron 3 Super là cửa sổ ngữ cảnh 1 triệu token, lớn gấp 4 lần so với Kimi 2.5. Điều này giúp Nemotron 3 Super vượt trội so với các LLM mã nguồn mở khác và tiệm cận hiệu suất của các mô hình như Opus 4.5, mặc dù chỉ giới hạn ở 120 tỷ tham số.

NVIDIA đã thử nghiệm Nemotron 3 Super trên PinchBench, một bộ công cụ đánh giá các tác vụ tác nhân, và mô hình đạt 85,6% trên toàn bộ bộ thử nghiệm, vượt qua Opus 4.5, Kimi 2.5 và GPT-OSS 120b. Đối với người dùng chạy các tác vụ mở rộng thông qua các tác nhân như OpenClaw, Nemotron 3 Super có thể được đáp ứng chỉ với một GPU duy nhất.