Thẻ: long_context
MiniMax M3: Mô hình mở 1 triệu token với Sparse Attention
Cột mốc mới cho xử lý ngữ cảnh siêu dài MiniMax M3 ra mắt dưới dạng trọng số mở (open-weight) hỗ trợ native đa phương thức cho cả văn bản, hình ảnh và video. Khả năng xử lý cùng lúc 1 triệu token mở ra cơ hội phân tích toàn bộ kho mã nguồn lớn…
Mô Hình SubQ 1M-Preview: Đột Phá Kiến Trúc Phi Transformer Xử Lý 12 Triệu Token
Giải bài toán chi phí điện toán tăng theo cấp số nhân của bối cảnh dài Startup Subquadratic giới thiệu kiến trúc chú ý thưa phi Transformer giúp tỷ lệ tính toán tăng tuyến tính thay vì bình phương. Bản thử nghiệm SubQ 1M-Preview hỗ trợ xử lý mượt mà tài liệu dài tới 1…