Context window - Cửa sổ ngữ cảnh của mô hình AI

📚 Giới thiệu

Context window là phạm vi ngữ cảnh mà một mô hình ngôn ngữ lớn có thể tiếp nhận trong một lần suy luận. Mọi câu hỏi, tài liệu đính kèm và nội dung sinh ra đều nằm gọn trong cửa sổ này. Khi vượt quá giới hạn, mô hình không còn "nhìn thấy" phần thông tin cũ hơn, dẫn đến việc quên ngữ cảnh hoặc trả lời lệch trọng tâm.

Đơn vị đo của context window là token, không phải từ hay ký tự. Một token có thể là một phần từ, một từ trọn vẹn hoặc một dấu câu, tùy vào ngôn ngữ và cách mã hóa của từng mô hình. Hiểu rõ khái niệm này giúp người dùng chọn đúng mô hình cho tác vụ đọc dài hạn, phân tích tài liệu hay viết mã.

🔬 Lịch sử phát triển

Khái niệm ngữ cảnh có giới hạn xuất hiện từ những mô hình ngôn ngữ đầu tiên. GPT-2 và GPT-3 của OpenAI chỉ hỗ trợ cửa sổ ngữ cảnh khoảng 2.000 đến 4.000 token, gần như chỉ đủ cho một đoạn văn hoặc một trang văn bản ngắn. Người dùng buộc phải cắt nhỏ nội dung và liên tục tóm tắt để làm việc với tài liệu dài.

Bước nhảy lớn đầu tiên đến năm 2023 khi các mô hình đạt cửa sổ 32K và 128K token, mở ra khả năng xử lý cuốn sách hàng trăm trang trong một lượt. Đến năm 2026, nhiều mô hình tiên phong đã đạt 400K, thậm chí 1 triệu token, cho phép làm việc đồng thời với hàng loạt tệp mã nguồn hoặc bộ tài liệu kỹ thuật khổng lồ.

⚙️ Cách hoạt động

Khi bạn gửi yêu cầu, toàn bộ lời nhắc cùng tài liệu đính kèm được chuyển thành chuỗi token và đưa vào bộ chú ý (attention) của mô hình. Kiến trúc transformer cho phép mỗi token "nhìn" tất cả token khác trong cùng cửa sổ, tạo nên mối liên hệ ngữ nghĩa toàn cục. Độ dài cửa sổ càng lớn, chi phí tính toán càng cao vì độ phức tạp tăng theo bình phương của số token.

Phần thông tin vượt ra ngoài cửa sổ sẽ bị bỏ qua, khiến mô hình hoạt động như thể chúng chưa từng tồn tại. Đây là điểm khác biệt giữa cửa sổ ngữ cảnh và bộ nhớ dài hạn. Một số kỹ thuật như tổng hợp có chọn lọc hay nén ngữ cảnh ra đời để kéo dài hiệu quả sử dụng trong giới hạn cho phép.

🏭 Ứng dụng thực tế

• Đọc và phân tích tài liệu dài: hợp đồng, báo cáo tài chính, hồ sơ nghiên cứu được xử lý trọn vẹn trong một lượt mà không cần cắt đoạn.
• Lập trình toàn bộ mã nguồn: lập trình viên đưa nhiều tệp code vào cửa sổ để mô hình hiểu toàn bộ dự án trước khi sửa lỗi hay viết thêm.
• Tác vụ agent và computer use: cửa sổ lớn giúp mô hình duy trì chuỗi hành động dài mà không quên mục tiêu ban đầu.
• Trợ lý khách hàng: hệ thống nhúng toàn bộ lịch sử hội thoại để tạo trải nghiệm liền mạch, không lặp lại câu hỏi.
• Phân tích khoa học: nghiên cứu sinh nhập nhiều bài báo cùng lúc để đối chiếu dữ liệu và phát hiện tương quan.

📊 So sánh các mô hình phổ biến

Xu hướng chung là các mô hình đang tăng nhanh cửa sổ ngữ cảnh, nhưng mức độ hữu ích thực tế còn phụ thuộc vào cách mô hình "chú ý" vào phần thông tin quan trọng giữa một khối văn bản rất dài.

⚠️ Thách thức và giới hạn

Chi phí tính toán là rào cản chính, vì bộ chú ý của transformer có độ phức tạp tăng theo bình phương số token. Cửa sổ càng dài, mỗi lượt suy luận càng tốn năng lượng và tiền bạc, đẩy giá API lên cao. Đây là lý do các mô hình có 1 triệu token thường được tối ưu theo hướng tiết kiệm chi phí.

Hiệu suất cũng không tăng tuyến tính với độ dài. Nhiều nghiên cứu cho thấy mô hình có xu hướng "quên" các chi tiết nằm ở giữa một cửa sổ rất dài, hiện tượng thường gọi là hiệu ứng trung tâm bị lấn át. Vì vậy cửa sổ lớn chưa chắc đã nghĩa là độ chính xác cao nếu không có cơ chế rút trích tốt.

✅ Kết luận

Context window là thước đo cốt lõi quyết định khả năng làm việc với nội dung dài của một mô hình AI. Từ vài nghìn token của thập niên trước, công nghệ đã tiến tới hàng trăm nghìn và cả triệu token, mở ra những tác vụ hoàn toàn mới trong phân tích, lập trình và tự động hóa.

Khi chọn mô hình, người dùng nên cân bằng giữa độ dài cửa sổ, chi phí và chất lượng suy luận. Cửa sổ lớn không phải lúc nào cũng là lựa chọn tốt nhất nếu tác vụ chỉ cần xử lý văn bản ngắn, và ngược lại, tác vụ đọc dài hạn sẽ không thể hoàn thành tốt nếu cửa sổ quá nhỏ.