Điều đó nghe có vẻ không đáng kể. Nhưng nó có lượng thông tin gấp năm lần so với GPT-4 tiêu chuẩn có thể chứa trong “bộ nhớ” của nó và gấp tám lần so với GPT-3.
“Mô hình có thể sử dụng linh hoạt các tài liệu dài,” Greg Brockman, đồng sáng lập và chủ tịch OpenAI, cho biết trong buổi demo trực tiếp chiều nay. “Chúng tôi muốn xem loại ứng dụng nào [điều này cho phép].”
Khi nó liên quan đến AI tạo văn bản, cửa sổ ngữ cảnh đề cập đến văn bản mà mô hình xem xét trước khi tạo văn bản bổ sung. Mặc dù các mô hình như GPT-4 “học” cách viết bằng cách đào tạo trên hàng tỷ mẫu văn bản, nhưng chúng chỉ có thể xem xét một phần nhỏ văn bản đó tại một thời điểm — chủ yếu được xác định bởi kích thước cửa sổ ngữ cảnh của chúng.
Các mô hình có cửa sổ ngữ cảnh nhỏ có xu hướng “quên” nội dung của các cuộc trò chuyện thậm chí rất gần đây, dẫn đến việc họ lạc đề. Sau khoảng vài nghìn từ, họ cũng quên hướng dẫn ban đầu của mình, thay vào đó ngoại suy hành vi của họ từ thông tin cuối cùng trong cửa sổ ngữ cảnh thay vì yêu cầu ban đầu.
Allen Pike, cựu kỹ sư phần mềm của Apple, giải thích một cách màu mè như sau:
“[Người mẫu] sẽ quên bất cứ điều gì bạn cố gắng dạy nó. Nó sẽ quên rằng bạn sống ở Canada. Nó sẽ quên rằng bạn có con. Nó sẽ quên rằng bạn ghét đặt trước mọi thứ vào Thứ Tư và vui lòng ngừng đề xuất đặt mọi thứ vào Thứ Tư, chết tiệt. Nếu cả hai bạn không nhắc đến tên của bạn trong một thời gian, nó cũng sẽ quên điều đó. Nói chuyện với một nhân vật [được hỗ trợ bởi GPT] một lúc và bạn có thể bắt đầu cảm thấy như mình đang gắn kết với nhân vật đó, đến một nơi nào đó thực sự thú vị. Đôi khi nó hơi bối rối, nhưng điều đó cũng xảy ra với mọi người. Nhưng cuối cùng, sự thật là nó không có trí nhớ trung hạn trở nên rõ ràng, và ảo ảnh tan vỡ.”
Chúng tôi vẫn chưa thể chạm tay vào phiên bản GPT-4 với cửa sổ ngữ cảnh mở rộng, gpt-4-32k. (OpenAI nói rằng nó đang xử lý các yêu cầu cho các mô hình GPT-4 có ngữ cảnh cao và thấp ở “các tỷ lệ khác nhau dựa trên dung lượng”.) Nhưng không khó để tưởng tượng các cuộc trò chuyện với nó có thể hấp dẫn hơn nhiều so với những cuộc trò chuyện với trước đó- mô hình gen.
Với “bộ nhớ” lớn hơn, GPT-4 sẽ có thể trò chuyện tương đối mạch lạc trong nhiều giờ — thậm chí vài ngày — thay vì vài phút. Và có lẽ quan trọng hơn, nó sẽ ít có khả năng đi chệch hướng. Như Pike lưu ý, một trong những lý do khiến các chatbot như Bing Chat có thể bị khuyến khích hoạt động không tốt là do hướng dẫn ban đầu của chúng — trở thành một chatbot hữu ích, phản hồi một cách tôn trọng, v.v. — nhanh chóng bị đẩy ra khỏi cửa sổ ngữ cảnh của chúng bằng các lời nhắc và phản hồi bổ sung.
Nó có thể là một chút sắc thái hơn thế. Nhưng cửa sổ ngữ cảnh đóng một vai trò quan trọng trong việc tạo nền tảng cho các mô hình. không nghi ngờ gì. Theo thời gian, chúng ta sẽ thấy nó tạo ra sự khác biệt hữu hình như thế nào.
Theo : Vntrada.com
