Context window ทำไม AI ถึงลืมสิ่งที่เพิ่งคุยกัน

คุณเคยคุยกับ AI มายาว แล้วรู้สึกว่ามันเริ่มลืมสิ่งที่พูดไปตอนต้นไหม นั่นไม่ใช่ความขี้ลืม แต่เป็นขอจำกัดทางโครงสร้างที่เรียกว่า context window

มันคือโต๊ะทำงาน ไม่ใช่ความทรงจำ

ทุกครั้งที่คุณส่งข้อความ ระบบจะส่งบทสนทนาทั้งหมดเท่าที่ยัดไปให้โมเดลอ่านใหม่ทั้งหมด โมเดลไม่ได้จำอะไรไว้ระหว่างครั้งเลย ความรู้สึกว่ามัน "จำได้" มาจากการอ่านซ้ำทั้งหมดทุกรอบ

รอบ 1 : [system] + [คำถาม 1]
รอบ 2 : [system] + [คำถาม 1] + [คำตอบ 1] + [คำถาม 2]
รอบ 3 : [system] + [คำถาม 1] + [คำตอบ 1]
         + [คำถาม 2] + [คำตอบ 2] + [คำถาม 3]

เกินโต๊ะ → ส่วนเก่าสุดถูกตัดทิ้ง หรือสรุปทิ้ง

ทำไมความแม่นยำตกตอนโต๊ะยาว

ถึงโต๊ะจะใหญ่แค่ไหน โมเดลก็มักให้น้ำหนักกับข้อความต้น ๆ กับท้าย ๆ มากกว่าตรงกลาง เอกสารหนา ๆ ที่กองอยู่ตรงกลางจึงมักถูกมองข้าม

• วางคำสั่งสำคัญไว้ท้ายสุด เพราะมันใกล้กับจุดที่โมเดลกำลังตอบ
• ถ้าแนบเอกสารยาว ให้แนบเฉพาะส่วนที่เกี่ยว ไม่ใช่ทั้งเล่ม
• คุยยาวแล้วเริ่มแชทใหม่ พร้อมสรุปสิ่งที่ตกลงกันไปแล้ว

อย่าสับสนกับความจำระยะยาว

บางระบบมีการจดสิ่งที่คุณเล่าไว้ลงที่เก็บถาวรแยกต่างหาก สองอย่างนี้ต่างกันโดยสิ้นเชิง อันหนึ่งคือสิ่งที่อยู่ในหน้าต่างตอนนี้ อีกอันคือสิ่งที่ถูกดึงกลับมาวางใหม่เมื่อเข้าเกณฑ์

เข้าใจเรื่องนี้แล้วจะอธิบายอาการแปลก ๆ ได้อีกหลายอย่าง เช่น ทำไมคุยไปนาน ๆ แล้วมันเหมือนลืมกฎที่ตั้งไว้ตอนแรก คำตอบคือกฎนั้นอาจหลุดออกจากโต๊ะไปแล้วจริง ๆ