ปรากฏการณ์ 'Emergent Abilities' ใน Large Language Models (LLMs) หมายถึงอะไร และเหตุใดจึงเป็นประเด็นสำคัญในการวิจัยและควบคุม AI
กความสามารถของโมเดลในการเรียนรู้เพิ่มเติมหลังจากถูก Deploy ไปใช้งานจริงแล้ว
ขความสามารถที่ถูกโปรแกรมไว้โดยตรงในโมเดลตั้งแต่เริ่มต้น ซึ่งสามารถตรวจสอบได้จาก Source Code
คความสามารถในการสร้างโมเดล AI ใหม่ที่ดีกว่าตัวเองโดยอัตโนมัติ
งความสามารถใหม่ที่ปรากฏขึ้นโดยไม่ได้คาดการณ์ไว้ล่วงหน้าเมื่อโมเดลมีขนาดใหญ่ถึงระดับหนึ่ง ซึ่งทำให้การทำนายพฤติกรรมของ AI ทำได้ยาก
เฉลยอธิบาย
Emergent Abilities คือความสามารถที่ปรากฏขึ้นอย่างไม่ได้คาดคิดเมื่อโมเดลมี Scale ถึงระดับหนึ่ง เช่น ความสามารถในการทำ Multi-step Reasoning, In-context Learning, หรือ Chain-of-Thought โดยไม่ได้รับการฝึกโดยตรง งานวิจัยของ Wei et al. (2022) พบว่าความสามารถเหล่านี้ปรากฏขึ้นอย่างไม่เป็นเส้นตรง (Non-linear) เมื่อเพิ่มขนาดโมเดล ทำให้การคาดการณ์และควบคุม AI ทำได้ยากขึ้น เป็นประเด็นสำคัญด้าน AI Safety ตัวเลือก A ผิดเพราะ Emergent Abilities ไม่ได้โปรแกรมไว้ ตัวเลือก C เป็น Continual Learning ไม่ใช่ Emergent Abilities ตัวเลือก D เป็นแนวคิด Recursive Self-Improvement ซึ่งเป็นคนละเรื่อง