Attention Mechanism ใน Transformer Architecture มีบทบาทสำคัญอย่างไรในการเข้าใจความหมายของประโยค และแตกต่างจาก RNN อย่างไร
กAttention ช่วยให้โมเดลจดจำทุกคำในประโยคได้เท่าเทียมกัน โดยไม่มีการเลือก
ขAttention ช่วยให้โมเดลพิจารณาคำหรือบริบทที่เกี่ยวข้องในทุกตำแหน่งของประโยคพร้อมกัน (Parallel Processing) แทนที่จะประมวลผลตามลำดับเหมือน RNN ทำให้จับความสัมพันธ์ระยะไกลในประโยคได้ดีกว่า
คAttention ใช้สำหรับประมวลผลภาพเท่านั้น ไม่เกี่ยวกับข้อความ
งAttention ทำให้โมเดลประมวลผลช้าลงแต่แม่นยำขึ้น โดยต้องอ่านข้อความหลายรอบ
เฉลยอธิบาย
Attention Mechanism ให้โมเดลกำหนดน้ำหนักความสำคัญให้กับคำทุกคำในประโยคเมื่อประมวลผลแต่ละคำ ทำให้จับความสัมพันธ์ระยะไกลได้ดี เช่น ในประโยคยาว RNN ต้องประมวลผลตามลำดับและมักลืมข้อมูลต้นประโยค แต่ Transformer ประมวลผลทุกตำแหน่งพร้อมกัน ตัวเลือก A ผิดเพราะ Attention กำหนดน้ำหนักต่างกัน ไม่ใช่เท่ากัน ตัวเลือก C ผิดเพราะ Attention ใช้กับทั้งข้อความและภาพ ตัวเลือก D ผิดเพราะ Parallel Processing ทำให้เร็วขึ้นกว่า RNN