นักวิจัยกำลังเปรียบเทียบสองวิธีในการปรับปรุงโมเดลที่มีปัญหา Overfitting ได้แก่ L2 Regularization (Ridge) และ Dropout Layer สำหรับ Neural Network ข้อใดอธิบายความแตกต่างเชิงกลไกได้ถูกต้องที่สุด
กDropout ลบ Neuron ออกจากโมเดลถาวรเพื่อลดขนาดโมเดล ส่วน L2 เพิ่มข้อมูลฝึก
ขL2 Regularization เพิ่มโทษสำหรับค่า Weight ที่มีขนาดใหญ่เพื่อให้โมเดลง่ายขึ้น ส่วน Dropout สุ่มปิด Neuron บางส่วนระหว่างฝึกเพื่อบังคับให้เครือข่ายเรียนรู้การแสดงแทนที่กระจายตัวมากขึ้น
คL2 Regularization ใช้กับ CNN เท่านั้น ส่วน Dropout ใช้กับ RNN เท่านั้น
งทั้งสองวิธีทำงานเหมือนกันทุกประการ แต่ใช้ชื่อต่างกัน
เฉลยอธิบาย
L2 Regularization เพิ่ม Penalty Term เข้าไปใน Loss Function โดยลงโทษ Weight ที่มีค่าสูงเกินไป ทำให้โมเดลง่ายขึ้นและ Generalize ดีขึ้น Dropout ทำงานต่างกันโดยสุ่มปิด Neuron ในระหว่างฝึก ทำให้โมเดลไม่พึ่งพา Neuron ใดมากเกินไปและเรียนรู้ Feature ที่หลากหลาย ตัวเลือก B ผิดเพราะกลไกต่างกันชัดเจน ตัวเลือก C ผิดเพราะทั้งสองใช้ได้กับ Architecture ต่างๆ ตัวเลือก D ผิดเพราะ Dropout ปิด Neuron ชั่วคราวเท่านั้น