ต้องการรู้ว่าข้อความแจ้งเตือนแบบใหม่ทำให้การตอบสนองดีขึ้นหรือไม่ วิธีใดสนับสนุนเหตุ–ผลมากกว่า — จากผลที่รายงาน ผู้กำกับดูแลควรสรุปหลักอย่างไร

เฉลยอธิบาย

Experiments and Experimental Design อธิบายว่าการแยก correlation ออกจาก causality ต้องอาศัยการออกแบบการทดลอง กำหนดปัจจัยและผลตอบสนองให้ชัด และควบคุมแหล่งอิทธิพลอื่น เมื่อนำมาใช้กับโจทย์จึงต้องเลือก “สรุปว่า สุ่มจัดกลุ่มทดลอง/ควบคุมล่วงหน้าและกำหนด outcome ก่อนดูผล” ส่วนตัวเลือกอื่นใช้ข้อมูลผิดช่วง เลือกเมตริกไม่ตรงเป้าหมาย หรือข้ามการตรวจผลกระทบที่จำเป็น