ต้องการรู้ว่าข้อความแจ้งเตือนแบบใหม่ทำให้การตอบสนองดีขึ้นหรือไม่ วิธีใดสนับสนุนเหตุ–ผลมากกว่า — จุดบกพร่องใดของกระบวนการควรถูกระบุก่อน

เฉลยอธิบาย

Experiments and Experimental Design อธิบายว่าการแยก correlation ออกจาก causality ต้องอาศัยการออกแบบการทดลอง กำหนดปัจจัยและผลตอบสนองให้ชัด และควบคุมแหล่งอิทธิพลอื่น เมื่อนำมาใช้กับโจทย์จึงต้องเลือก “ระบุว่ากระบวนการยังไม่ยึดหลักว่า สุ่มจัดกลุ่มทดลอง/ควบคุมล่วงหน้าและกำหนด outcome ก่อนดูผล” ส่วนตัวเลือกอื่นใช้ข้อมูลผิดช่วง เลือกเมตริกไม่ตรงเป้าหมาย หรือข้ามการตรวจผลกระทบที่จำเป็น