ต้องการทราบว่าข้อความแจ้งเตือนแบบใหม่ทำให้ผู้ใช้ตอบสนองดีขึ้นหรือไม่ การออกแบบใดรองรับข้อสรุปเชิงเหตุผลมากที่สุด
กเปรียบเทียบผลก่อนและหลังเปิดใช้ โดยไม่ควบคุมการเปลี่ยนแปลงอื่น
ขสุ่มผู้ใช้เข้ากลุ่มทดลองและควบคุมล่วงหน้า พร้อมกำหนด outcome ก่อนดูผล
ควิเคราะห์เฉพาะผู้ที่ตอบสนองหลังได้รับข้อความแจ้งเตือนแบบใหม่
งหาความสัมพันธ์ระหว่างการเห็นข้อความกับการตอบสนองจาก log ย้อนหลัง
เฉลยอธิบาย
Experiments and Experimental Design สนับสนุนหลักว่า การแยก correlation ออกจาก causality ต้องอาศัยการออกแบบการทดลอง กำหนดปัจจัยและผลตอบสนองให้ชัด และควบคุมแหล่งอิทธิพลอื่น ดังนั้นคำตอบที่ตรงที่สุดคือ “สุ่มผู้ใช้เข้ากลุ่มทดลองและควบคุมล่วงหน้า พร้อมกำหนด outcome ก่อนดูผล”