สารบัญ6 หัวข้อหลัก
- 1.บทที่ 1 จากคำถามการตัดสินใจสู่วงจรงานข้อมูล
- 2.บทที่ 2 ความหมาย แหล่งที่มา และคุณภาพของข้อมูล
- 3.บทที่ 3 การเตรียมข้อมูลและ Pipeline ที่ตรวจย้อนกลับได้
- 4.บทที่ 4 การสำรวจ สถิติ และการอนุมานอย่างมีข้อจำกัด
- 5.บทที่ 5 การสร้างและประเมินแบบจำลองโดยไม่ให้ข้อมูลรั่ว
- 6.บทที่ 6 การสื่อสาร นำไปใช้ และเฝ้าระวังผลลัพธ์
บทที่ 1 จากคำถามการตัดสินใจสู่วงจรงานข้อมูล
งานข้อมูลควรเริ่มจากการตัดสินใจที่ต้องทำ มิใช่เริ่มจากข้อมูลหรือ Algorithm ที่มีอยู่ คำถามที่ดีต้องบอกประชากรและหน่วยวิเคราะห์ สิ่งที่ต้องการอธิบายหรือทำนาย ช่วงเวลาสังเกตและเส้นตายของผล เกณฑ์เทียบ ตลอดจนต้นทุนของความผิดพลาด หากไม่กำหนดสิ่งเหล่านี้ ตัวเลขที่คำนวณถูกอาจตอบคนละเรื่องกับผู้ใช้ เช่น อัตราเฉลี่ยทั้งปีไม่ช่วยจัดกำลังคนรายวัน หรือคะแนนความแม่นยำรวมไม่สะท้อนความเสียหายจากการพลาดกรณีสำคัญ การกำหนด Decision, Outcome, Baseline, Metric และ Constraint ตั้งแต่ต้นจึงเป็นข้อตกลงว่าหลักฐานแบบใดเพียงพอและผลจะนำไปเปลี่ยนการกระทำใด
Data คือข้อสังเกตหรือสัญลักษณ์ดิบซึ่งยังต้องมีบริบท Information เกิดเมื่อจัดข้อมูลให้ตอบคำถาม Knowledge คือความเข้าใจรูปแบบและกฎ Insight เป็นข้อค้นพบที่เกี่ยวข้องและนำไปใช้ได้ ส่วน Decision คือการเลือกทางเลือกภายใต้เป้าหมายกับข้อจำกัด ลำดับนี้ไม่ได้เกิดขึ้นโดยอัตโนมัติจากปริมาณข้อมูล เพราะข้อมูลจำนวนมากที่ไม่มีนิยาม หน่วย เวลา แหล่ง และประชากรอาจทำให้มั่นใจในข้อสรุปที่ผิดได้ การตัดสินยังต้องอาศัยดุลยพินิจ จริยธรรม และผลกระทบที่อยู่นอกตัวเลข ดังนั้นรายงานที่ดีต้องแยกข้อเท็จจริง การตีความ ข้อเสนอ และสิ่งที่ยังไม่รู้ให้เห็นชัด
ประเภทการวิเคราะห์สัมพันธ์กับคำถาม Descriptive อธิบายว่าเกิดอะไรขึ้น Diagnostic สำรวจว่าปัจจัยใดสัมพันธ์กับสิ่งที่เกิด Predictive ประมาณสิ่งที่จะเกิดหรือความน่าจะเป็น และ Prescriptive เสนอทางเลือกภายใต้ข้อจำกัด Exploratory ใช้ค้นหารูปแบบหรือคำถามใหม่ Inferential ใช้ตัวอย่างอนุมานไปยังประชากร ส่วน Causal ถามว่าการแทรกแซงทำให้ผลเปลี่ยนหรือไม่ ประเภทเหล่านี้อาจต่อเนื่องกันแต่ไม่แทนกัน กราฟความสัมพันธ์ช่วยตั้งสมมติฐานได้ ทว่าไม่เพียงพอสำหรับคำกล่าวเชิงเหตุ และโมเดลทำนายแม่นอาจใช้ตัวแปรที่ไม่เหมาะต่อการตัดสินใจเชิงนโยบาย
CRISP-DM จัดวงจรเป็น Business understanding, Data understanding, Data preparation, Modeling, Evaluation และ Deployment แล้ววนกลับเมื่อบริบทเปลี่ยน ขั้นต้นกำหนดผู้ใช้ เป้าหมาย และความเสี่ยง ขั้นทำความเข้าใจข้อมูลตรวจแหล่ง นิยาม ตัวอย่าง และคุณภาพ ขั้นเตรียมสร้างข้อมูลที่ใช้ซ้ำได้ ขั้นสร้างแบบจำลองเลือก Baseline กับวิธีที่เหมาะ ขั้นประเมินตรวจทั้ง Metric กลุ่มย่อย ความทนทาน และผลทางงานจริง ส่วน Deployment เชื่อมผลเข้าสู่กระบวนการพร้อมการติดตามและทางสำรอง วงจรนี้ไม่ใช่ Waterfall ตายตัว เพราะการสำรวจอาจพบว่า Target นิยามผิดหรือข้อมูลไม่ครอบคลุม จึงต้องย้อนกลับไปแก้คำถามก่อนเดินหน้าต่อ
ความสำเร็จของโครงการจึงไม่ได้วัดจากการสร้าง Dashboard หรือ Model เสร็จ แต่ต้องตรวจว่าผลมาถึงผู้ใช้ทันเวลา เปลี่ยนการตัดสินใจได้ และไม่สร้างผลเสียเกินกว่าที่รับได้ ระหว่างทำควรมี Gate สำหรับความพร้อมของข้อมูล ความถูกต้องตามเวลา ความน่าเชื่อถือเหนือ Baseline และความพร้อมของ Owner เมื่อใช้งานจริงต้องรับ Feedback และ Outcome กลับมาตรวจว่าปัญหายังเหมือนเดิมหรือไม่ หากพฤติกรรม แหล่งข้อมูล นโยบาย หรือข้อจำกัดเปลี่ยน วงจรต้องปรับนิยามและวิธี ไม่ใช่เพียง Retrain แบบเดิมบนข้อมูลชุดใหม่
วงจรจากคำถามถึงการเรียนรู้หลังใช้งาน
- 1Decisionกำหนดผู้ใช้ ทางเลือก Outcome เวลา Metric ต้นทุนความผิดพลาด และข้อจำกัด
- 2Dataระบุแหล่ง ความหมาย Grain ประชากร คุณภาพ สิทธิ และช่วงที่ข้อมูลมีอยู่จริง
- 3Processingเตรียม เชื่อม แปลง และสร้าง Feature ด้วยขั้นตอนที่ทำซ้ำและตรวจย้อนกลับได้
- 4Analysisสำรวจ อนุมาน สร้างแบบจำลอง และเปรียบเทียบกับ Baseline ภายใต้สมมติฐาน
- 5Actionสื่อสารผล นำเข้ากระบวนการ กำหนด Owner, Guardrail, Fallback และสิทธิทบทวน
- 6Monitoringติดตามข้อมูล สมรรถนะ ผลกระทบ และ Drift แล้วส่งหลักฐานกลับไปปรับคำถาม
บทที่ 2 ความหมาย แหล่งที่มา และคุณภาพของข้อมูล
ระดับการวัดกำหนดว่าการคำนวณใดมีความหมาย Nominal เป็นหมวดที่ไม่มีลำดับ เช่น รหัสจังหวัด Ordinal มีลำดับแต่ระยะระหว่างระดับไม่รับประกันเท่ากัน Interval มีช่วงห่างเท่ากันแต่ศูนย์ไม่ใช่ศูนย์แท้ ส่วน Ratio มีศูนย์แท้และตีความอัตราส่วนได้ ชนิดที่ระบบเก็บอาจไม่ตรงระดับความหมาย รหัสไปรษณีย์เก็บเป็นตัวเลขแต่ไม่ควรนำมาเฉลี่ย วันที่ต้องคำนึงลำดับ เวลา และเขตเวลา ข้อความกับพิกัดต้องใช้วิธีเฉพาะ และ Identifier มีไว้เชื่อม Entity ไม่ใช่ปริมาณ การเลือกค่าเฉลี่ย กราฟ หรือโมเดลจึงต้องเริ่มจากความหมายของตัวแปร ไม่ใช่จากชนิดคอลัมน์ที่โปรแกรมเดาให้
ข้อมูลอาจมีโครงสร้างเป็นแถวและคอลัมน์ กึ่งโครงสร้างอย่าง JSON หรือ Log หรือไม่มีโครงสร้างตายตัวอย่างข้อความ ภาพ เสียง และวิดีโอ Master data ระบุ Entity หลัก Transaction data บันทึกเหตุการณ์ Reference data กำหนดชุดรหัส Metadata อธิบายความหมายและ Derived data เกิดจากการคำนวณ แต่ละประเภทมี Grain และอายุใช้งานต่างกัน หนึ่งแถวอาจแทนบุคคลหนึ่งคน ธุรกรรมหนึ่งรายการ หรือยอดหนึ่งเดือน หากนำข้อมูลต่าง Grain มา Join โดยไม่ปรับระดับ ผลรวมอาจถูกคูณโดยเงียบ การระบุว่า “หนึ่งแถวต่ออะไร ณ เวลาใด” จึงเป็นประโยคพื้นฐานที่ต้องตอบได้ก่อนใช้ทุกตาราง
Data dictionary ควรเก็บชื่อเชิงเทคนิคกับชื่อธุรกิจ นิยามรวมและไม่รวม ชนิด รูปแบบ หน่วย ค่าที่อนุญาต Grain แหล่ง ความถี่อัปเดต เจ้าของ ชั้นความลับ และข้อจำกัด ส่วน Data lineage เชื่อม Source ผ่านการแปลงไปยัง Dataset, Report หรือ Model ทำให้ย้อนหาได้ว่า KPI เกิดจากคอลัมน์และกฎใด เมื่อ Source เปลี่ยน Schema จึงวิเคราะห์ผลกระทบและระบุรายงานที่ต้องทดสอบได้ Metadata ไม่ใช่เอกสารเสริมที่ตัดทิ้งได้ เพราะตัวเลขเดียวกันอาจหมายถึงยอดก่อนภาษี หลังภาษี ยอดสะสม หรือ Snapshot คนละเวลา และการไม่รู้ Version ของนิยามทำให้การเปรียบเทียบข้ามช่วงผิดโดยไม่เห็น Error
การเก็บตัวอย่างกำหนดขอบเขตการอ้างอิง Simple random sample ให้โอกาสเลือกตามแบบสุ่ม Stratified sample แบ่งชั้นเพื่อรักษากลุ่มสำคัญ Cluster sample ลดต้นทุนด้วยการสุ่มกลุ่ม ส่วน Convenience และ Voluntary response สะท้อนคนที่เข้าถึงหรือเต็มใจตอบมากกว่าประชากรทั้งหมด แม้เก็บ Census ก็ยังเกิด Coverage, Measurement และ Missing error ได้ Sample ขนาดใหญ่ลดความผันผวนจากการสุ่มแต่ไม่แก้ Selection bias, Nonresponse, Survivorship หรือคำถามที่วัดผิด การสรุปผลจึงต้องบอก Sampling frame ช่วงเวลา วิธีตอบ และกลุ่มที่หาย ไม่ใช่รายงานจำนวนผู้ตอบเป็นหลักประกันความน่าเชื่อถือ
คุณภาพข้อมูลต้องอ่านหลายมิติร่วมกัน Accuracy ถามว่าค่าตรงโลกจริงหรือแหล่งอ้างอิง Completeness ถามว่าข้อมูลจำเป็นครบ Consistency ตรวจความไม่ขัดกัน Timeliness ตรวจความใหม่ Validity ตรวจชนิด รูปแบบ และกฎ Uniqueness ตรวจการซ้ำ Integrity ตรวจความสัมพันธ์ของ Key และ Fitness ตรวจว่า Granularity เหมาะคำถามหรือไม่ การผ่านกฎรูปแบบไม่ได้รับรองความถูกต้อง และความครบสูงอาจเกิดจากการกรอกค่าปลอมแทนช่องว่าง คุณภาพจึงต้องผูกกับ Use case พร้อม Owner, Threshold และการจัดการเมื่อไม่ผ่าน มิฉะนั้นคะแนนรวมอาจซ่อนความผิดพลาดเล็กน้อยในคอลัมน์ที่มีผลร้ายแรงต่อการตัดสินใจ
เนื้อหาสรุปนี้จัดทำขึ้นเพื่อการศึกษาส่วนบุคคล ห้ามคัดลอก ทำซ้ำ หรือนำไปใช้เพื่อวัตถุประสงค์ทางการค้าโดยไม่ได้รับอนุญาต