วิเคราะห์ข้อมูลการสอบประมวลความรอบรู้/ การสอบสำหรับประกอบวิชาชีพ/ การสอบเอนทรานซ์ ของนักศึกษาเภสัชศาสตร์หลักสูตร 5 ปีที่จบปี 2551

ผมตั้งข้อสงสัยอย่างไม่เป็นทางการจากการสอบปีก่อน ๆ ว่า ผลการประมวลความรอบรู้ ก่อนจบ จะสามารถใช้เป็นตัวทำนายคร่าว ๆ ว่า นักศึกษาจะสามารถผ่านการสอบรับใบประกอบวิชาชีพ ได้หรือไม่ 

สภาเภสัชกรรมประกาศผลสอบและคะแนนดิบอย่างเป็นทางการมาแล้ว และทางฝ่ายจัดการเรื่องการสอบประมวลความรอบรู้ ก็ได้เอื้อเฟื้อส่งคะแนนดิบมาให้

นิยามข้อมูล: คะแนนการสอบข้อเขียนสภาเภสัชกรรม พ.ศ. 2551 (ผมโหลดจาก web ประกาศทางการของสภาเภสัชกรรม) และคะแนนการสอบข้อเขียน ของการสอบประมวลความรอบรู้ของนักศึกษาหลักสูตร 5 ปี ที่มีรหัสขึ้นต้น 4650... เฉพาะการสอบประมวลความรอบรู้ในครั้งที่หนึ่ง จำนวน 105 คน ที่มีข้อมูลคะแนนครบทั้งสองฟาก (นักศึกษาบางคนไม่ได้สอบของสภาเภสัชกรรม) คะแนนส่วนนี้ ดร.ภูธร และ น้องหนิง เอื้อเฟื้อข้อมูลดิบ

พูดง่าย ๆ คือ มีข้อมูลปีล่าสุดเดียว 

แต่ก็คิดว่า น่าจะพอดูได้คร่าว ๆ

ดูกราฟก่อน จะเห็นแนวโน้มไปทางเดียวกัน

ผลการวิเคราะห์ข้อมูล: สามารถทำนายได้แม่นยำ 91.6 % ว่า หากผ่านหรือตกข้อเขียนของการสอบประมวลความรอบรู้ที่คณะจัดสอบแล้ว ก็จะได้ผลเช่นเดียวกันกับการผ่านหรือตกข้อเขียนที่ทางสภาเภสัชกรรมจัดสอบด้วย 

คนที่ผ่านสอบข้อเขียนของการสอบประมวลความรอบรู้ได้ตั้งแต่ครั้งแรก ควรจะสบายใจได้ว่า ตนเองมีโอกาสสูงมากที่จะสอบผ่านข้อเขียนของสภาเภสัชกรรมด้วย 

จากข้อมูลนี้ จะเห็นว่า ข้อสอบข้อเขียนของการสอบประมวลความรอบรู้ที่คณะออกเอง จะยากกว่าข้อสอบข้อเขียนของสภาเภสัชกรรม (ดูจาก % ที่สอบไม่ผ่าน)

พอผมเล่าให้ ดร.ภูธร ที่ดูแลเรื่องจัดสอบประมวลความรอบรู้ฟัง อาจารย์ภูธรก็ถามว่า เอ๊ะ แล้วโยงกับคะแนนเอนทรานซ์แล้วเป็นไงมั่ง ?

เอ...น่าสนใจดีนิ ว่าแล้ว ผมก็ไปหาคุณ ภานุช (งานบริการ) ขอข้อมูลมาชงซะหน่อย

คุณภานุชบอกว่า อาจารย์โชคดีมาก ที่ข้อมูลรุ่นนี้มีแฟ้มอิเล็กทรอนิกส์พอดี๊ พอดี เพราะข้อมูลปีอื่น มีแต่อยู่ในกระดาษ มหาวิทยาลัยส่งแบบกระดาษมาให้ ฟังแล้วอึ้งเล็ก ๆ ว่า ปีหน้า ผมขอบาย  ขี้คร้านกรอกข้อมูลครับ (แหม webometric อันดับ 1 ทั้งที ยังใช้แต่กระดาษอยู่เหลย)

ส่วนข้อมูลที่มีอยู่ก่อน ก็เจอปัญหาทางเทคนิคนิดหน่อย คือ ข้อมูลสอบเอนทรานซ์ มีส่วนสอบตรง กับสอบกลาง ซึ่งผมลองมาดู ผมว่ามันเป็นข้อมูลสองกลุ่มกันอย่างสิ้นเชิง

ผมแก้ปัญหาโดยการแยกข้อมูลสอบตรงและสอบกลางออก แล้วแปลงเป็นคะแนน T (standardized T score) ของแต่ละกองโดยสูตร

        คะแนน T = 50 + Z คูณ 10

โดย Z ก็คือ Z score ของคะแนนสอบเอนทรานซ์ โดยผมก็แยกคำนวณคะแนน T ของแต่ละกลุ่ม แล้วตี๊ต่างว่า ถ้าทั้งสองกลุ่มย่อย เหมือนกันทางสถิติ ผมก็สามารถเอาคะแนน T ที่แปลงแล้ว มาคลุกกันได้เลย ทำให้มองเห็นนักศึกษาทั้งชั้นปีได้ราวกับเป็นเนื้อเดียวกัน

แต่ถ้าตี๊ต่างไม่จริง ก็ตัวใครตัวมันแหละครับเด้อ 

(ตี๊ต่าง = assumption) 

ได้กราฟนี้

เวลาอ่านกราฟนี้ ผมได้ข้อสรุปว่า

1. สอบเอนทรานซ์ได้คะแนนสูง ๆ จะสอบประมวลความรอบรู้ได้คะแนนสูงตามไปด้วย 

2. แต่ถ้าสอบเอนทรานซ์ได้คะแนนต่ำ ๆ จะทำนายไม่ถูก ว่าจะสอบประมวลความรอบรู้ได้คะแนนสูงหรือต่ำ (แสดงว่า กระบวนการจัดการศึกษาดี ? หรือคะแนนเอนทรานซ์ ไม่ได้บอกถึงศักยภาพของนักเรียน ?)

ลองเอาคะแนนเอนทรานซ์ไปโยงกับคะแนนข้อเขียนของการสอบสภาเภสัชกรรมดูบ้าง

จะเห็นแนวโน้มที่ไม่ชัดเจนเหมือนกรณีก่อนหน้า คือ เอนทรานซ์ได้คะแนนดีจริง ๆ ก็ทำข้อสอบสภาเภสัชกรรมได้ดีด้วย 

แต่หากเอนทรานซ์เข้ามาคะแนนไม่ดี บอกอะไรไม่ได้เลย คือ อาจอยู่แบบเดิม หรือ "เร่งขึ้น"

ผมตีความแบบคิดเข้าข้างตัวเองคือ กระบวนการจัดการศึกษา สามารถปรับเปลี่ยนนักศึกษาได้ โดยจะเห็นผลชัดมากในกลุ่มที่คะแนนสอบเข้าอยู่ต่ำ ๆ ส่วนกลุ่มที่คะแนนสอบเข้าสูง ก็ไปได้ดีโดยตัวเขาเองอยู่แล้ว ซึ่งการตีความนี้ ไม่ได้อิงตามหลักการครับ เป็น "หลักกู" ล้วน ๆ

ส่วนที่ทำให้สบายใจก็คือ ไม่เกิดการขัดแย้งแบบหักมุมของข้อมูลทั้งหมด ประมาณว่า สอบเข้าดี๊ ดี จบไป อ๊อน อ่อน แบบนั้น น่ากลัวครับ ถ้าเกิดแบบนั้น ปี๊บครับ ปี๊บสถานเดียว

อีกคำถามหนึ่งที่น่าสนใจก็คือ สอบ Ent ตรง กับ Ent กลาง มีผลสัมฤทธิ์ในการสอบสภาเภสัชกรรมต่างกันไหม

ผมใส่ค่า variance เพื่อความสะดวกในการคำนวณต่อใน excel ครับ (หมายถึงผมสะดวก ไม่ได้หมายถึงคนอื่นสะดวก)

ปรากฎว่าต่างครับ แตกต่างทางสถิติกันชัดเจนมาก (t-test; p-value < 0.01) คือกลุ่มที่เข้ามาโดยการสอบตรง จะมีคะแนนสอบสภาเภสัชกรรมสูงกว่าสอบกลาง ไม่ว่าคะแนนข้อเขียน (MCQ) หรือปฎิบัติ (OSPE)

แต่ต่างกัน ก็แล้วไงล่ะ ? สำหรับผมเอง ไม่สนใจจะตอบคำถามนี้

ข้อมูลสอบปฎิบัติ OSPE สภา พบว่า มีความสัมพันธ์อย่างอ่อนมากกับผล compre คือ แม้ไปทางเดียวกัน แต่ค่า R-squared มีค่า 0.1 เท่านั้นเอง จึงสรุปว่า ทำนายผลการสอบ OSPE สภาโดยวิธีเดียวกันไม่ได้ดีนัก เพราะจะไม่แม่น แต่ขอตั้งข้อสังเกตไม่เป็นทางการว่า คนที่จะตก OSPE สภา มักไม่ค่อยใส่ใจเรื่องการซ้อม  ใช้ประเด็นนี้ เป็นตัวทำนายล่วงหน้าได้แม่นกว่าดูจากคะแนนสอบ compre เสียอีก

ผมเคยใช้ checklist ต่อไปนี้มาพยากรณ์อย่างไม่เป็นทางการ ใครเข้าข่ายนี้ครบ จะเป็นกลุ่มเสี่ยงสูงในการสอบภาคปฎิบัติ (ospe ของสภา) 

1. คนที่ไม่ใส่ใจเรื่องต่าง ๆ นัดชี้แจงก็โดด หรือเข้าสาย ไม่ตื่นตัวในการดูแลตัวเอง
2. เวลาทำ lab ชอบกินแรงเพื่อน (พฤติกรรมติดตัวตั้งแต่เด็ก)
3. คนที่ขี้เกียจซ้อม ประเภทที่คิดว่า สอบทักษะ สามารถใช้วิธี ท่องจำ ท่องแหลกราญ เก็งเป็นฉาก ๆ แต่ไม่ยอมซ้อม ถึงเวลาสอบจริง ความจำไม่รู้หลบไปอยู่ไหนหมด 
4. เวลาซ้อม รอรับส่วนบุญจากเพื่อน ตัวเองทำแบบลูกนก คืออ้าปากรอให้แม่นกหาอาหาร(เพื่อนช่วยตั้งโจทย์)มาป้อน คิดเองไม่เป็น
5. ขี้ลน ขาดสติ ขาดไหวพริบ ไม่ใช่คนช่างสังเกตุ (เคยมีคนสอบตกแบบเพราะพลาดข้อคำตอบซ่อนอยู่ตรงหน้า แต่มัวลนเพราะเก็งมาไม่ตรง) 

พูดง่าย ๆ คือ ทำนายการสอบ MCQ สภา พอบอกได้ คร่าว ๆ ล่วงหน้าก็จริง แต่ทำนายการสอบ OSPE สภา จะทำนายจากข้อมูลคะแนน compre ไม่ได้