ความเห็น: 7
วิเคราะห์ข้อมูลการสอบประมวลความรอบรู้/ การสอบสำหรับประกอบวิชาชีพ/ การสอบเอนทรานซ์ ของนักศึกษาเภสัชศาสตร์หลักสูตร 5 ปีที่จบปี 2551
ผมตั้งข้อสงสัยอย่างไม่เป็นทางการจากการสอบปีก่อน ๆ ว่า ผลการประมวลความรอบรู้ ก่อนจบ จะสามารถใช้เป็นตัวทำนายคร่าว ๆ ว่า นักศึกษาจะสามารถผ่านการสอบรับใบประกอบวิชาชีพ ได้หรือไม่
สภาเภสัชกรรมประกาศผลสอบและคะแนนดิบอย่างเป็นทางการมาแล้ว และทางฝ่ายจัดการเรื่องการสอบประมวลความรอบรู้ ก็ได้เอื้อเฟื้อส่งคะแนนดิบมาให้
นิยามข้อมูล: คะแนนการสอบข้อเขียนสภาเภสัชกรรม พ.ศ. 2551 (ผมโหลดจาก web ประกาศทางการของสภาเภสัชกรรม) และคะแนนการสอบข้อเขียน ของการสอบประมวลความรอบรู้ของนักศึกษาหลักสูตร 5 ปี ที่มีรหัสขึ้นต้น 4650... เฉพาะการสอบประมวลความรอบรู้ในครั้งที่หนึ่ง จำนวน 105 คน ที่มีข้อมูลคะแนนครบทั้งสองฟาก (นักศึกษาบางคนไม่ได้สอบของสภาเภสัชกรรม) คะแนนส่วนนี้ ดร.ภูธร และ น้องหนิง เอื้อเฟื้อข้อมูลดิบ
พูดง่าย ๆ คือ มีข้อมูลปีล่าสุดเดียว
แต่ก็คิดว่า น่าจะพอดูได้คร่าว ๆ
ดูกราฟก่อน จะเห็นแนวโน้มไปทางเดียวกัน
ผลการวิเคราะห์ข้อมูล: สามารถทำนายได้แม่นยำ 91.6 % ว่า หากผ่านหรือตกข้อเขียนของการสอบประมวลความรอบรู้ที่คณะจัดสอบแล้ว ก็จะได้ผลเช่นเดียวกันกับการผ่านหรือตกข้อเขียนที่ทางสภาเภสัชกรรมจัดสอบด้วย
ข้อเขียนคณะ (compre) | ข้อเขียนสภา | คน |
ผ่าน | ผ่าน | 96 |
ผ่าน | ตก | 2 |
ตก | ผ่าน | 7 |
ตก | ตก | 2 |
คนที่ผ่านสอบข้อเขียนของการสอบประมวลความรอบรู้ได้ตั้งแต่ครั้งแรก ควรจะสบายใจได้ว่า ตนเองมีโอกาสสูงมากที่จะสอบผ่านข้อเขียนของสภาเภสัชกรรมด้วย
จากข้อมูลนี้ จะเห็นว่า ข้อสอบข้อเขียนของการสอบประมวลความรอบรู้ที่คณะออกเอง จะยากกว่าข้อสอบข้อเขียนของสภาเภสัชกรรม (ดูจาก % ที่สอบไม่ผ่าน)
พอผมเล่าให้ ดร.ภูธร ที่ดูแลเรื่องจัดสอบประมวลความรอบรู้ฟัง อาจารย์ภูธรก็ถามว่า เอ๊ะ แล้วโยงกับคะแนนเอนทรานซ์แล้วเป็นไงมั่ง ?
เอ...น่าสนใจดีนิ ว่าแล้ว ผมก็ไปหาคุณ ภานุช (งานบริการ) ขอข้อมูลมาชงซะหน่อย
คุณภานุชบอกว่า อาจารย์โชคดีมาก ที่ข้อมูลรุ่นนี้มีแฟ้มอิเล็กทรอนิกส์พอดี๊ พอดี เพราะข้อมูลปีอื่น มีแต่อยู่ในกระดาษ มหาวิทยาลัยส่งแบบกระดาษมาให้ ฟังแล้วอึ้งเล็ก ๆ ว่า ปีหน้า ผมขอบาย ขี้คร้านกรอกข้อมูลครับ (แหม webometric อันดับ 1 ทั้งที ยังใช้แต่กระดาษอยู่เหลย)
ส่วนข้อมูลที่มีอยู่ก่อน ก็เจอปัญหาทางเทคนิคนิดหน่อย คือ ข้อมูลสอบเอนทรานซ์ มีส่วนสอบตรง กับสอบกลาง ซึ่งผมลองมาดู ผมว่ามันเป็นข้อมูลสองกลุ่มกันอย่างสิ้นเชิง
ผมแก้ปัญหาโดยการแยกข้อมูลสอบตรงและสอบกลางออก แล้วแปลงเป็นคะแนน T (standardized T score) ของแต่ละกองโดยสูตร
คะแนน T = 50 + Z คูณ 10
โดย Z ก็คือ Z score ของคะแนนสอบเอนทรานซ์ โดยผมก็แยกคำนวณคะแนน T ของแต่ละกลุ่ม แล้วตี๊ต่างว่า ถ้าทั้งสองกลุ่มย่อย เหมือนกันทางสถิติ ผมก็สามารถเอาคะแนน T ที่แปลงแล้ว มาคลุกกันได้เลย ทำให้มองเห็นนักศึกษาทั้งชั้นปีได้ราวกับเป็นเนื้อเดียวกัน
แต่ถ้าตี๊ต่างไม่จริง ก็ตัวใครตัวมันแหละครับเด้อ
(ตี๊ต่าง = assumption)
ได้กราฟนี้
เวลาอ่านกราฟนี้ ผมได้ข้อสรุปว่า
1. สอบเอนทรานซ์ได้คะแนนสูง ๆ จะสอบประมวลความรอบรู้ได้คะแนนสูงตามไปด้วย
2. แต่ถ้าสอบเอนทรานซ์ได้คะแนนต่ำ ๆ จะทำนายไม่ถูก ว่าจะสอบประมวลความรอบรู้ได้คะแนนสูงหรือต่ำ (แสดงว่า กระบวนการจัดการศึกษาดี ? หรือคะแนนเอนทรานซ์ ไม่ได้บอกถึงศักยภาพของนักเรียน ?)
ลองเอาคะแนนเอนทรานซ์ไปโยงกับคะแนนข้อเขียนของการสอบสภาเภสัชกรรมดูบ้าง
จะเห็นแนวโน้มที่ไม่ชัดเจนเหมือนกรณีก่อนหน้า คือ เอนทรานซ์ได้คะแนนดีจริง ๆ ก็ทำข้อสอบสภาเภสัชกรรมได้ดีด้วย
แต่หากเอนทรานซ์เข้ามาคะแนนไม่ดี บอกอะไรไม่ได้เลย คือ อาจอยู่แบบเดิม หรือ "เร่งขึ้น"
ผมตีความแบบคิดเข้าข้างตัวเองคือ กระบวนการจัดการศึกษา สามารถปรับเปลี่ยนนักศึกษาได้ โดยจะเห็นผลชัดมากในกลุ่มที่คะแนนสอบเข้าอยู่ต่ำ ๆ ส่วนกลุ่มที่คะแนนสอบเข้าสูง ก็ไปได้ดีโดยตัวเขาเองอยู่แล้ว ซึ่งการตีความนี้ ไม่ได้อิงตามหลักการครับ เป็น "หลักกู" ล้วน ๆ
ส่วนที่ทำให้สบายใจก็คือ ไม่เกิดการขัดแย้งแบบหักมุมของข้อมูลทั้งหมด ประมาณว่า สอบเข้าดี๊ ดี จบไป อ๊อน อ่อน แบบนั้น น่ากลัวครับ ถ้าเกิดแบบนั้น ปี๊บครับ ปี๊บสถานเดียว
อีกคำถามหนึ่งที่น่าสนใจก็คือ สอบ Ent ตรง กับ Ent กลาง มีผลสัมฤทธิ์ในการสอบสภาเภสัชกรรมต่างกันไหม
| MCQ | MCQ | MCQ | OSPE | OSPE | OSPE |
วิธีเข้าศึกษา | เฉลี่ย | var | N | เฉลี่ย | var | N |
สอบตรง | 75.4 | 33.0 | 54 | 85.0 | 18.0 | 53 |
สอบกลาง | 71.1 | 55.4 | 53 | 82.6 | 34.7 | 53 |
ผมใส่ค่า variance เพื่อความสะดวกในการคำนวณต่อใน excel ครับ (หมายถึงผมสะดวก ไม่ได้หมายถึงคนอื่นสะดวก)
ปรากฎว่าต่างครับ แตกต่างทางสถิติกันชัดเจนมาก (t-test; p-value < 0.01) คือกลุ่มที่เข้ามาโดยการสอบตรง จะมีคะแนนสอบสภาเภสัชกรรมสูงกว่าสอบกลาง ไม่ว่าคะแนนข้อเขียน (MCQ) หรือปฎิบัติ (OSPE)
แต่ต่างกัน ก็แล้วไงล่ะ ? สำหรับผมเอง ไม่สนใจจะตอบคำถามนี้
ข้อมูลสอบปฎิบัติ OSPE สภา พบว่า มีความสัมพันธ์อย่างอ่อนมากกับผล compre คือ แม้ไปทางเดียวกัน แต่ค่า R-squared มีค่า 0.1 เท่านั้นเอง จึงสรุปว่า ทำนายผลการสอบ OSPE สภาโดยวิธีเดียวกันไม่ได้ดีนัก เพราะจะไม่แม่น แต่ขอตั้งข้อสังเกตไม่เป็นทางการว่า คนที่จะตก OSPE สภา มักไม่ค่อยใส่ใจเรื่องการซ้อม ใช้ประเด็นนี้ เป็นตัวทำนายล่วงหน้าได้แม่นกว่าดูจากคะแนนสอบ compre เสียอีก
ผมเคยใช้ checklist ต่อไปนี้มาพยากรณ์อย่างไม่เป็นทางการ ใครเข้าข่ายนี้ครบ จะเป็นกลุ่มเสี่ยงสูงในการสอบภาคปฎิบัติ (ospe ของสภา)
- คนที่ไม่ใส่ใจเรื่องต่าง ๆ นัดชี้แจงก็โดด หรือเข้าสาย ไม่ตื่นตัวในการดูแลตัวเอง
- เวลาทำ lab ชอบกินแรงเพื่อน (พฤติกรรมติดตัวตั้งแต่เด็ก)
- คนที่ขี้เกียจซ้อม ประเภทที่คิดว่า สอบทักษะ สามารถใช้วิธี ท่องจำ ท่องแหลกราญ เก็งเป็นฉาก ๆ แต่ไม่ยอมซ้อม ถึงเวลาสอบจริง ความจำไม่รู้หลบไปอยู่ไหนหมด
- เวลาซ้อม รอรับส่วนบุญจากเพื่อน ตัวเองทำแบบลูกนก คืออ้าปากรอให้แม่นกหาอาหาร(เพื่อนช่วยตั้งโจทย์)มาป้อน คิดเองไม่เป็น
- ขี้ลน ขาดสติ ขาดไหวพริบ ไม่ใช่คนช่างสังเกตุ (เคยมีคนสอบตกแบบเพราะพลาดข้อคำตอบซ่อนอยู่ตรงหน้า แต่มัวลนเพราะเก็งมาไม่ตรง)
พูดง่าย ๆ คือ ทำนายการสอบ MCQ สภา พอบอกได้ คร่าว ๆ ล่วงหน้าก็จริง แต่ทำนายการสอบ OSPE สภา จะทำนายจากข้อมูลคะแนน compre ไม่ได้
บันทึกอื่นๆ
- เก่ากว่า « เมื่อห้องน้ำตันวันอาทิตย์
- ใหม่กว่า » นรกคืนวันอาทิตย์
ความเห็น
อ้อ...ดูตารางใหม่อีกครั้ง เข้าใจแล้วค่ะว่ามีนักศึกษาที่สอบข้อเขียน
ผ่านทั้งสองแบบ 96 คน
ผ่านข้อสอบคณะแต่ไปตกของสภา 2 คน
ตกข้อสอบคณะ แต่ผ่านข้อสอบสภา 7 คน
และตกทั้งสองสถาบัน 2 คน
- ข้อสอบ compre เขาใช้ประเมินการจัดการหลักสูตร ส่วนข้อสอบสภา ประเมินการออกไปทำงานของบัณฑิต เป็นคนละฐานคิดกัน
- ระบบข้อสอบ compre ของเรา ทำมานานมาก มีระบบคลังข้อสอบ ทำให้ใช้หมุนเวียนได้ระดับหนึ่ง การจัดการที่ลงตัวคือจัดการรายข้อ เพราะประเมินตามมิติต่าง ๆ ได้ซอกแซกครบถ้วนกว่า และจบเปนข้อ ๆ ไป ส่วนของสภา เน้นแบบออกใหม่หมด เน้นการตัดสินใจตามสถานการณ์ แบบนี้ จึงต้องผูกเป็นเรื่อง จึงสามารถใช้ข้อมูลก่อนหน้าพลิกแพลงช่วยได้ระดับหนึ่ง
- แต่ข้อสอบ compre ยากกว่านี่เห็นด้วยครับ เป็นมาตลอด (ในส่วนข้อเขียน MCQ)
- แต่ถ้าพูดถึง OSPE แล้ว compre ง่ายกว่ามาก เพราะเกณฑ์ผ่านไม่โหดนัก ที่ผ่านมา ไม่รู้มีใครเคยตก OSPE compre บ้าง ? นึกไม่ออก
ข้อสอบ OSPE ง่ายกว่า compre ค่ะ และเกณฑ์ที่จะให้ผ่านก็ไม่สูงเหมือนข้อสอบสภาด้วย ข้อสอบสภาต้อง 80% เครียดไปเลย
สอบ OSPE จะเครียด และกดดันกว่า MCQ เพราะต้องปฏิบัติเอง แก้ปัญหาเฉพาะหน้า และมีเรื่องของเวลามาเป็นตัวบังคับ แต่การที่เราได้ผ่านการสอบ OSPE ของ compre ก่อนที่จะไปสอบสภา ช่วยได้มากเลยค่ะ ทำให้เราได้นึกสภาพออก ว่า ณ เวลาที่เราสอบจะเป็นอย่างไร
พูดแบบนี้อาจโดนรุ่นน้องว่าเอาได้ เพราะหลังจากจบมาแล้ว ข้าพเจ้าเห็นด้วยกับการมีการสอบ compre ก่อน (แต่ตอนข้าพเจ้าเรียนนี่ ไม่อยากสอบ compre เลยค่ะ) ^_^
10 มิถุนายน 2551 17:02
#30679
เชื่อแล้วค่ะว่าใหญ่จริง
paragraph แรกเต็มไปด้วยคำว่าใหญ่-เช่น พักใหญ่ ครู่ใหญ่ ฯลฯ
ว่าแต่ว่า คอล่ำหายไป 1 คอ หรือเปล่าคะ