นโยบายการจัดการความรู้ มหาวิทยาลัยสงขลานครินทร์ 1.ให้ใช้เครื่องมือการจัดการความรู้ผลักดัน คุณภาพคน และกระบวนทำงาน 2.ส่งเสริมการแลกเปลี่ยนประสบการณ์การทำงาน จากหน้างาน 3.ส่งเสริมให้มีเวทีเรียนรู้ร่วมกัน
Page Visits: 5994
comment: 7

วิเคราะห์ข้อมูลการสอบประมวลความรอบรู้/ การสอบสำหรับประกอบวิชาชีพ/ การสอบเอนทรานซ์ ของนักศึกษาเภสัชศาสตร์หลักสูตร 5 ปีที่จบปี 2551

ปรับแก้ล่าสุด กลางมกราคม 2552

ผมตั้งข้อสงสัยอย่างไม่เป็นทางการจากการสอบปีก่อน ๆ ว่า ผลการประมวลความรอบรู้ ก่อนจบ จะสามารถใช้เป็นตัวทำนายคร่าว ๆ ว่า นักศึกษาจะสามารถผ่านการสอบรับใบประกอบวิชาชีพ ได้หรือไม่ 

สภาเภสัชกรรมประกาศผลสอบและคะแนนดิบอย่างเป็นทางการมาแล้ว และทางฝ่ายจัดการเรื่องการสอบประมวลความรอบรู้ ก็ได้เอื้อเฟื้อส่งคะแนนดิบมาให้

 

นิยามข้อมูล: คะแนนการสอบข้อเขียนสภาเภสัชกรรม พ.ศ. 2551 (ผมโหลดจาก web ประกาศทางการของสภาเภสัชกรรม) และคะแนนการสอบข้อเขียน ของการสอบประมวลความรอบรู้ของนักศึกษาหลักสูตร 5 ปี ที่มีรหัสขึ้นต้น 4650... เฉพาะการสอบประมวลความรอบรู้ในครั้งที่หนึ่ง จำนวน 105 คน ที่มีข้อมูลคะแนนครบทั้งสองฟาก (นักศึกษาบางคนไม่ได้สอบของสภาเภสัชกรรม) คะแนนส่วนนี้ ดร.ภูธร และ น้องหนิง เอื้อเฟื้อข้อมูลดิบ

พูดง่าย ๆ คือ มีข้อมูลปีล่าสุดเดียว 

แต่ก็คิดว่า น่าจะพอดูได้คร่าว ๆ

ดูกราฟก่อน จะเห็นแนวโน้มไปทางเดียวกัน

ผลการวิเคราะห์ข้อมูล: สามารถทำนายได้แม่นยำ 91.6 % ว่า หากผ่านหรือตกข้อเขียนของการสอบประมวลความรอบรู้ที่คณะจัดสอบแล้ว ก็จะได้ผลเช่นเดียวกันกับการผ่านหรือตกข้อเขียนที่ทางสภาเภสัชกรรมจัดสอบด้วย 

ข้อเขียนคณะ (compre)

ข้อเขียนสภา

คน

ผ่าน

ผ่าน

96

ผ่าน

ตก

2

ตก

ผ่าน

7

ตก

ตก

2

คนที่ผ่านสอบข้อเขียนของการสอบประมวลความรอบรู้ได้ตั้งแต่ครั้งแรก ควรจะสบายใจได้ว่า ตนเองมีโอกาสสูงมากที่จะสอบผ่านข้อเขียนของสภาเภสัชกรรมด้วย 

จากข้อมูลนี้ จะเห็นว่า ข้อสอบข้อเขียนของการสอบประมวลความรอบรู้ที่คณะออกเอง จะยากกว่าข้อสอบข้อเขียนของสภาเภสัชกรรม (ดูจาก % ที่สอบไม่ผ่าน)

พอผมเล่าให้ ดร.ภูธร ที่ดูแลเรื่องจัดสอบประมวลความรอบรู้ฟัง อาจารย์ภูธรก็ถามว่า เอ๊ะ แล้วโยงกับคะแนนเอนทรานซ์แล้วเป็นไงมั่ง ?

เอ...น่าสนใจดีนิ ว่าแล้ว ผมก็ไปหาคุณ ภานุช (งานบริการ) ขอข้อมูลมาชงซะหน่อย

คุณภานุชบอกว่า อาจารย์โชคดีมาก ที่ข้อมูลรุ่นนี้มีแฟ้มอิเล็กทรอนิกส์พอดี๊ พอดี เพราะข้อมูลปีอื่น มีแต่อยู่ในกระดาษ มหาวิทยาลัยส่งแบบกระดาษมาให้ ฟังแล้วอึ้งเล็ก ๆ ว่า ปีหน้า ผมขอบาย  ขี้คร้านกรอกข้อมูลครับ (แหม webometric อันดับ 1 ทั้งที ยังใช้แต่กระดาษอยู่เหลย)

ส่วนข้อมูลที่มีอยู่ก่อน ก็เจอปัญหาทางเทคนิคนิดหน่อย คือ ข้อมูลสอบเอนทรานซ์ มีส่วนสอบตรง กับสอบกลาง ซึ่งผมลองมาดู ผมว่ามันเป็นข้อมูลสองกลุ่มกันอย่างสิ้นเชิง

ผมแก้ปัญหาโดยการแยกข้อมูลสอบตรงและสอบกลางออก แล้วแปลงเป็นคะแนน T (standardized T score) ของแต่ละกองโดยสูตร

        คะแนน T = 50 + Z คูณ 10

โดย Z ก็คือ Z score ของคะแนนสอบเอนทรานซ์ โดยผมก็แยกคำนวณคะแนน T ของแต่ละกลุ่ม แล้วตี๊ต่างว่า ถ้าทั้งสองกลุ่มย่อย เหมือนกันทางสถิติ ผมก็สามารถเอาคะแนน T ที่แปลงแล้ว มาคลุกกันได้เลย ทำให้มองเห็นนักศึกษาทั้งชั้นปีได้ราวกับเป็นเนื้อเดียวกัน

แต่ถ้าตี๊ต่างไม่จริง ก็ตัวใครตัวมันแหละครับเด้อ 

(ตี๊ต่าง = assumption) 

ได้กราฟนี้

เวลาอ่านกราฟนี้ ผมได้ข้อสรุปว่า

1. สอบเอนทรานซ์ได้คะแนนสูง ๆ จะสอบประมวลความรอบรู้ได้คะแนนสูงตามไปด้วย 

2. แต่ถ้าสอบเอนทรานซ์ได้คะแนนต่ำ ๆ จะทำนายไม่ถูก ว่าจะสอบประมวลความรอบรู้ได้คะแนนสูงหรือต่ำ (แสดงว่า กระบวนการจัดการศึกษาดี ? หรือคะแนนเอนทรานซ์ ไม่ได้บอกถึงศักยภาพของนักเรียน ?)

 

ลองเอาคะแนนเอนทรานซ์ไปโยงกับคะแนนข้อเขียนของการสอบสภาเภสัชกรรมดูบ้าง

 

จะเห็นแนวโน้มที่ไม่ชัดเจนเหมือนกรณีก่อนหน้า คือ เอนทรานซ์ได้คะแนนดีจริง ๆ ก็ทำข้อสอบสภาเภสัชกรรมได้ดีด้วย 

แต่หากเอนทรานซ์เข้ามาคะแนนไม่ดี บอกอะไรไม่ได้เลย คือ อาจอยู่แบบเดิม หรือ "เร่งขึ้น"

 

ผมตีความแบบคิดเข้าข้างตัวเองคือ กระบวนการจัดการศึกษา สามารถปรับเปลี่ยนนักศึกษาได้ โดยจะเห็นผลชัดมากในกลุ่มที่คะแนนสอบเข้าอยู่ต่ำ ๆ ส่วนกลุ่มที่คะแนนสอบเข้าสูง ก็ไปได้ดีโดยตัวเขาเองอยู่แล้ว ซึ่งการตีความนี้ ไม่ได้อิงตามหลักการครับ เป็น "หลักกู" ล้วน ๆ

 

ส่วนที่ทำให้สบายใจก็คือ ไม่เกิดการขัดแย้งแบบหักมุมของข้อมูลทั้งหมด ประมาณว่า สอบเข้าดี๊ ดี จบไป อ๊อน อ่อน แบบนั้น น่ากลัวครับ ถ้าเกิดแบบนั้น ปี๊บครับ ปี๊บสถานเดียว

 

อีกคำถามหนึ่งที่น่าสนใจก็คือ สอบ Ent ตรง กับ Ent กลาง มีผลสัมฤทธิ์ในการสอบสภาเภสัชกรรมต่างกันไหม

 

 

MCQ

MCQ

MCQ

OSPE

OSPE

OSPE

วิธีเข้าศึกษา

เฉลี่ย

var

N

เฉลี่ย

var

N

สอบตรง

75.4

33.0

54

85.0

18.0

53

สอบกลาง

71.1

55.4

53

82.6

34.7

53

ผมใส่ค่า variance เพื่อความสะดวกในการคำนวณต่อใน excel ครับ (หมายถึงผมสะดวก ไม่ได้หมายถึงคนอื่นสะดวก)

ปรากฎว่าต่างครับ แตกต่างทางสถิติกันชัดเจนมาก (t-test; p-value < 0.01) คือกลุ่มที่เข้ามาโดยการสอบตรง จะมีคะแนนสอบสภาเภสัชกรรมสูงกว่าสอบกลาง ไม่ว่าคะแนนข้อเขียน (MCQ) หรือปฎิบัติ (OSPE)

แต่ต่างกัน ก็แล้วไงล่ะ ? สำหรับผมเอง ไม่สนใจจะตอบคำถามนี้

ข้อมูลสอบปฎิบัติ OSPE สภา พบว่า มีความสัมพันธ์อย่างอ่อนมากกับผล compre คือ แม้ไปทางเดียวกัน แต่ค่า R-squared มีค่า 0.1 เท่านั้นเอง จึงสรุปว่า ทำนายผลการสอบ OSPE สภาโดยวิธีเดียวกันไม่ได้ดีนัก เพราะจะไม่แม่น แต่ขอตั้งข้อสังเกตไม่เป็นทางการว่า คนที่จะตก OSPE สภา มักไม่ค่อยใส่ใจเรื่องการซ้อม  ใช้ประเด็นนี้ เป็นตัวทำนายล่วงหน้าได้แม่นกว่าดูจากคะแนนสอบ compre เสียอีก

ผมเคยใช้ checklist ต่อไปนี้มาพยากรณ์อย่างไม่เป็นทางการ ใครเข้าข่ายนี้ครบ จะเป็นกลุ่มเสี่ยงสูงในการสอบภาคปฎิบัติ (ospe ของสภา) 

  1. คนที่ไม่ใส่ใจเรื่องต่าง ๆ นัดชี้แจงก็โดด หรือเข้าสาย ไม่ตื่นตัวในการดูแลตัวเอง
  2. เวลาทำ lab ชอบกินแรงเพื่อน (พฤติกรรมติดตัวตั้งแต่เด็ก)
  3. คนที่ขี้เกียจซ้อม ประเภทที่คิดว่า สอบทักษะ สามารถใช้วิธี ท่องจำ ท่องแหลกราญ เก็งเป็นฉาก ๆ แต่ไม่ยอมซ้อม ถึงเวลาสอบจริง ความจำไม่รู้หลบไปอยู่ไหนหมด 
  4. เวลาซ้อม รอรับส่วนบุญจากเพื่อน ตัวเองทำแบบลูกนก คืออ้าปากรอให้แม่นกหาอาหาร(เพื่อนช่วยตั้งโจทย์)มาป้อน คิดเองไม่เป็น
  5. ขี้ลน ขาดสติ ขาดไหวพริบ ไม่ใช่คนช่างสังเกตุ (เคยมีคนสอบตกแบบเพราะพลาดข้อคำตอบซ่อนอยู่ตรงหน้า แต่มัวลนเพราะเก็งมาไม่ตรง) 

 

พูดง่าย ๆ คือ ทำนายการสอบ MCQ สภา พอบอกได้ คร่าว ๆ ล่วงหน้าก็จริง แต่ทำนายการสอบ OSPE สภา จะทำนายจากข้อมูลคะแนน compre ไม่ได้

หมวดหมู่บันทึก: วิจัย - วิจัยสถาบัน
สัญญาอนุญาต: สงวนสิทธิ์ทุกประการ Copyright
สร้าง: 10 มิถุนายน 2551 16:41 แก้ไข: 17 มกราคม 2552 20:21 [ แจ้งไม่เหมาะสม ]
Flowers
สมาชิกที่ให้กำลังใจ
 
Facebook
Twitter
Google

บันทึกอื่นๆ

comment

เชื่อแล้วค่ะว่าใหญ่จริง

paragraph แรกเต็มไปด้วยคำว่าใหญ่-เช่น พักใหญ่ ครู่ใหญ่ ฯลฯ

ว่าแต่ว่า คอล่ำหายไป 1 คอ หรือเปล่าคะ

 

 

  • เอ่อ.. คอ "ล่ำ" ไหนหายไปหรือครับ ?

อ้อ...ดูตารางใหม่อีกครั้ง เข้าใจแล้วค่ะว่ามีนักศึกษาที่สอบข้อเขียน

ผ่านทั้งสองแบบ 96 คน

ผ่านข้อสอบคณะแต่ไปตกของสภา 2 คน

ตกข้อสอบคณะ แต่ผ่านข้อสอบสภา 7 คน

และตกทั้งสองสถาบัน 2 คน

 

  • วี๊ดวิ๊ว ดีใจจัง ในที่สุด อ.โอ๋ ก็เข้าใจเราแล้ว ^ _ ^
จะติดตามอ่านภาค 2 ค่ะ ภาวนาขอให้อาจารย์ไม่ลืมนะคะเรื่องที่ว่าสอบข้อเขียน compre ยากกว่าสภา โดยส่วนตัวแล้ว มองว่าข้อสอบ compre ออกค่อนข้างละเอียดกว่าข้อสอบสภา เรียกว่าจะต้องอ่านกันแทบจะทุกเรื่อง ทั้งในส่วนของคลินิก เคมี เทคโน ส่วนข้อสอบสภาจะออกแนววิเคราะห์ แบบเอามายำรวมกัน และข้อสอบมีความต่อเนื่องกัน ดังนั้นข้อสอบข้อก่อน ๆ พอเป็นแนวสำหรับคำตอบข้องหลัง ๆ ได้ (อันนี้ไม่รู้จริงหรือเปล่า แต่เป็นความคิดเห็นส่วนตัวค่ะ)  
  • ข้อสอบ compre เขาใช้ประเมินการจัดการหลักสูตร ส่วนข้อสอบสภา ประเมินการออกไปทำงานของบัณฑิต เป็นคนละฐานคิดกัน
  • ระบบข้อสอบ compre ของเรา ทำมานานมาก มีระบบคลังข้อสอบ ทำให้ใช้หมุนเวียนได้ระดับหนึ่ง การจัดการที่ลงตัวคือจัดการรายข้อ เพราะประเมินตามมิติต่าง ๆ ได้ซอกแซกครบถ้วนกว่า และจบเปนข้อ ๆ ไป ส่วนของสภา เน้นแบบออกใหม่หมด เน้นการตัดสินใจตามสถานการณ์ แบบนี้ จึงต้องผูกเป็นเรื่อง จึงสามารถใช้ข้อมูลก่อนหน้าพลิกแพลงช่วยได้ระดับหนึ่ง
  • แต่ข้อสอบ compre ยากกว่านี่เห็นด้วยครับ เป็นมาตลอด (ในส่วนข้อเขียน MCQ)
  • แต่ถ้าพูดถึง OSPE แล้ว compre ง่ายกว่ามาก เพราะเกณฑ์ผ่านไม่โหดนัก ที่ผ่านมา ไม่รู้มีใครเคยตก OSPE compre บ้าง ? นึกไม่ออก

ข้อสอบ OSPE ง่ายกว่า compre ค่ะ และเกณฑ์ที่จะให้ผ่านก็ไม่สูงเหมือนข้อสอบสภาด้วย ข้อสอบสภาต้อง 80% เครียดไปเลย

สอบ OSPE จะเครียด และกดดันกว่า MCQ เพราะต้องปฏิบัติเอง แก้ปัญหาเฉพาะหน้า และมีเรื่องของเวลามาเป็นตัวบังคับ แต่การที่เราได้ผ่านการสอบ OSPE ของ compre ก่อนที่จะไปสอบสภา ช่วยได้มากเลยค่ะ ทำให้เราได้นึกสภาพออก ว่า ณ เวลาที่เราสอบจะเป็นอย่างไร

พูดแบบนี้อาจโดนรุ่นน้องว่าเอาได้ เพราะหลังจากจบมาแล้ว ข้าพเจ้าเห็นด้วยกับการมีการสอบ compre ก่อน (แต่ตอนข้าพเจ้าเรียนนี่ ไม่อยากสอบ compre เลยค่ะ) ^_^

Comment on this Post

Name:
Email:
IP Address: 18.210.12.229
Message:  
Load Editor
   
Cancel or