วารสารที่อยู่ในฐานข้อมูล ISI Thomson มีคุณภาพเหนือชั้นกว่า จริงๆ หรือ (คำตอบ คือ ไม่น่าจะใช่อย่างนั้น)

การกำหนดตัวชี้วัด (ตัวบ่งชี้) ที่ "สมบูรณ์แบบ" ดูเหมือนว่าจะเป็นสิ่งที่ยากเย็นเหลือเกิน จนบางครั้งแทบจะพูดได้ว่าเป็นไปไม่ได้ แค่การกำหนดตัวชี้วัดที่ "ยอมรับกันได้" ก็ดูเหมือนจะไม่ง่ายเลยสำหรับหน่วยงานที่ทำหน้าที่เป็นไม้บรรทัดอย่าง สมศ.

"คุณภาพวารสาร" เป็นเรื่องที่นักวิชาการถกเถียงกันมากทีเดียวครับ ว่าจะวัดอย่างไร จนกระทั่งขณะนี้ ผมคิดว่า ยังไม่มีแนวคิดใดที่ได้รับการยอมรับอย่างเป็นเอกฉันท์ แต่ถ้าพิจารณาจากการอ้างอิง (Citation) ซึ่งเป็นวิธีการที่ได้รับการยอมรับมากที่สุดในปัจจุบัน ก็อาจจะพอเห็นครับว่า วารสารใหน "เหนือชั้น" กว่ากัน

ตามเกณฑ์การประิเมินตามตัวบ่งชี้ที่ 5 (งานวิจัยหรือสร้างสรรค์ที่ได้รับการตีพิมพ์หรือเผยแพร่) จะเห็นว่า ถ้าใช้ข้อมูลจากฐานข้อมูล ISI จะพบว่า บทความวิจัยได้รับการตีพิมพ์ในฐานข้อมูล ISI ไม่ว่าจะมี Impact Factor เท่าไรก็ตาม ก็จะได้ 1 คะแนนเต็ม แต่ถ้าใช้ข้อมูลจากฐานข้อมูล SCOPUS จะพบว่า ไม่ใช่ทุกบทความวิจัยที่ indexed ในฐานข้อมูล SCOPUS จะได้ 1 คะแนนเต็ม ขึ้นอยู่กับว่าวารสารนั้นจัดอยู่ใน Quartile ที่เท่าไรในปีนั้น เช่น ถ้าอยู่ใน Q3-Q4 จะได้ 0.75 คะแนน แต่ถ้าวารสารนั้นอยู่ใน Q2-Q1 จะได้ 1 คะแนนเต็ม ซึ่งจากข้อมูลของบางวารสารจะพบว่า ถึงแม้จะเป็นวารสารที่อยู่ในฐานข้อมูล ISI แต่อาจอยู่ใน Q4 ในการจัดอันดับ SRJ (ได้จากคำนาณผลจากข้อมูลของ SCOPUS)

ข้อสังเกตุที่เห็นจากการกำหนดเกณฑ์ในลักษณะนี้ คือ บางวารสาร ถ้าพิจารณาจากฐานข้อมูล ISI จะมีค่าน้ำหนัก 1 คะแนนเต็ม แต่ถ้าพิจารณาจากฐานข้อมูล SCOPUS จะมีค่าน้ำหนัก 0.75 คะแนน ทั้งๆ ที่เป็นวารสารเดียวกันแท้ๆ เลย

เกณฑ์การประเมินตามตัวบ่งชี้ที่ 5 ทำให้เกิดความคิดว่า ถ้าพิจารณาจากคะแนนก็น่าจะตีพิมพ์ผลงานในวารสารที่อยู่ในฐานข้อมูล ISI โดยไม่ต้องดู "คุณภาพ" ของวารสารก็ได้ ซึ่งบางคนก็อาจแย้งว่า วารสารใดๆ ก็ตาม ที่ในอยู่ในฐาน ISI น่าจะมีคุณภาพมากกว่าโดยเปรียบเทียบ ซึ่งอาจจะไม่ใช่ความจริงทั้งหมด

เมื่อพิจารณาการจัดคุณภาพวารสารของฐานข้อมูล ISI ถ้าพิจารณาจาก Impact Factor ก็จะพบว่าสามารถจัด rank ของวารสารได้เช่นกัน แต่บางวารสารที่อยู่ในฐานข้อมูล ISI (ซึ่งมีค่าน้ำหนัก 1 คะแนน) แต่เมื่อพิจารณาจากข้อมูลในการจัดลำดับ SJR จะพบว่าวารสารนั้นๆ อยู่ใน Q3-Q4 ซึ่งจะได้เพียง 0.75 คะแนน

ถ้าพิจารณาบางวารสารที่อยู่ในฐานข้อมูล SCOPUS (แต่วารสารดังกล่าวไม่อยู่ในฐานข้อมูล ISI ทำให้ไม่มีค่า Impact Factor มาเปรียบเทียบ) เราสามารถเปรียบเทียบ "คุณภาพ" ของวารสารโดยใช้เกณฑ์ เช่น ค่า SRJ หรือ Quartile หรือ H-index ซึ่งจะพบว่าบางวารสารที่ไม่ได้อยู่ในฐานข้อมูล ISI มีค่าบ่งชี้ตามเกณฑ์เหล่านี้ในระัดบที่สูงกว่า (ข้อมูลตัวอย่างจากตาราง) ซึ่งน่าจะทำให้คิดได้ว่าไม่จำเป็นเสมอไปว่าวารสารที่อยู่ในฐานข้อมูล ISI จะมี "คุณภาพ" มากกว่าวารสารอื่นๆ ที่ไม่ถูกบรรจุอยู่ในฐานข้อมูล ISI

จากข้อมูลดังกล่าวทำให้เกิดคำถามตามมาว่าหลายคำถาม รวมทั้งคำถามที่ว่า ทำไมเราจึงไม่ใช้ฐานข้อมูลใดฐานข้อมูลหนึ่งเป็นฐานในการกำหนดเกณฑ์การตีพิมพ์ผลงานวิจัย (ซึ่งในกรณีนี้ SCOPUS น่าจะเหมาะสมกว่าเพราะเป็นฐานข้อมูลที่มีจำนวนวารสารมากกว่าและทุกวารสารที่อยู่ในฐานข้อมูล ISI จะถูกปรากฎอยู่ในฐานข้อมูลของ SCOPUS ด้วย) แต่ทั้งนี้ยังมีวิธีการอื่นๆ อีก ที่สามารถใช้เป็นวิธีในการกำหนดเกณฑ์ให้เหมาะสม อาทิ การกำหนดเกณฑ์ในระดับประเทศเอง โดยนักวิชาการในแต่ละสาขาวิชา ซึ่งหลายประเทศได้ดำเนินการแบบนี้ เช่น Australia (ตัวอย่างสาขา Business & Management) Great Britain หรือ Norway เป็นต้น

เขียนไปเขียนมาชักจะยาวอีกแล้วครับ

ผมขอจบบันทึกด้วยคำพูดสะกิดใจของ Goldratt (1991) ที่ว่า

"Tell me how you will measure me and I will tell you how I will behave."