วิธีการ ประเมินผลการฝึกอบรม

เนื่องจากผู้เขียนเชื่อว่าการประเมินผลการฝึกอบรม ควรจะพิจารณาถึงประเด็นต่าง ๆ ครอบคลุมกระบวนการฝึกอบรมทั้งระบบ มิใช่จะสนใจเฉพาะเพียงผลที่ได้จากกระบวนการฝึกอบรมหรือ Outputs (เพื่อนำไปเปรียบเทียบกับวัตถุประสงค์ของโครงการฝึกอบรม) เท่านั้น ดังนั้น วิธีการที่ใช้ในการประเมิน จึงน่าจะมีความหลากหลายตั้งแต่วิธีการธรรมดาสามัญไปจนถึง เทคนิคที่ใช้ในการวิจัย ทางสังคมศาสตร์ ดังตารางต่อไปนี้     

ตารางวิธีการประเมินผลโครงการฝึกอบรม

 ขั้นตอนและวิธีดำเนินการในการประเมินผลโครงการฝึกอบรม 

               เจ้าหน้าที่ผู้รับผิดชอบการประเมินผลโครงการฝึกอบรม ควรจะมีขั้นตอนการประเมินผลโครงการฝึกอบรมโดยทั่วไป แต่ละโครงการ ดังนี้.-
ขั้นที่ 1      กำหนดวัตถุประสงค์การประเมิน
              ข้อมูลที่จะนำมากำหนดเป็นวัตถุประสงค์ของการประเมินมาจาก วัตถุประสงค์ของโครงการฝึกอบรม รวมกับ สิ่งที่ผู้บังคับ บัญชาต้องการทราบ แล้วสรุปเป็นวัตถุประสงค์ของการประเมิน ดังตัวอย่างข้างล่างนี้

ตัวอย่างวัตถุประสงค์การประเมิน

ขั้นที่ 2 ขั้นวางแผนการประเมิน
              ในขั้นนี้เป็นการนำวัตถุประสงค์ของการประเมินผล มากำหนดเป็นแผนการประเมิน 6 ขั้นตอน ได้แก่ 1) กำหนดประเภท หรือ ระดับการประเมินที่สอดคล้องกับวัตถุประสงค์การประเมิน 2) กำหนดคำถามเกี่ยวกับเรื่องที่ต้องการทราบ 3) กำหนดแหล่งที่มา ของข้อมูล 4) กำหนดช่วงเวลาจัดเก็บข้อมูล 5) กำหนดเทคนิคหรือวิธีการและเครื่องมือในการจัดเก็บข้อมูล และ 6) กำหนดวิธีการ วิเคราะห์ข้อมูล โดยอาจกำหนดเป็นตาราง ดังตัวอย่างนี้ 

ตัวอย่าง : การวางแผนการประเมินผลการฝึกอบรมปฐมนิเทศข้าราชการฯ ของงานฝึกอบรม มธ.

ขั้นที่ 3 จัดเตรียมเครื่องมือที่ใช้ในการประเมินผล
              3.1 เครื่องมือที่ใช้ในการประเมินปฏิกิริยา
              เครื่องมือสำคัญที่ใช้ในระดับการประเมินปฏิกิริยาของผู้เข้าอบรม ได้แก่ แบบสอบถาม ซึ่งโดยปกติ เจ้าหน้าที่ผู้ดำเนินการ ประเมินผลจำเป็นต้องพัฒนาขึ้นมาเอง เพื่อใช้ในการเก็บรวบรวมข้อมูลความคิดเห็นของผู้เข้าอบรม แบบสอบถามโดยทั่วไป ในการประเมินผลระดับนี้ อาจแบ่งออกได้เป็น 2 ชนิด คือ
              1) แบบประเมินโครงการ - เป็นแบบสอบถามซึ่งเหมาะสมกับการใช้เป็นข้อคำถามแบบปรนัย กล่าวคือ แต่ละข้อคำถาม จะมีคำตอบหลายคำตอบให้เลือก โดยเมื่อได้รับข้อมูลหรือคำตอบแล้วสามารถนำมาแปลงเป็นตัวเลข แจกแจงความถี่ แล้ววิเคราะห์เชิง ปริมาณได้ ไม่นิยมใช้คำถามปลายเปิด(Open-ended) หรือควรจะใช้น้อยที่สุด(อาจไม่เกิน 2-3 ข้อ) แต่ควรพยายามกระตุ้น ให้ผู้ตอบได้แสดงความคิดเห็นและข้อเสนอแนะเพิ่มเติมข้อคำถามประเด็นต่างๆที่มีอยู่แล้ว ส่วนเนื้อหาหรือประเด็น ที่สอบถาม ควรกำหนดให้ครอบคลุมทุกด้านของโครงการฝึกอบรม ทั้งที่อยู่ในปัจจัยนำเข้า ของกระบวนการฝึกอบรม(Inputs) และกระบวน การฝึกอบรม (Process) อาทิเช่น
              - เนื้อหาหลักสูตร หัวข้อวิชาต่างๆ และวิธีการฝึกอบรม
              - ความเหมาะสมของรายละเอียดโครงการและกำหนดการฝึกอบรม
              - วิทยากร (หากในโครงการเดียวกันนี้มีการใช้แบบประเมินรายวิชาเพื่อสอบถามเกี่ยวกับวิทยากรอยู่แล้ว ในแบบประเมิน โครงการอาจจะเพียงแต่สอบ ถามเกี่ยวกับภาพรวมของวิทยากรเท่านั้น)
              - เอกสารประกอบการอบรม
              - การดำเนินงานของเจ้าหน้าที่
              - สถานที่ สภาพแวดล้อม และสิ่งอำนวยความสะดวกต่าง ๆ
              2) แบบประเมินรายวิชา - มักจะนิยมใช้เป็นคำถามแบบปรนัยล้วนๆ เพื่อความสะดวกรวดเร็วในการตอบ เนื่องจาก เป็นเครื่องมือที่ใช้เก็บ รวบรวมข้อมูลเกี่ยวกับหัวข้อวิชาแต่ละวิชาทุกวิชา ผู้เข้าอบรมจึงจะต้องตอบแบบสอบถาม นี้ในระยะเวลา สั้นๆแต่บ่อยครั้ง โดยข้อคำถามมักจะเน้นถึงประเด็นเกี่ยวกับ : -
              - วิทยากรในแต่ละหัวข้อวิชาในด้านต่างๆ อย่างละเอียด เช่น
.               ความรอบรู้ในเนื้อหาวิชา
.               ความสามารถในการถ่ายทอด
.               การสร้างบรรยากาศในการฝึกอบรม
.               การตอบข้อซักถาม
.               การใช้โสตทัศนูปกรณ์
.               ข้อดี หรือข้อควรปรับปรุงของวิทยากร ฯลฯ
              -ความรู้ ความเข้าใจ ทักษะ และทัศนคติที่ผู้เข้าอบรมคิดว่าตนเองมีเกี่ยวกับเนื้อหาวิชานั้นๆ ทั้งก่อน และหลังการฝึกอบรม
              -ระยะเวลาฝึกอบรมในแต่ละหัวข้อวิชา
              - เทคนิคการฝึกอบรมที่ใช้ในหัวข้อวิชานั้น
              - ประโยชน์ของหัวข้อวิชานั้นในการปฏิบัติงาน เป็นต้น [35] 
              3.2 เครื่องมือที่ใช้ในการประเมินผลการเรียนรู้ 
              เครื่องมือสำคัญที่ใช้ในระดับของการประเมินผลการเรียนรู้ของผู้เข้าอบรม ซึ่งได้แก่ ข้อทดสอบก่อน-หลังการอบรมนั้น เป็นเครื่องมือที่เจ้าหน้าที่ผู้รับผิดชอบการประเมิน มักจะต้องพัฒนาขึ้นมาเอง หรือมิฉะนั้นก็จะต้องเป็นผู้ดำเนินการรวบรวมเพื่อจัดทำ แบบทดสอบโดยขอความร่วมมือจากวิทยากรในแต่ละวิชาช่วยออกข้อทดสอบให้ ในหัวข้อวิชาที่วิทยากรรายดังกล่าวรับผิดชอบ
ส่วนข้อสอบข้อเขียน แบบฝึกปฏิบัติเพื่อวัดทักษะ โครงการหรือโครงงาน(Assignment) ต่างๆที่วิทยากรมอบหมายให้ผู้เข้าอบรม ฝึกปฏิบัตินั้น จำเป็นต้องอาศัย วิทยากร หรือผู้เชี่ยวชาญเฉพาะด้านเป็นผู้พัฒนาเครื่องมือดังกล่าวขึ้นมาให้ หรืออาจใช้เครื่องมือ ที่ได้รับการพัฒนาไว้แล้ว และมีความเหมาะสมกับลักษณะของโครงการฝึกอบรมที่ต้องการใช้สอบวัดก็ได้
              โดยทั่วไป แบบทดสอบก่อน-หลังการอบรมนั้นมักจะมีลักษณะเป็นข้อทดสอบปรนัย ประกอบด้วยข้อคำถามจำนวนมาก แต่ละข้อจะมีคำตอบหลายข้อให้เลือกตอบ หรืออาจมีลักษณะเป็นการให้เติมคำตอบที่ถูกต้องลงในช่องว่างก็ได้ ทั้งนี้ เพื่อความสะดวก ในการนำข้อมูลหรือคำตอบที่ได้มาแปลงเป็นตัวเลข เช่นเดียวกับแบบสอบถามทั่วไป 
              อย่างไรก็ตาม บางครั้ง แบบทดสอบก่อน-หลังการอบรมอาจมีลักษณะเช่นเดียวกับข้อสอบข้อเขียน และแบบฝึกปฏิบัติเพื่อ วัดทักษะทั่วไปก็ได้ แต่จะแตกต่างกันเฉพาะที่จะนำมาใช้วัดผลการเรียนรู้ทั้งก่อนและหลังการอบรมเท่านั้นเอง
              3.3 เครื่องมือที่ใช้ในการประเมินพฤติกรรมในการทำงาน
              เครื่องมือที่สำคัญซึ่งใช้ในระดับของการประเมินพฤติกรรมในการทำงานมีเพียง 3 ชนิด คือ   แบบสอบถามละแบบ สัมภาษณ์ เพื่อติดตามผลการฝึกอบรม และแบบสอบวัดการเปลี่ยนแปลงพฤติกรรมด้านทัศนคติหรือที่เรียกว่า แบบสอบวัดทัศนคติ แบบสอบถาม เพื่อใช้ติดตามผลการฝึกอบรมนั้นอาจมีความหลากหลายกันไป ขึ้นอยู่กับลักษณะของโครงกรฝึกอบรมที่ต้องการติดตามผล แต่โดย ทั่วไปข้อคำถามจะเน้นถึงการเปรียบเทียบพฤติกรรมด้านต่างๆ ที่ผู้ผ่านการอบรมแสดงให้สังเกตเห็นได้ระหว่าง ก่อนการอบรม และหลังการอบรม [36] เป็นสำคัญ 
              ส่วนแบบสอบวัดทัศนคติที่ใช้ติดตามผลการอบรมนั้น จำเป็นต้องขอให้ผู้เชี่ยวชาญเฉพาะด้านพัฒนาขึ้น หรือใช้แบบสอบวัด ที่มีอยู่แล้ว
              3.4 เครื่องมือที่ใช้ในการประเมินผลลัพธ์
              เครื่องมือที่ใช้ในระดับการประเมินผลลัพธ์โดยรวมของโครงการฝึกอบรมส่วนใหญ่จะคล้ายคลึงกับเครื่องมือในการประเมิน พฤติกรรมในการทำงาน เช่น แบบสอบถามและแบบสัมภาษณ์เพื่อติดตามผลการอบรม แต่ข้อคำถามจะเน้นที่ ผลงานและความ ก้าวหน้า
ของผู้ผ่านการอบรม ตลอด 
              จนผลรวมที่ได้เกิดกับหน่วยงานและองค์การโดยรวม นอกเหนือไปจากการสอบถามเกี่ยวกับลักษณะของพฤติกรรมของผู้ผ่าน การอบรมที่อาจมีการได้เปลี่ยนแปลงไป37 นอกจากนั้น นักวิชาการด้านการพัฒนาบุคคลได้พัฒนาการติดตาม ผลการอบรมโดยใช้แผน ปฏิบัติการของผู้เข้าอบรม(Participant Action Plan Approach หรือ PAPA) ซึ่งดูน่าจะทำให้การประเมินผลลัพภ์ ของการ ฝึกอบรมเป็นรูปธรรม มีความชัดเจนในทางปฏิบัติเพิ่มขึ้น โดยเจ้าหน้าที่ผู้รับผิดชอบดำเนินการติดตามผล ไม่จำเป็นต้องพัฒนา เครื่องมือใดๆ เพียงแต่ใช้แนวทางของ PAPA นี้เท่านั้น 38
              อย่างไรก็ตาม ไม่ว่าใครจะเป็นผู้พัฒนาเครื่องมือในการประเมินผลการอบรม หรือเป็นเครื่องมือที่ใช้ในการประเมินผล ระดับใดก็ตาม เครื่องมือเหล่านั้นควรจะต้องมีคุณสมบัติที่ดีของเครื่องมือในการประเมินผล ซึ่งได้แก่
              1. ความเที่ยงตรง (Validity) หมายถึง ความสามารถในการวัดสิ่งที่เราต้องการจะวัดหรือประเมิน ไม่คลาดเคลื่อน เป็นการ วัดสิ่งอื่น
              2. ความเชื่อมั่น (Reliability) หมายถึง ความเชื่อถือได้ว่าเมื่อนำเครื่องมือนั้นไปวัดแล้วนำไปวัดอีกกี่ครั้งก็ตาม ก็จะได้ผลลัพธ์คงที่ไม่เปลี่ยนแปลง
              3. ความเป็นกลางปราศจากอคติ (Objectivity) หมายถึง การที่จะไม่ลำเอียงหรือมีแนวโน้มที่จะคล้อย ตามไปทางใดทางหนึ่ง
              4. ความเหมาะสมที่จะนำไปใช้ (Practicability) หมายถึง ความสะดวกและเหมาะสมที่จะนำไปใช้ ทั้งในด้านเวลา ค่าใช้จ่าย และความคล่องตัว จนเป็นที่ยอมรับของทุกฝ่าย
              5. ความง่าย (Simplicity) หมายถึง การง่ายต่อความเข้าใจ ง่ายในการนำไปใช้งาน และง่ายในการดำเนินการเกี่ยวข้อง
ขั้นที่ 4 ขั้นปฏิบัติตามแผน
              เมื่อได้จัดเตรียมเครื่องมือที่ใช้ในการประเมินแล้ว จึงเป็นการลงมือปฏิบัติตามแผน คือ ดำเนินการเก็บรวบรวมข้อมูล เช่น การสอบถามด้วยแบบสอบถาม หรือ การสัมภาษณ์ ตามช่วงเวลาที่ได้กำหนดไว้ 
ขั้นที่ 5 ขั้นการวิเคราะห์ข้อมูลและสรุปรายงานการประเมินผล
             เมื่อเก็บรวบรวมข้อมูลได้แล้ว เป็นการนำข้อมูลมาวิเคราะห์ โดยนำเอาหลักสถิติในการวิจัยทางสังคมศาสตร์มาใช้ ก่อน ที่จะนำผลการวิเคราะห์ไปเขียนสรุปเป็นรายงานผลการประเมินโครงการฝึกอบรมต่อไป ส่วนวิธีการวิเคราะห์ข้อมูล จะขึ้นอยู่กับ เทคนิควิธีการประเมินผลและเครื่องมือที่ใช้ ดังที่ได้ทำการวางแผนการประเมินผลเอาไว้ตั้งแต่ต้น เท่าที่สังเกตดูจาก การดำเนินงาน ที่ผ่านมา และจากตำราที่เกี่ยวข้อง อาจจำแนกวิธีการวิเคราะห์ข้อมูลตามลักษณะของเครีองมือและเทคนิควิธีการประเมินได้ 4 วิธี คือ
              1. การวิเคราะห์ข้อมูลที่ได้จากแบบสอบถาม
                  1.1 เมื่อรวบรวมข้อมูลได้จากแบบสอบถามซึ่งมีลักษณะเป็นข้อคำถามแบบให้เลือกคำตอบหลายๆ คำตอบ และมีลักษณะ ของคำตอบแบบที่สามารถเรียงเป็นคะแนนตามลำดับความสำคัญได้ ดังที่ใช้กันในแบบประเมินโครงการหรือแบบประเมินรายวิชานั้น ผู้รับผิดชอบควรจะต้องนำข้อมูลที่ได้ไปเทียบค่าคะแนน แจงนับความถี่(Tally) และวิเคราะห์ข้อมูลทางสถิติ ได้แก่ ค่าเฉลี่ย หรือที่เรียกว่าค่ามัธยมฐานเลขคณิต(Arithmetic Mean) และค่าเบี่ยงเบนมาตรฐาน(Standard Deviation) เพื่อจะนำผล การวิเคราะห์ข้อมูลที่ได้ไปเขียนเป็นรายงานสรุปต่อไป 
                 1.2 การวิเคราะห์ข้อมูลที่ได้จากแบบสอบถามแบบให้เลือกคำตอบโดยไม่จัดเรียงตามลำดับคะแนนความสำคัญ การวิเคราะห์ข้อมูลอาจทำได้ในลักษณะการเปรียบเทียบอัตราส่วนเป็นร้อยละ และอาจนำเสนอข้อมูลในรูปของตารางไขว้ (Cross Tabulations)ต่อไป
                 1.3 การวิเคราะห์ข้อมูลที่ได้จากแบบสอบถามที่ให้ผู้ตอบเลือกคำตอบในลักษณะของการเปรียบเทียบก่อน-หลังการอบรม -สามารถวิเคราะห์ข้อมูลได้ในลักษณะการเปรียบเทียบค่าเฉลี่ยของคะแนนก่อนการอบรม และ ค่าเฉลี่ยของคะแนนหลังการอบรม และผลต่างของคะแนนก่อน-หลังการอบรม เพื่อจะสรุปรายงานโดยใช้ผลต่างของค่าเฉลี่ยของคะแนนก่อน-หลังการอบรมเป็นสำคัญ
                 1.4 การวิเคราะห์ข้อมูลในกรณีแบบสอบถามเป็นคำถามปลายเปิด (Opened-ended Questions) อาจทำได้ด้วยการ จัดหมวดหมู่และแยกประเภทข้อมูล และอาจดำเนินการแจกแจงความถี่ (Tally)ข้อมูล แล้วอาจคำนวณหาค่าร้อยละ เพื่อนำเสนอ เป็นรายงานต่อไป
              2. การวิเคราะห์ข้อมูลที่ได้จากแบบทดสอบก่อน-หลังการอบรม เป็นการวิเคราะห์ว่าความแตกต่าง ระหว่างผลการทดสอบ ก่อนการอบรม กับ หลังการอบรม มีความแตกต่างกันอย่างมีนัยสำคัญทางสถิติ เพื่อเป็นการสร้างความมั่นใจว่า คะแนนก่อน-หลังการอบรม มีความแตกต่างกันจริง และได้มีการเรียนรู้เกิดขึ้นจริง 
              3.  การวิเคราะห์ข้อมูลที่ได้จากการสอบถามหรือสัมภาษณ์เพื่อประเมินพฤติกรรมในการทำงาน -ถึงแม้ว่าจะเป็นการใช้แบบ สอบถาม หรือแบบสัมภาษณ์ ซึ่งมีข้อคำถามให้เลือกหลายข้อแบบที่สามารถเรียงตามลำดับคะแนนได้เช่นเดียวกับข้อ 1.1 ก็ตาม แต่เนื่อง จากข้อมูลที่ได้เป็นข้อมูลซึ่งมักจะเป็นข้อมูลเชิงทัศนคติ หรือความคิดเห็น ซึ่งแตกต่างจากข้อมูลทั่วไป เมื่อแจงนับ ความถี่ของข้อมูล ที่รวบรวมได้แล้ว จึงต้องทำการวิเคราะห์เพื่อเปรียบเทียบความแตกต่างของข้อมูลเกี่ยวกับพฤติกรรมก่อน-หลังการอบรมของ ผู้เข้า อบรมว่า มีความแตกต่างกันอย่างมีนัยสำคัญทางสถิติหรือไม่ โดยการใช้ค่า ไค-สแควร์ (chi-square)ช่วยในการวิเคราะห์ 
              4. การวิเคราะห์ข้อมูลในลักษณะของการประเมินผลลัพธ์ของการฝึกอบรม -หากทำสำรวจหาข้อมูลด้วยการสอบถาม หรือสัมภาษณ์ ซึ่งมีข้อคำถามลักษณะเดียวกับแบบต่างๆดังที่ได้ กล่าวมาแล้วข้างต้น ก็สามารถทำการวิเคราะห์ข้อมูล ในลักษณะเช่นเดียวกัน แต่ถ้าเป็นกรณีที่ทำการประเมินผลลัพธ์ของการฝึกอบรมด้วยวิธีการวิจัยเชิงทดลองโดยใช้กลุ่มทดลอง และกลุ่มควบคุม วิธีการวิเคราะห์ข้อมูลจะขึ้นอยู่กับว่า เป็นการวิเคราะห์เปรียบเทียบระหว่าง 1) กลุ่มสองกลุ่มที่เป็นอิสระต่อกัน (เป็นคนละกลุ่มกัน ) หรือระหว่าง 2) กลุ่มที่ไม่เป็นอิสระต่อกัน เช่นเป็นกลุ่มเดียวกัน แต่วัดผลก่อนและหลังการอบรม 
              เมื่อวิเคราะห์ข้อมูลและสรุปผลการฝึกอบรมแล้ว ผู้ประเมินจะต้องจัดทำรายงานการประเมินผลการอบรม เพื่อเสนอต่อ ผู้บังคับบัญชา และเพื่อแจ้งผู้เกี่ยวข้องทราบต่อไป
ส่วนรายงานการประเมินผลโครงการฝึกอบรม นั้น ควรประกอบด้วย
              1. ชื่อโครงการฝึกอบรมที่ประเมิน
              2. วัตถุประสงค์ของการประเมินผล
              3. วิธีการประเมินผล
                  3.1 ขอบเขตในการประเมินผล
                  3.2 วิธีการเก็บข้อมูล
                  3.3 วิธีการวิเคราะห์ข้อมูลหรือสถิติที่เกี่ยวข้อง 
              4. ผลการวิเคราะห์ข้อมูล
                  4.1 สรุปผลการวิเคราะห์ข้อมูลในประเด็นต่าง ๆ โดยอาจอยู่ในรูปของตารางพร้อมการอธิบายความ
              5. สรุปและข้อเสนอแนะ
                  5.1 สรุปผลการประเมินโดยส่วนรวมทั้งหมด
                  5.2 ข้อดี และข้อควรปรับปรุง
                  5.3 ข้อเสนอแนะจากผู้ประเมิน และ/หรือผู้รับผิดชอบโครงการฝึกอบรม
              6. ภาคผนวก
                  6.1 รายละเอียดโครงการฝึกอบรม
                  6.2 รายชื่อผู้เข้าอบรม/ตำแหน่ง/หน่วยงานที่สังกัด (รวมทั้งสถิติการเข้าอบรม)
                  6.3 รายชื่อวิทยากร
                  6.4 แบบประเมิน หรือเครื่องมืออื่น ๆ ที่ใช้ในการเก็บรวบรวมข้อมูล
                  6.4 คำสั่งแต่งตั้งคณะกรรมการดำเนินโครงการฝึกอบรม หรือ ที่ปรึกษาโครงการฝึกอบรม และ
                  6.5 เอกสารอื่นๆที่เกี่ยวข้อง 

[1] "การประเมินผลการฝึกอบรม", เอกสารประกอบการฝึกอบรม เรื่อง การฝึกอบรม , ฝ่ายฝึกอบรม, กองวิชาการ,สำนักงาน ก.พ., 2520, หน้า 188
[2]ขจรศักดิ์ หาญณรงค์ , การจัดโครงการฝึกอบรม , โรงพิมพ์กรมสรรพสามิต , กรุงเทพ, หน้า26
[3]"กระบวนการฝึกอบรม" , เอกสารประกอบการฝึกอบรม หลักสูตรความรู้พื้นฐานด้านการฝึกอบรม, สถาบันพัฒนาข้าราชการ
พลเรือน, สำนักงาน ก.พ., พ.ศ. 2533 
[4]ทนง ทองเต็ม,"การประเมินผลการฝึกอบรม", เอกสารประกอบการบรรยาย(เอกสารอัดสำเนา) 
[5]นันทนา รางชางกูร ,"หลักการและแนวทางการประเมินผลการฝึกอบรมหลักสูตรนักบริหารระดับ
ต่าง ๆ ของกระทรวงสาธารณสุข ปี 2531", กองฝึกอบรม ,กระทรวงสาธารณสุข
[6] อาชวัน วายวานนท์ และ วินิต ทรงประทุม, "การฝึกอบรมและพัฒนาผู้ปฏิบัติงานในรูประบบ", เอกสารประกอบการฝึกอบรม หลักสูตร การบริหารงานฝึกอบรม สำนักฝึกอบรม สถาบัน บัณฑิตพัฒนบริหารศาสตร์, พ.ศ. 2523
[7] สายสอางค์ แกล้วเกษตรกรณ์, อ้างแล้ว, หน้า 99-100