ทักษะ AI ที่คุณพูดถึงหมายถึงอะไร?
สำหรับการประเมิน ทักษะ AI คือพฤติกรรมที่ตรวจสอบได้จากงานใดงานหนึ่ง การให้แหล่งข้อมูลที่เหมาะสม การระบุข้อกล่าวอ้างที่ไม่มีหลักฐานรองรับ หรือการอธิบายการแก้ไขครั้งสุดท้าย เป็นสิ่งที่เฉพาะเจาะจงกว่าการบอกว่าใครคนหนึ่งเก่ง AI ระบุบทบาท เครื่องมือ และเงื่อนไขให้ชัด เพื่อให้ผู้ประเมินรู้ว่าหลักฐานนั้นแสดงถึงอะไรจริง ๆ
การจัดกลุ่มแบบกว้าง ๆ อาจบดบังความสามารถที่แตกต่างกัน บางคนอาจเขียนคำสั่งได้ชัดเจนแต่ไม่ตรวจสอบแหล่งอ้างอิง หรืออาจตรวจเลขคำนวณแต่ยอมรับคำอธิบายสาเหตุที่ไม่มีหลักฐานรองรับ ควรแยกข้อสังเกตเหล่านี้ออกจากกัน แทนที่จะรีบยุบรวมเป็นคะแนนเดียว คู่มือทักษะ AI อธิบายทักษะเชิงปฏิบัติเจ็ดด้านที่งานใช้ความรู้ส่วนใหญ่ต้องอาศัย การประเมินควรระบุว่างานนั้นต้องการให้แสดงทักษะใดในเจ็ดด้านนี้
การประเมินนี้มีไว้เพื่ออะไร?
กำหนดจุดประสงค์ก่อนออกแบบสิ่งใด เพราะจุดประสงค์ทำให้ผลที่ตามมาจากการประเมินแตกต่างกัน การประเมินเพื่อการเรียนรู้ช่วยให้ผู้เรียนรู้ว่าควรฝึกอะไรต่อ และควรทำให้รู้สึกว่าทำผิดได้โดยไม่ต้องกังวล การตรวจความพร้อมช่วยให้ผู้จัดการตัดสินใจว่าจะเริ่มโครงการจากจุดใด การประเมินเพื่อรับรองความสามารถใช้สนับสนุนการยืนยันต่อผู้อื่นว่าบุคคลนั้นผ่านมาตรฐานที่กำหนดในงานที่ระบุไว้ ส่วนการคัดเลือกพนักงานเป็นอีกกรณีหนึ่ง ซึ่งจะกล่าวถึงด้านล่าง.
ปัญหาส่วนใหญ่เกิดจากการนำวัตถุประสงค์มาปะปนกัน หากผู้เรียนเชื่อว่าผลการประเมินพื้นฐานจะถูกนำไปใช้ในการประเมินผลงาน พวกเขาจะเลือกทำเฉพาะสิ่งที่มั่นใจ หลีกเลี่ยงเครื่องมือ หรือขอให้เพื่อนร่วมงานช่วย และผลที่ได้ก็จะบอกอะไรคุณได้น้อย ควรบอกให้ชัดว่าผลจะนำไปใช้ทำอะไร ใครจะเห็น และจะไม่มีการดำเนินการใดบ้างจากผลนั้น
คุณควรแยกสัญญาณใดออกจากกัน?
ความมั่นใจ การเรียนจบ และผลงานที่แสดงให้เห็น ตอบคำถามคนละข้อ การประเมินตนเองบอกว่าคนนั้นรู้สึกอย่างไร บันทึกการเรียนจบบอกว่าเขาผ่านขั้นตอนหนึ่งของหลักสูตรแล้ว ส่วนงานภาคปฏิบัติเปิดโอกาสให้เขาแสดงการตัดสินใจเฉพาะเรื่องภายใต้เงื่อนไขที่กำหนด ไม่ควรนำสิ่งใดสิ่งหนึ่งมาใช้แทนอีกสิ่งหนึ่งโดยไม่ชี้แจงให้ชัดเจน
รายงานการประเมินที่มีประโยชน์ต้องระบุวิธีการและข้อจำกัด หากผู้เรียนทำเพียงงานร่างเอกสารจากสถานการณ์สมมติหนึ่งงาน ก็ควรบอกตามนั้น อย่าสื่อว่าพวกเขาสามารถจัดการทุกขั้นตอนการทำงานที่เกี่ยวข้องกับข้อมูลลับหรือมีผลกระทบสำคัญได้อย่างปลอดภัย กรอบการบริหารความเสี่ยงด้าน AI ของ NIST กล่าวถึงประเด็นคล้ายกันสำหรับตัวระบบ AI โดยกำหนดให้บันทึกข้อจำกัดในการนำผลไปใช้อ้างอิงนอกเงื่อนไขที่ทดสอบไว้ การประเมินคนก็ควรใช้หลักปฏิบัติที่รอบคอบเช่นเดียวกัน
| สัญญาณ | สิ่งที่แสดงให้เห็นได้ | สิ่งที่ยังยืนยันไม่ได้ |
|---|---|---|
| การให้คะแนนตนเอง | ความมั่นใจหรือความไม่แน่ใจที่ระบุไว้ในการรายงาน | ผลการปฏิบัติงานที่แสดงให้เห็นจริง. |
| การเรียนจบ | บรรลุเป้าหมายระยะหนึ่งของโครงการแล้ว. | ความสามารถในทุกงานที่ทำ |
| การใช้เครื่องมือ | ว่ามีการเปิดและใช้งานเครื่องมือ | ว่าผลลัพธ์ได้รับการตรวจสอบแล้วหรือเหมาะสมกับการใช้งาน |
| ตัวอย่างที่นำไปใช้ได้จริง | การตัดสินใจในงานที่ระบุไว้. | การคาดการณ์ผลการปฏิบัติงานที่ใช้ได้กับทุกคนทุกกรณี |
จะเลือกงานฝึกปฏิบัติได้อย่างไร?
เลือกงานที่เกี่ยวข้องกับบทบาทและให้ข้อมูลต้นทางเพียงพอสำหรับประเมินคำตอบ นักการตลาดอาจปรับแก้อีเมลสำหรับแคมเปญสมมติ พนักงานฝ่ายบุคคลอาจปรับปรุงคำถามสัมภาษณ์โดยอิงจากสรุปหน้าที่และคุณสมบัติของตำแหน่ง พนักงานฝ่ายการเงินอาจอธิบายตารางขนาดเล็กโดยไม่สรุปสาเหตุที่ไม่มีข้อมูลรองรับ เจ้าหน้าที่บริการลูกค้าอาจตอบคำถามลูกค้าโดยใช้ข้อความบางส่วนจากนโยบายที่ให้ไว้
ทำให้งานฝึกปลอดภัย ใช้ข้อมูลสมมติหรือข้อมูลที่ได้รับอนุมัติ และหลีกเลี่ยงการตัดสินใจเกี่ยวกับบุคคลจริง เงิน หรือการสื่อสารกับลูกค้าในแบบฝึกหัดแรก เป้าหมายคือการตรวจดูผลงาน ไม่ใช่การสร้างการตัดสินใจอัตโนมัติที่มีผลกระทบจริงระหว่างที่พยายามวัดทักษะ.
งานฝึกที่ดีมีกับดักที่ส่งผลจริง จงใจใส่ปัญหาที่สมจริงหนึ่งจุดซึ่งผู้เรียนควรจับได้ เช่น รายละเอียดนโยบายที่เครื่องมือมีแนวโน้มจะแต่งขึ้น หรือตัวเลขที่ต้องคำนวณใหม่ งานที่ไม่มีโอกาสผิดพลาดวัดได้เพียงว่าผู้เรียนใช้งานเครื่องมือเป็นหรือไม่
งานประเมินที่ครบถ้วนมีลักษณะอย่างไร?
ต่อไปนี้คือตัวอย่างฉบับเต็มสำหรับบทบาทฝ่ายบริการลูกค้าในร้านค้าปลีกเฟอร์นิเจอร์สมมติชื่อ ลาร์ชวูด โฮม ผู้เรียนได้รับอีเมลจากลูกค้าที่ถามว่าสามารถเปลี่ยนโซฟาที่ส่งมาพร้อมเบาะฉีกขาดได้หรือไม่ พร้อมข้อความบางส่วนจากนโยบายที่ระบุว่า สินค้าชำรุดที่แจ้งภายใน 14 วันจะได้รับการเปลี่ยนให้ฟรี และลูกค้าต้องส่งรูปถ่าย ลูกค้าแจ้งความเสียหายในวันที่ 9
คำชี้แจงระบุว่า: "ใช้ผู้ช่วย AI ที่ได้รับอนุมัติร่างคำตอบ ใช้เฉพาะนโยบายที่ให้มา อย่าใส่ที่อยู่หรือหมายเลขคำสั่งซื้อของลูกค้าในคำสั่งที่ส่งให้เครื่องมือ ส่งคำสั่งของคุณ ฉบับร่างจากเครื่องมือ คำตอบฉบับสุดท้ายของคุณ และคำอธิบายการแก้ไขสองหรือสามประโยค"
จุดที่พลาดกันคือเครื่องมือทั่วไปมักเติมทางเลือกคืนเงิน วันที่ส่งสินค้า หรือคูปองชดเชยที่นโยบายไม่ได้ระบุ ผลงานที่ดีจะยึดตามทางเลือกเปลี่ยนสินค้า ขอรูปถ่าย ไม่ระบุวันที่ที่นโยบายไม่มีข้อมูลรองรับ และอธิบายว่าลบข้อเสนอที่แต่งขึ้นออกเพราะอะไร ส่วนผลงานที่อ่อนจะส่งร่างจากเครื่องมือโดยแก้เพียงเล็กน้อย ทั้งสองแบบอาจอ่านลื่นไหล แต่มีเพียงแบบเดียวที่ส่งได้อย่างปลอดภัย
คู่มือเกณฑ์การให้คะแนนที่ผู้เรียนดูได้ควรมีอะไรบ้าง?
เกณฑ์การให้คะแนนที่ผู้เรียนมองเห็นต้องระบุเกณฑ์ก่อนส่งงาน และอธิบายลักษณะของผลงานในแต่ละระดับ หมวดที่มีประโยชน์ ได้แก่ บริบท หลักฐาน การจัดการข้อมูล และการตัดสินใจในการตรวจทาน อธิบายว่าผู้ตรวจทานมองหาอะไรในผลงาน แทนที่จะให้ตัวเลขโดยไม่มีคำอธิบาย ผู้เรียนควรเข้าใจได้ว่าต้องปรับปรุงอะไรหลังอ่านข้อเสนอแนะ
เกณฑ์การให้คะแนนด้านล่างเหมาะกับงานลาร์ชวูด เป็นโครงสร้างการประเมินที่จัดทำขึ้นโดยผู้เขียน ไม่ใช่การอ้างว่าได้ผ่านการตรวจสอบความเที่ยงตรงทางจิตมิติ และไม่มีคะแนนผ่านที่ได้รับการตรวจสอบความเที่ยงตรงแล้ว
| เกณฑ์ | ผ่านเกณฑ์มาตรฐาน | ยังไม่พร้อม |
|---|---|---|
| บริบท | คำขอให้ข้อมูลนโยบาย กลุ่มผู้อ่าน และข้อจำกัดไว้ครบ | คำขอปล่อยให้เครื่องมือต้องเดานโยบายเอง |
| หลักฐาน | คำสัญญาทุกข้อในคำตอบตรวจสอบย้อนกลับไปยังข้อความที่คัดมาจากนโยบายได้ | ยังมีเงื่อนไขการคืนเงิน วันที่ หรือคูปองที่แต่งขึ้นหลงเหลืออยู่ |
| การจัดการข้อมูล | ไม่มีการส่งข้อมูลส่วนบุคคลไปยังเครื่องมือ. | มีที่อยู่หรือหมายเลขคำสั่งซื้ออยู่ในคำขอ |
| ทบทวนการตัดสินใจ | คำอธิบายระบุว่าเปลี่ยนอะไรและเพราะเหตุใด | ไม่มีคำอธิบาย หรือมีเพียง "จัดให้เรียบร้อยขึ้น" |
ใครควรให้คะแนนผลงาน AI หรือคน?
ทั้งสองแบบทำได้ หากมองเห็นเกณฑ์และสามารถโต้แย้งคะแนนได้ คนที่รู้จักงานนั้นเป็นผู้ตรวจทานที่น่าเชื่อถือที่สุด แต่ทำงานได้ช้าและอาจให้คะแนนไม่สม่ำเสมอเมื่อต้องตรวจงานจำนวนมาก การให้ AI ให้คะแนนตามเกณฑ์ทำได้รวดเร็วและให้ข้อเสนอแนะที่เฉพาะเจาะจงได้ แต่คะแนนที่ให้มาอย่างมั่นใจไม่ได้พิสูจน์ว่าถูกต้อง และ AI ที่ให้คะแนนอาจมองข้ามบริบทที่ผู้เชี่ยวชาญในสาขานั้นจะเห็น.
ทางเลือกที่สมดุลและใช้ได้จริงคือใช้ AI ให้ข้อเสนอแนะสำหรับงานฝึก มีช่องทางแจ้งคะแนนที่ไม่เห็นด้วยเพื่อตรวจสอบอีกครั้ง และให้มนุษย์ตรวจทานเมื่อผลลัพธ์มีผลกระทบตามมา รูปแบบที่ Tosheo.ai วางแผนไว้เป็นไปตามแนวทางนี้: AI ให้คะแนนงานตามเกณฑ์ที่ผู้เรียนมองเห็นได้ และส่งเรื่องที่ผู้เรียนแจ้งเข้าคิวตรวจทาน ขั้นตอนนี้เป็นขอบเขตงานที่วางแผนไว้ ไม่ใช่หลักฐานว่าระบบให้คะแนนที่พัฒนาแล้วผ่านการตรวจสอบความถูกต้อง.
อยากดูว่าสิ่งนี้เชื่อมโยงกับบทบาทงานอย่างไรไหม?
สำรวจการทดลองใช้สำหรับทีมที่อยู่ในแผนพัฒนา ↗จะทำให้ผู้ตรวจทานใช้เกณฑ์อย่างสอดคล้องกันได้อย่างไร?
ปรับความเข้าใจให้ตรงกันก่อนให้คะแนน ให้ผู้ตรวจประเมินสองคนให้คะแนนตัวอย่างงานที่ส่งสามหรือสี่ชิ้นอย่างเป็นอิสระ เปรียบเทียบจุดที่ให้คะแนนต่างกัน แล้วตกลงความหมายของถ้อยคำในเกณฑ์การให้คะแนน บันทึกข้อสรุปเป็นหมายเหตุสั้น ๆ ข้างเกณฑ์แต่ละข้อ เช่น "การเสนอสิ่งชดเชยเพื่อแสดงน้ำใจถือเป็นข้อเสนอที่แต่งขึ้น เว้นแต่นโยบายจะอนุญาต"
ตรวจซ้ำเป็นครั้งคราวโดยให้คนอีกคนตรวจทานงานตัวอย่างจำนวนเล็กน้อย แนวทางการวัดผลของ NIST ระบุว่าการตรวจทานอย่างเป็นอิสระช่วยลดอคติภายในได้ สำหรับทีมขนาดเล็ก อาจหมายถึงเพียงให้ผู้ก่อตั้งและเพื่อนร่วมงานอาวุโสต่างคนต่างตรวจงานที่ส่งมาชุดเดียวกันจำนวนไม่กี่ชิ้นไตรมาสละครั้ง
ควรตีความการทำแบบฝึกซ้ำอย่างไร?
การลองครั้งที่สองอาจแสดงให้เห็นว่าผู้เรียนเข้าใจข้อเสนอแนะจากตัวอย่างนั้นแล้ว แต่ก็อาจได้ประโยชน์จากการจำงานเดิมได้เช่นกัน ใช้ตัวอย่างใหม่ที่เทียบเคียงกันได้ก่อนสรุปในวงกว้าง และบันทึกการเปลี่ยนแปลงของเครื่องมือ ข้อมูลต้นทาง หรือความช่วยเหลือที่ผู้เรียนได้รับ
เมื่อคะแนนมีผลสำคัญ ต้องทำให้กระบวนการทบทวนตรวจสอบได้และมีช่องทางให้โต้แย้ง ผลตอบกลับที่ AI สร้างขึ้นอาจมีประโยชน์ในการนำมาพูดคุย แต่ไม่ควรเป็นข้อสรุปสุดท้ายสำหรับผลลัพธ์ที่ส่งผลสำคัญต่อผู้เกี่ยวข้อง
ควรรายงานผลอย่างไร?
รายงานสิ่งที่สังเกตพบ เงื่อนไขที่ใช้ และสิ่งที่ยังไม่ทราบ บันทึกที่สั้นและใช้รูปแบบสม่ำเสมอมีประโยชน์มากกว่าคะแนนเพียงค่าเดียว แบบฟอร์มด้านล่างใช้ได้ทั้งรายบุคคลและรายบทบาท
งานฝึกปฏิบัติและเงื่อนไข
งาน เครื่องมือและรุ่นหรือแผนบริการที่ใช้ เอกสารต้นทางที่ให้ และความช่วยเหลือที่มีให้
เกณฑ์
เกณฑ์การให้คะแนนที่ใช้ พร้อมลิงก์หรือเอกสารแนบ เพื่อให้ผู้อ่านเห็นว่าประเมินเรื่องใดบ้าง
ข้อสังเกต
สิ่งที่ผู้ทำงานทำได้ดีและสิ่งที่ยังไม่ถึงมาตรฐาน อธิบายทีละเกณฑ์ด้วยภาษาที่เข้าใจง่าย.
ข้อจำกัด
สิ่งที่งานนี้ไม่ได้ทดสอบ เช่น การใช้ข้อมูลลับ การติดต่อกับลูกค้าจริง หรือการใช้เครื่องมือที่ไม่คุ้นเคย.
ขั้นตอนถัดไป
ประเด็นที่ต้องฝึกหนึ่งเรื่อง และวันที่จะทำงานลักษณะเดียวกันครั้งถัดไป.
การประเมินทักษะแตกต่างจากการติดตามการนำไปใช้อย่างไร?
ข้อมูลการใช้เครื่องมือและการมีส่วนร่วมช่วยให้ผู้จัดการเข้าใจได้ว่ามีการใช้งานโครงการฝึกอบรมหรือไม่ แต่ข้อมูลเหล่านี้เพียงอย่างเดียวไม่ได้แสดงว่าผู้ใช้ตัดสินใจได้อย่างเหมาะสม เครื่องมือที่ใช้บ่อยอาจยังสร้างงานที่ไม่มีใครตรวจสอบ ขณะที่ผู้เรียนที่รอบคอบอาจใช้เครื่องมือนั้นเฉพาะกับงานที่ได้รับอนุมัติไว้ในขอบเขตแคบ ๆ เท่านั้น
ทบทวนการนำไปใช้งานควบคู่กับตัวอย่างผลงาน คำถามเกี่ยวกับนโยบาย และความช่วยเหลือที่มีให้ ระบุว่าสังเกตพบสัญญาณใดและยังขาดสัญญาณใด อย่านำการเปลี่ยนแปลงของความถี่ในการเข้าสู่ระบบไปอ้างว่าเป็นการเพิ่มผลิตภาพ หากไม่มีวิธีวัดที่เหมาะสมและหลักฐานประกอบตามบริบท
ผู้จัดการควรดูข้อมูลอะไรได้บ้าง?
ผู้จัดการต้องการข้อมูลที่เพียงพอสำหรับช่วยเหลือพนักงาน ได้แก่ พนักงานแสดงทักษะใดให้เห็นแล้ว ติดขัดตรงไหน และกำลังก้าวหน้าหรือไม่ ผู้จัดการแทบไม่จำเป็นต้องอ่านข้อความทั้งหมดจากทุกบทสนทนาที่พนักงานมีกับเครื่องมือ AI การอ่านบันทึกเหล่านั้นทำให้รู้สึกเหมือนถูกสอดส่อง ทำให้ไม่กล้าฝึกอย่างตรงไปตรงมา และอาจเปิดเผยข้อมูลที่ผู้เรียนไม่ควรแบ่งปันตั้งแต่แรก
กำหนดว่าข้อมูลใดจะมองเห็นได้ และแจ้งให้ชัดเจนก่อนที่ใครจะเริ่มใช้งาน ด้วยเหตุผลนี้ แดชบอร์ดสำหรับผู้จัดการที่ Tosheo.ai วางแผนจะพัฒนาจึงออกแบบมาเพื่อแสดงความก้าวหน้าด้านทักษะและการเรียนจบ ไม่ใช่บันทึกการสนทนาฉบับเต็ม
วิธีนี้แตกต่างจากการประเมินผู้สมัครงานอย่างไร?
การเรียนรู้และการจ้างงานมีจุดประสงค์ต่างกัน งานฝึกอบรมเปิดโอกาสให้พนักงานปัจจุบันทำผิดพลาดและปรับปรุงได้ ส่วนการประเมินผู้สมัครต้องอยู่ในกระบวนการจ้างงานที่เป็นธรรมและกำหนดไว้ชัดเจน มีคนตรวจทานอย่างเหมาะสม และให้ข้อมูลที่ชัดเจนแก่ผู้สมัคร ไม่ควรนำตัวอย่างเดียวกันมาใช้ซ้ำราวกับว่าบริบทและผลที่ตามมาเหมือนกัน และไม่ควรใช้ผลการฝึกอบรมมาตัดสินใจเรื่องการจ้างงานที่การฝึกนั้นไม่ได้ออกแบบมาเพื่อรองรับ
เมื่อไรคุณไม่ควรจัดการประเมินทักษะ AI?
อย่าจัดการประเมินก่อนที่ผู้เข้าร่วมจะมีเครื่องมือที่ได้รับอนุมัติและกฎพื้นฐานในการจัดการข้อมูล มิฉะนั้นคุณจะวัดการเข้าถึงเครื่องมือและความสับสนแทนทักษะ อย่าใช้การประเมินเป็นการประเมินผลการปฏิบัติงานที่แอบแฝง และอย่าใช้แบบสอบถามที่ให้ผู้ตอบประเมินตนเอง รวมถึงแบบตรวจสอบความพร้อมด้วยตนเองบนเว็บไซต์นี้ เพื่อจัดอันดับบุคคล มอบการรับรอง หรือตัดสินใจเกี่ยวกับการจ้างงาน
หากคุณต้องการเครื่องมือวัดทางจิตมิติที่ผ่านการตรวจสอบความเที่ยงตรงสำหรับการตัดสินใจที่มีผลกระทบสูง แนวทางที่อธิบายที่นี่ไม่ใช่เครื่องมือเช่นนั้น นี่เป็นวิธีเชิงปฏิบัติสำหรับการพูดคุยเรื่องการเรียนรู้และการวางแผนโครงการ โดยอ้างอิงแนวทางของ NIST เกี่ยวกับบริบทและข้อจำกัด ซึ่งไม่ได้รับรองหรือยืนยันความเที่ยงตรงของแนวทางประเมินพนักงานนี้
ผู้จัดการควรทำอะไรต่อ?
เลือกงานที่เกี่ยวข้องกับบทบาทหนึ่งงาน เผยแพร่เกณฑ์การให้คะแนนแบบสั้น และทบทวนเหตุผลร่วมกับผู้เรียน บันทึกแหล่งข้อมูล เครื่องมือ และเงื่อนไขไว้ พิจารณาว่าหลักฐานรองรับข้อสรุปใดได้บ้าง และเรื่องใดต้องมีตัวอย่างเพิ่มเติม นี่คือจุดเริ่มต้นที่นำไปใช้ได้จริงสำหรับการพูดคุยเพื่อการเรียนรู้ที่เป็นประโยชน์
หากคำถามสำคัญกว่าคือทีมพร้อมจะเริ่มฝึกหรือยัง ให้เริ่มจากรายการตรวจสอบความพร้อม ซึ่งครอบคลุมการเข้าถึงเครื่องมือ ขอบเขตการใช้ข้อมูล มาตรฐานการตรวจทาน และการสนับสนุน แบบตรวจสอบตนเองช่วยเปิดบทสนทนานี้ได้ ทั้งสองอย่างเป็นเครื่องมือช่วยพูดคุย ไม่ใช่สิ่งทดแทนการแสดงความสามารถในการทำงานจริง
แหล่งข้อมูลและขอบเขต
ส่วนหลักของกรอบการจัดการความเสี่ยงด้าน AI ของ NIST ตรวจสอบเมื่อ 16 October 2026 ↗