Cách đánh giá kỹ năng AI của nhóm bạn

Kỹ năng AI ở đây có nghĩa là gì?

Để phục vụ đánh giá, kỹ năng AI là một hành vi có thể kiểm chứng qua một nhiệm vụ cụ thể. Cung cấp nguồn phù hợp, nhận ra nhận định thiếu căn cứ hoặc giải thích một chỉnh sửa cuối cùng đều cụ thể hơn việc nói ai đó giỏi AI. Hãy nêu rõ vai trò, công cụ và điều kiện thực hiện để người đánh giá biết bằng chứng thực sự phản ánh điều gì.

Một nhãn đánh giá chung có thể che khuất những khác biệt về năng lực. Một người có thể viết câu lệnh rõ ràng nhưng không kiểm tra trích dẫn, hoặc kiểm tra phép tính nhưng lại chấp nhận lời giải thích nguyên nhân không có căn cứ. Hãy ghi nhận riêng từng điểm thay vì lập tức gộp thành một điểm tổng thể. Hướng dẫn về kỹ năng AI mô tả bảy kỹ năng thực hành được dùng trong phần lớn công việc tri thức; bài đánh giá cần nêu rõ nhiệm vụ nhằm thể hiện kỹ năng nào trong số đó.

Bài đánh giá dùng để làm gì?

Xác định mục đích trước khi thiết kế bất cứ điều gì, vì mục đích sẽ làm thay đổi mức độ hệ trọng. Đánh giá phục vụ học tập giúp người học biết nên luyện tập gì tiếp theo và cần tạo cảm giác an toàn ngay cả khi chưa đạt. Kiểm tra mức độ sẵn sàng giúp người quản lý quyết định nên bắt đầu chương trình từ đâu. Đánh giá cấp chứng chỉ là cơ sở để xác nhận với người khác rằng một người đã đáp ứng tiêu chuẩn xác định qua các nhiệm vụ xác định. Tuyển dụng là trường hợp riêng, được trình bày bên dưới.

Việc trộn lẫn các mục đích gây ra phần lớn rắc rối. Nếu mọi người cho rằng bài kiểm tra đầu vào sẽ được dùng để đánh giá hiệu suất, họ sẽ chọn cách an toàn, tránh dùng công cụ hoặc nhờ đồng nghiệp giúp, và kết quả sẽ không cho bạn biết được nhiều. Hãy nói rõ kết quả sẽ được dùng vào việc gì, ai sẽ được xem và kết quả đó sẽ không dẫn đến những việc gì.

Bạn nên tách biệt những dấu hiệu nào?

Sự tự tin, việc hoàn thành chương trình và kết quả công việc thực tế trả lời những câu hỏi khác nhau. Điểm tự đánh giá cho biết một người cảm thấy thế nào. Hồ sơ hoàn thành cho biết họ đã đạt một cột mốc trong chương trình. Bài tập thực hành cho họ cơ hội thể hiện những quyết định cụ thể trong những điều kiện cụ thể. Không nên mặc nhiên dùng bất kỳ yếu tố nào để thay thế cho những yếu tố còn lại.

Một báo cáo đánh giá có ích cần nêu rõ phương pháp và giới hạn của phương pháp đó. Nếu học viên chỉ hoàn thành một bài tập soạn thảo dựa trên tình huống giả định, hãy nói rõ như vậy. Đừng ngụ ý rằng họ có thể xử lý an toàn mọi quy trình liên quan đến thông tin mật hoặc có hệ quả quan trọng. Khung quản lý rủi ro AI của NIST cũng nêu quan điểm tương tự về chính các hệ thống AI, yêu cầu ghi rõ giới hạn khi khái quát hóa kết quả ra ngoài các điều kiện đã kiểm thử. Việc đánh giá con người cũng cần tuân thủ nguyên tắc chặt chẽ này.

Làm thế nào để chọn một nhiệm vụ thực hành?

Chọn công việc phù hợp với vai trò và cung cấp đủ tài liệu nguồn để đánh giá câu trả lời. Nhân viên tiếp thị có thể chỉnh sửa thư điện tử cho một chiến dịch giả định. Nhân viên nhân sự có thể cải thiện câu hỏi phỏng vấn dựa trên bản mô tả vai trò. Nhân viên tài chính có thể giải thích một bảng dữ liệu nhỏ mà không kết luận về những nguyên nhân chưa có căn cứ. Nhân viên hỗ trợ có thể trả lời câu hỏi của khách hàng dựa trên đoạn trích chính sách được cung cấp.

Đảm bảo nhiệm vụ đủ an toàn để thực hành. Trong bài tập ban đầu, hãy dùng thông tin giả định hoặc đã được phê duyệt, đồng thời tránh các quyết định liên quan đến người thật, tiền bạc hay giao tiếp với khách hàng. Mục tiêu là kiểm tra chất lượng công việc, không phải tạo ra một quyết định tự động có hệ quả thực tế trong lúc đánh giá kỹ năng.

Nhiệm vụ tốt có một lỗi cần phát hiện và có ảnh hưởng thực tế. Hãy cài sẵn một vấn đề sát thực tế mà người học cần nhận ra, chẳng hạn một chi tiết chính sách mà công cụ dễ bịa ra hoặc một số liệu cần tính lại. Nhiệm vụ không có khả năng xảy ra lỗi chỉ đo được việc một người có biết thao tác với công cụ hay không.

Một bài đánh giá đầy đủ sẽ như thế nào?

Đây là ví dụ đầy đủ cho vai trò hỗ trợ khách hàng tại một nhà bán lẻ nội thất giả định, Larchwood Home. Người học nhận được email của khách hàng hỏi liệu chiếc ghế sofa được giao với đệm bị rách có được đổi hay không, cùng một trích đoạn chính sách nêu rằng hàng bị hư hỏng được báo trong vòng 14 ngày sẽ được đổi miễn phí và khách hàng phải gửi ảnh. Khách hàng đã báo hư hỏng vào ngày thứ 9.

Hướng dẫn ghi: "Sử dụng trợ lý AI đã được phê duyệt để soạn bản nháp trả lời. Chỉ sử dụng chính sách được cung cấp. Không đưa địa chỉ hoặc mã đơn hàng của khách vào yêu cầu gửi cho công cụ. Nộp yêu cầu của bạn, bản nháp của công cụ, câu trả lời cuối cùng và hai hoặc ba câu giải thích các chỉnh sửa của bạn."

Cái bẫy là các công cụ đa dụng thường tự thêm phương án hoàn tiền, ngày giao hàng hoặc phiếu ưu đãi thiện chí mà chính sách không đề cập. Một bài làm tốt chỉ đưa ra phương án đổi sản phẩm, yêu cầu ảnh, không đưa ra ngày nào khi chính sách không có căn cứ cho ngày đó và giải thích việc loại bỏ mọi đề nghị tự bịa ra. Bài làm yếu thì gửi bản nháp của công cụ sau vài chỉnh sửa nhỏ. Cả hai có thể đều đọc trôi chảy; nhưng chỉ một bản an toàn để gửi.

Bộ tiêu chí chấm điểm công khai cần có những gì?

Hướng dẫn chấm điểm được công khai nêu rõ tiêu chí trước khi nộp bài và mô tả từng mức đánh giá. Các nhóm tiêu chí hữu ích gồm bối cảnh, bằng chứng, cách xử lý thông tin và các quyết định khi kiểm tra. Hãy giải thích người đánh giá tìm kiếm điều gì trong bài làm, thay vì chỉ gắn một con số không có mô tả. Sau khi đọc phản hồi, học viên cần hiểu được mình phải cải thiện điều gì.

Bộ tiêu chí chấm điểm bên dưới phù hợp với bài tập Larchwood. Đây là một cấu trúc đánh giá do ban biên tập xây dựng, không phải tuyên bố rằng đã được kiểm định về đo lường tâm lý, và chưa có ngưỡng điểm đạt được kiểm định.

AI hay con người nên chấm điểm bài làm?

Cả hai đều có thể, miễn là tiêu chí được công khai và người học có thể yêu cầu xem xét lại cách chấm điểm. Người am hiểu công việc là người rà soát đáng tin cậy nhất, nhưng chấm chậm và có thể thiếu nhất quán khi phải chấm nhiều bài nộp. AI chấm theo bảng tiêu chí thì nhanh và có thể đưa ra phản hồi cụ thể, nhưng điểm số được đưa ra một cách chắc chắn không phải bằng chứng về độ chính xác, và AI chấm bài có thể bỏ sót bối cảnh mà chuyên gia trong lĩnh vực đó sẽ nhận ra.

Một phương án dung hòa thực tế là dùng AI phản hồi cho bài thực hành, có quy trình đánh dấu điểm số bị phản đối để kiểm tra lần hai, và có người rà soát khi kết quả dẫn đến hệ quả thực tế. Thiết kế dự kiến của Tosheo.ai đi theo mô hình đó: AI chấm nhiệm vụ theo bộ tiêu chí công khai, còn yêu cầu xem xét lại của người học được đưa vào hàng đợi rà soát. Quy trình này thuộc phạm vi dự kiến, không phải bằng chứng cho thấy một hệ thống chấm điểm đã triển khai được kiểm chứng.

Làm thế nào để những người đánh giá áp dụng tiêu chí một cách nhất quán?

Thống nhất cách đánh giá trước khi chấm điểm. Yêu cầu hai người đánh giá chấm độc lập cùng ba hoặc bốn bài nộp mẫu, so sánh những điểm khác biệt và thống nhất cách hiểu nội dung trong hướng dẫn chấm điểm. Ghi lại các quyết định bằng ghi chú ngắn bên cạnh từng tiêu chí, chẳng hạn "một cử chỉ thiện chí được tính là đề nghị tự bịa ra, trừ khi chính sách cho phép".

Thỉnh thoảng kiểm tra lại bằng cách nhờ người thứ hai xem xét một mẫu nhỏ. Hướng dẫn đo lường của NIST lưu ý rằng việc đánh giá độc lập có thể giảm thiên kiến nội bộ. Với một nhóm nhỏ, điều đó có thể chỉ đơn giản là mỗi quý một lần, người sáng lập và một đồng nghiệp cấp cao cùng đánh giá riêng một vài bài nộp giống nhau.

Bạn nên diễn giải các lần làm lại như thế nào?

Lần làm thứ hai có thể cho thấy một người đã hiểu phản hồi về ví dụ đó. Kết quả cũng có thể tốt hơn nhờ nhớ nhiệm vụ. Hãy dùng một ví dụ mới nhưng tương đương trước khi rút ra nhận định rộng hơn, đồng thời ghi lại những thay đổi về công cụ, tài liệu nguồn hoặc sự hỗ trợ mà người học được nhận.

Khi điểm số có ảnh hưởng quan trọng, hãy bảo đảm quy trình đánh giá có thể được kiểm tra và có cách để yêu cầu xem xét lại. Phản hồi do AI tạo ra có thể hữu ích để thảo luận, nhưng không nên là căn cứ cuối cùng quyết định một kết quả có ảnh hưởng đáng kể.

Bạn nên báo cáo kết quả như thế nào?

Báo cáo những gì đã quan sát được, trong điều kiện nào và những gì vẫn chưa biết. Một bản ghi ngắn gọn, nhất quán hữu ích hơn một điểm số đơn lẻ. Có thể dùng mẫu dưới đây cho từng người hoặc từng vai trò.

Đánh giá kỹ năng khác gì với theo dõi việc áp dụng AI?

Mức sử dụng công cụ và mức độ tham gia có thể giúp người quản lý biết chương trình có được sử dụng hay không. Chỉ riêng những thông tin này không cho thấy một người có đang đưa ra quyết định phù hợp hay không. Một công cụ được dùng thường xuyên vẫn có thể tạo ra sản phẩm công việc mà không ai kiểm tra, trong khi một người học cẩn trọng có thể chỉ dùng công cụ cho một nhiệm vụ cụ thể đã được phê duyệt.

Đánh giá mức độ ứng dụng cùng với các mẫu công việc, câu hỏi về chính sách và nguồn hỗ trợ hiện có. Nêu rõ những dấu hiệu đã quan sát được và những dấu hiệu còn thiếu. Không dùng sự thay đổi về tần suất đăng nhập để khẳng định năng suất nếu không có phương pháp phù hợp và bằng chứng gắn với bối cảnh.

Người quản lý nên xem được những gì?

Quản lý cần đủ thông tin để hỗ trợ nhân viên: họ đã thể hiện được kỹ năng nào, đang vướng ở đâu và có tiến bộ hay không. Quản lý hiếm khi cần nội dung nguyên bản của mọi cuộc trò chuyện giữa nhân viên với công cụ AI. Việc đọc những nhật ký đó tạo cảm giác bị giám sát, khiến người học ngại thực hành một cách trung thực và có thể làm lộ thông tin mà lẽ ra họ không nên chia sẻ.

Quyết định những thông tin nào sẽ được hiển thị và thông báo rõ trước khi bất kỳ ai bắt đầu. Chính vì lý do này, bảng điều khiển dành cho quản lý mà Tosheo.ai dự kiến xây dựng được thiết kế để hiển thị tiến bộ về kỹ năng và mức độ hoàn thành, chứ không phải toàn bộ nhật ký trò chuyện.

Việc này khác gì với đánh giá ứng viên?

Học tập và tuyển dụng phục vụ các mục đích khác nhau. Một bài thực hành có thể tạo cơ hội để nhân viên hiện tại mắc lỗi và cải thiện. Việc đánh giá ứng viên cần nằm trong một quy trình tuyển dụng công bằng, được xác định rõ, có sự xem xét phù hợp của con người và thông tin rõ ràng cho ứng viên. Không nên dùng lại cùng một ví dụ như thể bối cảnh và hệ quả là giống nhau, và không nên dùng kết quả đào tạo để đưa ra quyết định về việc làm mà kết quả đó không được thiết kế để phục vụ.

Khi nào bạn không nên tổ chức đánh giá kỹ năng AI?

Không tổ chức bài đánh giá trước khi mọi người có công cụ được phê duyệt và các quy tắc cơ bản về xử lý thông tin; nếu không, bạn sẽ chỉ đo lường khả năng tiếp cận công cụ và mức độ bối rối thay vì kỹ năng. Không dùng bài đánh giá làm hình thức đánh giá hiệu suất trá hình. Và không dùng bảng câu hỏi tự khai, kể cả bài tự kiểm tra mức độ sẵn sàng trên trang này, để xếp hạng mọi người, cấp chứng nhận hoặc đưa ra quyết định về nhân sự.

Nếu bạn cần một công cụ đo lường tâm lý đã được thẩm định cho những quyết định hệ trọng, phương pháp được mô tả ở đây không đáp ứng điều đó. Đây là phương pháp thực tế để trao đổi về việc học và lập kế hoạch chương trình, có tham khảo hướng dẫn của NIST về bối cảnh và giới hạn; hướng dẫn này không chứng thực hay xác nhận tính hợp lệ của phương pháp đánh giá nhân viên này.

Người quản lý nên làm gì tiếp theo?

Chọn một nhiệm vụ phù hợp với vai trò công việc, công bố một bảng tiêu chí chấm điểm ngắn gọn và cùng người học xem lại cách lập luận. Ghi lại nguồn, công cụ và điều kiện thực hiện. Xác định bằng chứng cho phép kết luận điều gì và điều gì cần thêm ví dụ. Đó là điểm khởi đầu thiết thực cho một cuộc trao đổi học tập hữu ích.

Nếu câu hỏi lớn hơn là liệu nhóm đã sẵn sàng thực hành hay chưa, hãy bắt đầu bằng danh sách kiểm tra mức độ sẵn sàng, bao gồm quyền truy cập công cụ, giới hạn thông tin, tiêu chuẩn kiểm tra và hỗ trợ. Bài tự kiểm tra có thể giúp mở đầu cuộc trao đổi đó. Cả hai đều là công cụ hỗ trợ thảo luận, không thay thế cho việc thể hiện năng lực qua nhiệm vụ thực tế.

Nguồn và phạm vi

Phần cốt lõi của Khung quản lý rủi ro AI của NIST, kiểm tra ngày 16 October 2026 ↗

Sổ tay hướng dẫn Khung quản lý rủi ro AI của NIST: Quản trị, kiểm tra ngày 16 October 2026 ↗