Cara menilai keterampilan AI dalam tim Anda

Apa yang Anda maksud dengan keterampilan AI?

Untuk keperluan penilaian, keterampilan AI adalah perilaku yang dapat Anda amati dalam tugas tertentu. Menyediakan sumber yang sesuai, mengidentifikasi klaim tanpa dukungan bukti, atau menjelaskan penyuntingan akhir lebih spesifik daripada mengatakan seseorang mahir menggunakan AI. Sebutkan peran, alat, dan kondisinya agar peninjau mengetahui dengan jelas apa yang ditunjukkan oleh bukti tersebut.

Label yang terlalu umum dapat menyembunyikan kemampuan yang berbeda. Seseorang mungkin dapat menulis instruksi yang jelas tetapi gagal memeriksa rujukan, atau memeriksa perhitungan sambil menerima penjelasan penyebab yang tidak didukung bukti. Pisahkan pengamatan tersebut alih-alih langsung merangkumnya menjadi satu skor keseluruhan. Panduan keterampilan AI menjelaskan tujuh keterampilan praktis yang digunakan dalam sebagian besar pekerjaan berbasis pengetahuan; asesmen harus menyebutkan keterampilan mana yang hendak ditunjukkan melalui suatu tugas.

Apa tujuan penilaian ini?

Tentukan tujuan sebelum merancang apa pun, karena tujuan memengaruhi konsekuensinya. Penilaian pembelajaran membantu seseorang mengetahui apa yang perlu dilatih selanjutnya dan seharusnya membuat peserta merasa aman meskipun gagal. Pemeriksaan kesiapan membantu manajer menentukan dari mana program harus dimulai. Penilaian sertifikasi mendukung pernyataan kepada pihak lain bahwa seseorang telah memenuhi standar yang ditetapkan untuk tugas-tugas tertentu. Perekrutan adalah kasus tersendiri yang dibahas di bawah.

Mencampuradukkan tujuan menyebabkan sebagian besar masalah. Jika orang mengira hasil pemeriksaan awal akan digunakan dalam penilaian kinerja, mereka akan bermain aman, menghindari alat tersebut, atau meminta bantuan rekan kerja, sehingga hasilnya tidak banyak memberi informasi. Beri tahu mereka untuk apa hasilnya akan digunakan, siapa yang akan melihatnya, dan tindakan apa yang tidak akan diambil berdasarkan hasil tersebut.

Indikator mana yang perlu Anda pisahkan?

Kepercayaan diri, penyelesaian pelatihan, dan hasil kerja yang ditunjukkan menjawab pertanyaan yang berbeda. Penilaian diri menunjukkan perasaan seseorang tentang kemampuannya. Catatan penyelesaian menunjukkan bahwa mereka telah mencapai suatu tahapan dalam program. Tugas praktik memberi mereka kesempatan untuk menunjukkan keputusan tertentu dalam kondisi tertentu. Tidak satu pun boleh begitu saja dianggap mewakili yang lain.

Laporan penilaian yang berguna menjelaskan metode dan batasannya. Jika peserta hanya menyelesaikan satu tugas penyusunan draf berdasarkan skenario fiktif, nyatakan demikian. Jangan memberi kesan bahwa mereka dapat menangani setiap alur kerja yang melibatkan informasi rahasia atau berdampak besar dengan aman. Kerangka Manajemen Risiko AI dari NIST menyampaikan hal serupa tentang sistem AI itu sendiri: batasan dalam menarik kesimpulan umum di luar kondisi pengujian perlu didokumentasikan. Ketelitian yang sama berlaku saat menilai orang.

Bagaimana cara memilih tugas praktik?

Pilih pekerjaan yang relevan dengan peran dan sediakan bahan sumber yang cukup untuk menilai jawabannya. Staf pemasaran dapat merevisi email kampanye fiktif. Rekan kerja di bidang sumber daya manusia dapat memperbaiki pertanyaan wawancara berdasarkan uraian singkat peran. Rekan kerja di bidang keuangan dapat menjelaskan tabel kecil tanpa menetapkan penyebab yang tidak didukung bukti. Petugas dukungan dapat menjawab pertanyaan pelanggan menggunakan kutipan kebijakan yang disediakan.

Pastikan tugas aman untuk latihan. Gunakan informasi fiktif atau yang telah disetujui, dan hindari keputusan tentang orang sungguhan, uang, atau komunikasi pelanggan dalam latihan awal. Tujuannya adalah memeriksa hasil pekerjaan, bukan menghasilkan keputusan otomatis yang berdampak nyata saat mencoba mengukur keterampilan.

Tugas yang baik memiliki jebakan yang penting. Sisipkan satu masalah realistis yang seharusnya ditemukan peserta, seperti detail kebijakan yang mungkin dikarang oleh alat atau angka yang perlu dihitung ulang. Tugas tanpa kemungkinan kesalahan hanya mengukur apakah seseorang dapat mengoperasikan alat.

Seperti apa tugas penilaian yang lengkap?

Berikut adalah contoh lengkap untuk peran layanan pelanggan di peritel furnitur fiktif, Larchwood Home. Peserta menerima email pelanggan yang menanyakan apakah sofa yang dikirim dengan bantal robek dapat diganti, serta kutipan kebijakan yang menyatakan bahwa barang rusak yang dilaporkan dalam 14 hari diganti tanpa biaya dan pelanggan harus mengirimkan foto. Pelanggan melaporkan kerusakan pada hari ke-9.

Instruksinya berbunyi: "Gunakan asisten AI yang telah disetujui untuk membuat draf balasan. Gunakan hanya kebijakan yang diberikan. Jangan sertakan alamat atau nomor pesanan pelanggan dalam permintaan Anda kepada alat. Serahkan permintaan Anda, draf dari alat, balasan akhir Anda, serta dua atau tiga kalimat yang menjelaskan suntingan Anda."

Jebakannya adalah alat serbaguna sering menambahkan pilihan pengembalian dana, tanggal pengiriman, atau voucher sebagai bentuk niat baik yang tidak disebutkan dalam kebijakan. Hasil tugas yang baik tetap berpegang pada penggantian barang, meminta foto, tidak memberikan tanggal yang tidak didukung kebijakan, dan menjelaskan penghapusan setiap penawaran rekaan. Hasil tugas yang lemah mengirimkan draf alat dengan sedikit suntingan. Keduanya mungkin enak dibaca; hanya satu yang aman untuk dikirim.

Apa saja yang perlu dicantumkan dalam panduan penilaian yang dapat dilihat pengguna?

Panduan penilaian yang terlihat oleh peserta menyatakan kriteria sebelum tugas dikumpulkan dan menjelaskan gambaran setiap tingkat pencapaian. Kategori yang berguna mencakup konteks, bukti, penanganan informasi, dan keputusan peninjauan. Jelaskan apa yang dicari peninjau dalam pekerjaan tersebut, bukan sekadar memberikan angka tanpa penjelasan. Peserta seharusnya dapat memahami apa yang perlu diperbaiki setelah membaca umpan balik.

Panduan penilaian di bawah sesuai untuk tugas Larchwood. Ini adalah kerangka penilaian editorial, bukan klaim validasi psikometrik, dan tidak memiliki nilai ambang kelulusan yang tervalidasi.

Siapa yang sebaiknya menilai hasil pekerjaan, AI atau manusia?

Keduanya bisa, asalkan kriterianya terlihat dan penilaiannya dapat dipersoalkan. Orang yang memahami pekerjaan tersebut adalah peninjau yang paling dapat dipercaya, tetapi prosesnya lambat dan bisa tidak konsisten saat menilai banyak tugas. Penilaian AI berdasarkan panduan penilaian berlangsung cepat dan dapat memberikan umpan balik spesifik, tetapi nilai yang diberikan dengan yakin bukanlah bukti keakuratan, dan penilai AI dapat melewatkan konteks yang dapat dikenali oleh ahli bidang tersebut.

Kompromi yang praktis adalah menggunakan umpan balik AI untuk tugas latihan, menyediakan jalur untuk menandai nilai yang dipersoalkan agar diperiksa ulang, dan melakukan peninjauan manusia jika hasilnya membawa konsekuensi. Rancangan Tosheo.ai yang direncanakan mengikuti pola tersebut: tugas dinilai oleh AI berdasarkan panduan penilaian yang dapat dilihat, lalu penandaan dari peserta dikirim ke antrean peninjauan. Alur itu merupakan cakupan yang direncanakan, bukan bukti bahwa sistem penilaian yang sudah diterapkan telah divalidasi.

Bagaimana cara menjaga konsistensi penilaian antarpeninjau?

Samakan standar sebelum memberikan nilai. Minta dua penilai menilai tiga atau empat contoh hasil tugas yang sama secara mandiri, bandingkan perbedaan penilaian mereka, lalu sepakati makna redaksi panduan penilaian. Tuliskan keputusan tersebut sebagai catatan singkat di samping setiap kriteria, seperti "bentuk itikad baik dianggap sebagai tawaran yang dikarang kecuali kebijakan mengizinkannya".

Periksa ulang sesekali dengan meminta orang kedua meninjau sampel kecil. Panduan pengukuran NIST menyatakan bahwa peninjauan independen dapat mengurangi bias internal. Dalam tim kecil, ini bisa sesederhana pendiri dan seorang rekan senior masing-masing meninjau beberapa hasil tugas yang sama sekali setiap kuartal.

Bagaimana sebaiknya Anda menafsirkan percobaan berulang?

Percobaan kedua dapat menunjukkan bahwa seseorang memahami umpan balik untuk contoh tersebut. Namun, hasilnya juga dapat terbantu karena ia mengingat tugasnya. Gunakan contoh baru yang sebanding sebelum menarik kesimpulan yang lebih luas, dan catat perubahan pada alat, materi sumber, atau bantuan yang tersedia bagi peserta.

Jika skor memiliki dampak penting, pastikan proses peninjauannya dapat diperiksa dan sediakan cara untuk mengajukan keberatan. Umpan balik dari AI dapat berguna sebagai bahan diskusi, tetapi tidak boleh menjadi penentu akhir untuk hasil yang berdampak besar.

Bagaimana sebaiknya Anda melaporkan hasilnya?

Laporkan apa yang diamati, dalam kondisi apa, dan apa yang masih belum diketahui. Catatan singkat yang konsisten lebih berguna daripada satu skor saja. Templat di bawah ini dapat digunakan per orang atau per peran.

Apa perbedaan penilaian keterampilan dan pelacakan adopsi?

Penggunaan alat dan keterlibatan dapat membantu manajer memahami apakah suatu program digunakan. Keduanya tidak dengan sendirinya menunjukkan bahwa seseorang membuat keputusan yang tepat. Alat yang sering digunakan tetap dapat menghasilkan pekerjaan yang tidak diperiksa siapa pun, sementara peserta yang teliti mungkin hanya menggunakannya untuk tugas terbatas yang telah disetujui.

Tinjau tingkat penggunaan bersama contoh hasil kerja, pertanyaan tentang kebijakan, dan dukungan yang tersedia. Nyatakan indikator mana yang teramati dan mana yang belum tersedia. Jangan menjadikan perubahan frekuensi masuk ke akun sebagai dasar klaim produktivitas tanpa metode yang tepat dan bukti yang sesuai dengan konteks.

Apa saja yang perlu dapat dilihat oleh manajer?

Manajer memerlukan informasi yang cukup untuk mendukung karyawan: keterampilan apa yang telah mereka tunjukkan, di mana mereka mengalami kesulitan, dan apakah mereka mengalami kemajuan. Mereka jarang membutuhkan teks mentah dari setiap percakapan seseorang dengan alat AI. Membaca catatan tersebut terasa seperti pengawasan, membuat peserta enggan berlatih secara jujur, dan dapat mengungkap informasi yang seharusnya tidak dibagikan oleh peserta.

Tentukan apa saja yang dapat dilihat dan sampaikan sebelum siapa pun mulai. Dasbor manajer Tosheo.ai yang direncanakan dirancang untuk menampilkan perkembangan keterampilan dan penyelesaian pelajaran, bukan log percakapan mentah, justru karena alasan ini.

Apa perbedaannya dengan menilai kandidat?

Pembelajaran dan perekrutan memiliki tujuan yang berbeda. Tugas pelatihan dapat memberi karyawan yang sudah bekerja ruang untuk melakukan kesalahan dan memperbaiki diri. Penilaian kandidat harus menjadi bagian dari proses perekrutan yang adil dan terdefinisi, dengan peninjauan manusia yang sesuai serta informasi yang jelas bagi kandidat. Contoh yang sama tidak boleh digunakan kembali seolah-olah konteks dan konsekuensinya identik, dan hasil pelatihan tidak boleh digunakan untuk mengambil keputusan ketenagakerjaan yang bukan menjadi tujuan perancangannya.

Kapan Anda sebaiknya tidak melakukan penilaian keterampilan AI?

Jangan lakukan penilaian sebelum peserta memiliki alat yang disetujui dan aturan dasar penggunaan informasi; Anda justru akan mengukur akses dan kebingungan, bukan keterampilan. Jangan melakukannya sebagai penilaian kinerja terselubung. Jangan pula menggunakan kuesioner penilaian diri, termasuk pemeriksaan kesiapan mandiri di situs ini, untuk memeringkat orang, memberikan kredensial, atau membuat keputusan ketenagakerjaan.

Jika Anda memerlukan instrumen psikometri tervalidasi untuk keputusan berdampak besar, pendekatan yang dijelaskan di sini tidak memenuhi kebutuhan tersebut. Ini adalah metode praktis untuk percakapan tentang pembelajaran dan perencanaan program, yang mengacu pada panduan NIST tentang konteks dan keterbatasan. Panduan tersebut tidak mendukung ataupun memvalidasi pendekatan penilaian karyawan ini.

Apa yang sebaiknya dilakukan manajer selanjutnya?

Pilih satu tugas yang relevan dengan peran, sediakan panduan penilaian singkat, dan tinjau alur penalarannya bersama peserta. Catat sumber, alat, dan kondisi pelaksanaannya. Tentukan kesimpulan yang didukung oleh bukti dan hal yang masih memerlukan contoh lain. Itulah titik awal praktis untuk percakapan pembelajaran yang bermanfaat.

Jika pertanyaan utamanya adalah apakah tim sudah siap untuk mulai berlatih, mulailah dengan daftar periksa kesiapan yang mencakup akses alat, batasan informasi, standar peninjauan, dan dukungan. Pemeriksaan mandiri dapat membantu membuka percakapan itu. Keduanya adalah alat bantu diskusi, bukan pengganti bukti kemampuan dalam mengerjakan tugas.

Sumber dan cakupan

Inti Kerangka Manajemen Risiko AI NIST, diperiksa 16 October 2026 ↗

Panduan Praktis Kerangka Manajemen Risiko AI NIST: Tata Kelola, diperiksa 16 October 2026 ↗