Bagaimana Anda mengukur keberhasilan pelatihan AI?

Secara singkat, bagaimana Anda mengukur pelatihan AI?

Lakukan pengukuran pada tiga tingkat secara berurutan: apakah karyawan dapat mengerjakan tugas sesuai standar, apakah mereka melakukannya dalam pekerjaan nyata, dan apakah ada perubahan pada hal yang penting bagi bisnis. Tingkat penyelesaian dan skor kepuasan patut dicatat, tetapi keduanya hanya menunjukkan bahwa karyawan mengikuti dan menyukai pelatihan, bukan bahwa mereka telah belajar.

Ini sejalan dengan Model Kirkpatrick yang banyak digunakan, dengan empat tingkat: reaksi, pembelajaran, perilaku, dan hasil. Definisi model itu sendiri menjelaskan tingkat 3 sebagai sejauh mana orang menjalankan perilaku penting di lingkungan mereka, dan tingkat 4 sebagai sejauh mana hasil organisasi yang ditargetkan tercapai. Untuk pelatihan AI, bukti yang berguna biasanya terdapat pada tingkat 2 dan 3.

Seperti apa standar yang baik untuk contoh hasil kerja?

Standar yang baik berupa panduan penilaian singkat yang dapat digunakan orang lain untuk mencapai kesimpulan yang sama. Untuk balasan pelanggan yang dibantu AI, kriterianya dapat mencakup: hanya menggunakan fakta yang disediakan, menjawab pertanyaan pelanggan yang sebenarnya, mengikuti gaya bahasa perusahaan, menandai hal yang belum pasti, dan tidak memuat apa pun yang perlu diperbaiki sebelum dikirim.

Nilai setiap poin secara sederhana, misalnya terpenuhi, terpenuhi sebagian, atau tidak terpenuhi, dan simpan catatan peninjau. Catatan tersebut sering kali lebih berguna daripada skor karena menunjukkan apa yang perlu dilatih berikutnya.

Seperti apa perbandingan sebelum dan sesudahnya?

Fernhill Outdoors, peritel daring fiktif dengan 15 karyawan, melatih empat petugas layanan pelanggannya. Sebelum pelatihan, masing-masing menyusun draf balasan untuk contoh keluhan menggunakan ChatGPT. Draf yang dihasilkan umumnya sopan, tetapi mengarang detail kebijakan pengembalian dana dan melewatkan pertanyaan pelanggan tentang tanggal pengiriman.

Setelah empat minggu, setiap petugas menyusun draf balasan untuk keluhan yang berbeda dengan menggunakan panduan penilaian yang sama. Kepala layanan pelanggan mencatat kriteria yang terpenuhi dan bahwa tiga dari empat draf kini menandai tanggal pengiriman yang belum pasti, alih-alih mengarangnya. Itu merupakan bukti pembelajaran untuk satu tugas, bagi empat orang. Itu bukan bukti bahwa layanan menjadi lebih cepat atau pelanggan lebih puas, dan halaman tersebut tidak boleh mengklaim demikian.

Bagaimana Anda mengetahui apakah orang-orang menggunakan keterampilan tersebut dalam pekerjaan nyata?

Amati perilaku tersebut dalam pekerjaan sehari-hari, alih-alih bertanya apakah orang menggunakannya. Tanda yang berguna mencakup draf berbantuan AI yang telah ditinjau di folder bersama, manajer yang melihat berkurangnya koreksi pada hal-hal yang menjadi sasaran pelatihan, dan orang yang mengajukan pertanyaan tentang batasan informasi sebelum bertindak.

Laporan penggunaan alat membantu memantau aspek akses. Laporan penggunaan Copilot dari Microsoft, misalnya, menunjukkan pengguna aktif dan tanggal aktivitas terakhir. Aktivitas menunjukkan bahwa alat digunakan, bukan bahwa alat digunakan dengan baik, jadi lengkapi laporan tersebut dengan peninjauan hasil kerja yang sebenarnya.

Bisakah Anda menghitung imbal hasil investasi pelatihan AI?

Anda dapat memperkirakannya, tetapi berhati-hatilah dengan klaim Anda. Penghematan waktu yang dilaporkan karyawan adalah persepsi, bukan hasil pengukuran. Jika suatu hasil penting, ukur waktu pengerjaan tugas yang sebanding sebelum dan sesudahnya, atau bandingkan kualitas hasil yang telah ditinjau, lalu catat berapa banyak orang dan tugas yang tercakup dalam perkiraan tersebut.

Hitung juga biaya secara jujur, termasuk waktu peserta dan waktu peninjauan. Banyak tim kecil akan mendapati bahwa bukti paling jelas adalah kumpulan contoh hasil kerja yang telah ditinjau dan kebiasaan kerja yang terus dijalankan, bukan satu angka pengembalian investasi. Itu merupakan dasar yang baik untuk memutuskan apakah akan melanjutkan.

Untuk kebutuhan apa Tosheo.ai sesuai?

Tosheo.ai sedang dirancang agar setiap pelajaran diakhiri dengan tugas yang dinilai berdasarkan rubrik yang dapat dilihat, disertai umpan balik spesifik, dan peserta dapat menandai nilai yang tidak mereka setujui untuk ditinjau. Manajer direncanakan dapat melihat perkembangan keterampilan berdasarkan peran, yang menjadi bukti pembelajaran. Produk ini tidak dapat mengukur hasil bisnis Anda untuk Anda.

Kapan Tosheo.ai bukan solusinya?

Jika Anda memerlukan evaluasi formal untuk pemberi dana atau dewan, dengan kelompok kontrol atau angka yang diaudit, Anda memerlukan spesialis evaluasi. Jika kebutuhan utama Anda adalah melacak lisensi alat dan aktivitas, laporan administrasi dari penyedia Anda sudah dapat melakukannya. Tosheo.ai tidak terintegrasi dengan LMS saat peluncuran.

Sumber dan cakupan

Kirkpatrick Partners, Model Kirkpatrick, diperiksa 16 Oktober 2026 ↗

Microsoft Learn, laporan penggunaan Microsoft Copilot, 14 July 2026 ↗