Ekibinizin yapay zeka becerileri nasıl değerlendirilir?

Yapay zeka becerisi derken neyi kastediyorsunuz?

Değerlendirme açısından yapay zeka becerisi, belirli bir görevde gözlemleyebileceğiniz bir davranıştır. Uygun bir kaynak sağlamak, dayanağı olmayan bir iddiayı belirlemek veya son düzenlemeyi açıklamak, birinin yapay zeka konusunda iyi olduğunu söylemekten daha somuttur. Rolü, aracı ve koşulları belirtin ki değerlendiren kişi kanıtın gerçekte neyle ilgili olduğunu bilsin.

Genel bir etiket, farklı becerileri gizleyebilir. Bir kişi açık bir istem yazabilir ancak bir kaynak atfını kontrol etmeyebilir; ya da hesaplamaları kontrol ederken nedenlere ilişkin dayanaksız bir açıklamayı kabul edebilir. Bu gözlemleri hemen tek bir genel puana indirgemek yerine ayrı ayrı ele alın. Yapay zeka becerileri rehberi, bilgiye dayalı işlerin çoğunda kullanılan yedi uygulamalı beceriyi açıklar; bir değerlendirme, bir görevin bu becerilerden hangilerini göstermeyi amaçladığını belirtmelidir.

Değerlendirmenin amacı nedir?

Herhangi bir şey tasarlamadan önce amacı belirleyin; çünkü sonucun neyi etkileyeceği buna bağlıdır. Öğrenme değerlendirmesi, kişinin sırada neyi çalışması gerektiğini bulmasına yardımcı olur ve başarısız olma kaygısı yaratmamalıdır. Hazır bulunuşluk kontrolü, yöneticinin programa nereden başlayacağına karar vermesine yardımcı olur. Sertifikasyon değerlendirmesi, bir kişinin belirli görevlerde tanımlanmış bir standardı karşıladığı yönündeki beyanı başkaları karşısında destekler. İşe alım ise aşağıda ele alınan ayrı bir durumdur.

Sorunların çoğu, amaçların birbirine karıştırılmasından kaynaklanır. İnsanlar seviye belirleme değerlendirmesinin performans değerlendirmelerinde kullanılacağını düşünürse risk almamaya çalışır, aracı kullanmaktan kaçınır veya bir iş arkadaşından yardım ister. Böylece sonuç size pek bir şey anlatmaz. İnsanlara sonucun ne için kullanılacağını, kimlerin göreceğini ve bu sonuç nedeniyle nelerin yapılmayacağını söyleyin.

Hangi göstergeleri birbirinden ayrı tutmalısınız?

Özgüven, tamamlama ve ortaya konan çalışma farklı sorulara yanıt verir. Kişinin kendini değerlendirmesi, nasıl hissettiğini gösterir. Tamamlama kaydı, programdaki bir aşamaya ulaştığını gösterir. Uygulamalı bir görev, belirli koşullarda belirli kararları nasıl verdiğini gösterme fırsatı sunar. Bunların hiçbiri, açıkça belirtilmeden diğerinin yerine kullanılmamalıdır.

İşe yarayan bir değerlendirme raporu, yöntemi ve sınırlarını belirtir. Katılımcı, kurgusal bir metin hazırlama görevi tamamladıysa bunu söyleyin. Gizli bilgi içeren veya önemli sonuçlar doğurabilecek her iş akışını güvenle yürütebileceği izlenimini vermeyin. NIST'in Yapay Zeka Risk Yönetimi Çerçevesi de yapay zeka sistemleri için benzer bir noktaya değinir: test edilen koşulların ötesine genelleme yapmanın sınırlarının belgelenmesini ister. İnsanlar değerlendirilirken de aynı titizlik geçerlidir.

Uygulamalı bir görev nasıl seçilir?

İş rolüyle ilgili bir çalışma seçin ve yanıtı değerlendirmeye yetecek kadar kaynak materyal sağlayın. Bir pazarlama çalışanı, kurgusal bir kampanya e-postasını düzenleyebilir. İnsan kaynaklarından bir çalışma arkadaşınız, mülakat sorularını iş rolü tanımına göre iyileştirebilir. Finanstan bir çalışma arkadaşınız, kanıtla desteklenmeyen nedenleri açıklamaya çalışmadan küçük bir tabloyu açıklayabilir. Bir destek temsilcisi, sağlanan bir politika bölümünü kullanarak müşterinin sorusunu yanıtlayabilir.

Görevi güvenle uygulanabilecek hale getirin. İlk alıştırmada kurgusal veya kullanımı onaylanmış bilgiler kullanın; gerçek kişiler, para veya müşteri iletişimi hakkında karar vermekten kaçının. Amaç, bir beceriyi ölçmeye çalışırken sonuçları önemli olan otomatik bir karar üretmek değil, yapılan işi incelemektir.

İyi görevlerde, fark edilmesi önemli olan bir tuzak bulunur. Aracın uydurabileceği bir politika ayrıntısı veya yeniden hesaplanması gereken bir rakam gibi, öğrenenin yakalaması gereken gerçekçi bir sorun yerleştirin. Hata ihtimali olmayan bir görev, yalnızca kişinin aracı kullanıp kullanamadığını ölçer.

Eksiksiz bir değerlendirme görevi nasıl olur?

İşte kurgusal bir mobilya perakendecisi olan Larchwood Home'daki bir destek rolü için eksiksiz bir örnek. Katılımcıya, minderi yırtık teslim edilen bir kanepenin değiştirilip değiştirilemeyeceğini soran bir müşteri e-postası ile politikadan bir bölüm veriliyor. Bu bölümde, 14 gün içinde bildirilen hasarlı ürünlerin ücretsiz değiştirildiği ve müşterinin fotoğraf göndermesi gerektiği belirtiliyor. Müşteri hasarı 9. günde bildirmiş.

Talimat şöyledir: "Bir yanıt taslağı hazırlamak için onaylanmış yapay zeka asistanını kullanın. Yalnızca sağlanan politikayı kullanın. Araca ilettiğiniz isteğe müşterinin adresini veya sipariş numarasını eklemeyin. İsteğinizi, aracın taslağını, son yanıtınızı ve düzenlemelerinizi açıklayan iki veya üç cümleyi teslim edin."

Buradaki tuzak, genel amaçlı araçların çoğu zaman politikada yer almayan bir para iadesi seçeneği, teslimat tarihi veya iyi niyet amaçlı hediye çeki eklemesidir. Güçlü bir çalışma, ürün değişimiyle sınırlı kalır, fotoğraf ister, politikanın desteklemediği bir tarih vermez ve uydurulmuş tekliflerin neden çıkarıldığını açıklar. Zayıf bir çalışma ise aracın taslağını küçük düzenlemelerle gönderir. İkisi de iyi yazılmış görünebilir; ancak yalnızca birini göndermek güvenlidir.

Herkesin görebileceği bir puanlama kılavuzunda neler yer almalı?

Önceden görülebilen bir puanlama kılavuzu, çalışma teslim edilmeden önce ölçütleri belirtir ve her düzeyin nasıl göründüğünü açıklar. Bağlam, dayanaklar, bilginin işlenmesi ve kontrol kararları yararlı kategorilerdir. Açıklamasız bir puan vermek yerine, değerlendiren kişinin çalışmada ne aradığını açıklayın. Katılımcı, geri bildirimi okuduktan sonra neyi geliştirmesi gerektiğini anlayabilmelidir.

Aşağıdaki puanlama kılavuzu, Larchwood görevine uygundur. İçeriği değerlendirmeye yönelik bir yapıdır; psikometrik geçerlilik iddiası taşımaz ve geçerliliği doğrulanmış bir geçme puanı yoktur.

Çalışmayı yapay zeka mı, bir insan mı puanlamalı?

Ölçütler görünür olduğu ve puanlamaya itiraz edilebildiği sürece ikisi de yapabilir. İşi bilen bir insan en güvenilir değerlendiricidir, ancak yavaştır ve çok sayıda teslimi değerlendirirken tutarsız davranabilir. Bir puanlama kılavuzuna göre yapay zeka ile değerlendirme hızlıdır ve somut geri bildirim sağlayabilir. Ancak kendinden emin biçimde verilen bir puan doğruluğun kanıtı değildir; yapay zeka değerlendiricileri, alan uzmanının fark edeceği bağlamı gözden kaçırabilir.

Uygulanabilir bir orta yol; alıştırma görevlerinde yapay zeka geri bildirimi kullanmak, itiraz edilen puanlar için ikinci bir kontrol talep edilebilmesini sağlamak ve sonucun önemli etkileri olduğu durumlarda insan incelemesine başvurmaktır. Tosheo.ai için planlanan tasarım bu modele dayanır: görevler, görünür bir puanlama kılavuzuna göre yapay zeka tarafından puanlanır; katılımcıların inceleme talepleri ise bir inceleme kuyruğuna gönderilir. Bu akış planlanan kapsamı anlatır; uygulanmış bir puanlama sisteminin doğrulandığına dair kanıt değildir.

Değerlendiriciler arasında tutarlılık nasıl sağlanır?

Puanlamadan önce ortak bir değerlendirme anlayışı oluşturun. İki değerlendiriciden aynı üç veya dört örnek çalışmayı birbirlerinden bağımsız olarak puanlamalarını isteyin, farklı puan verdikleri noktaları karşılaştırın ve puanlama kılavuzundaki ifadelerin ne anlama geldiği konusunda anlaşın. Kararları her ölçütün yanına kısa notlar halinde yazın; örneğin "politika izin vermediği sürece iyi niyet jesti, uydurulmuş bir teklif sayılır".

Ara sıra küçük bir örneklemi ikinci bir kişiye inceleterek yeniden kontrol edin. NIST'in ölçüm rehberi, bağımsız incelemenin kurum içi yanlılığı azaltabileceğini belirtir. Küçük bir ekipte bu, kurucu ile kıdemli bir çalışma arkadaşının üç ayda bir aynı teslimlerden birkaçını ayrı ayrı incelemesi kadar basit olabilir.

Tekrarlanan denemeleri nasıl yorumlamalısınız?

İkinci bir deneme, kişinin o örnekle ilgili geri bildirimi anladığını gösterebilir. Görevi hatırlamak da bu denemede avantaj sağlayabilir. Daha genel bir çıkarım yapmadan önce yeni ama karşılaştırılabilir bir örnek kullanın; araçta, kaynak materyalde veya katılımcının yararlanabildiği destekte yapılan değişiklikleri kaydedin.

Bir puanın önemli sonuçları olduğu durumlarda değerlendirme sürecini incelenebilir kılın ve itiraz yolu sunun. Yapay zekanın ürettiği geri bildirimleri tartışmak faydalı olabilir, ancak bunlar önemli sonuçlar doğuran bir kararda son sözü söylememelidir.

Sonuçları nasıl raporlamalısınız?

Neyin, hangi koşullarda gözlemlendiğini ve nelerin hâlâ bilinmediğini raporlayın. Kısa ve tutarlı bir kayıt, tek bir puandan daha yararlıdır. Aşağıdaki şablon kişi veya iş rolü bazında kullanılabilir.

Beceri değerlendirmesi ile kullanım takibi arasındaki fark nedir?

Araç kullanımı ve katılım, bir yöneticinin programın kullanılıp kullanılmadığını anlamasına yardımcı olabilir. Ancak bunlar tek başına bir kişinin uygun kararlar verdiğini göstermez. Sık kullanılan bir araçla üretilen işleri kimse kontrol etmiyor olabilir; dikkatli bir katılımcı ise aracı yalnızca kapsamı dar, onaylanmış bir görev için kullanabilir.

Benimsenme durumunu iş örnekleri, politika soruları ve mevcut destekle birlikte değerlendirin. Hangi göstergelerin gözlemlendiğini, hangilerinin eksik olduğunu belirtin. Uygun bir yöntem ve bağlama dayalı kanıtlar olmadan oturum açma sıklığındaki bir değişikliği verimlilik iddiasına dönüştürmeyin.

Yöneticiler neleri görebilmeli?

Yöneticilerin çalışanları desteklemek için yeterli bilgiye ihtiyacı vardır: kişinin hangi becerileri gösterdiği, nerede zorlandığı ve ilerleyip ilerlemediği. Bir çalışanın yapay zeka aracıyla yaptığı her görüşmenin ham metnine nadiren ihtiyaç duyarlar. Bu kayıtları okumak gözetim hissi yaratır, çekinmeden pratik yapmayı zorlaştırır ve katılımcının paylaşmaması gereken bilgileri açığa çıkarabilir.

Nelerin görünür olacağını belirleyin ve herkes işe başlamadan önce bunu açıklayın. Tosheo.ai'nin planlanan yönetici paneli, tam da bu nedenle, ham sohbet kayıtlarını değil beceri gelişimini ve tamamlanma durumunu gösterecek şekilde tasarlanmıştır.

Bunun bir adayı değerlendirmekten farkı nedir?

Öğrenme ve işe alım farklı amaçlara hizmet eder. Bir eğitim görevi, mevcut bir çalışana hata yapma ve kendini geliştirme alanı sağlayabilir. Aday değerlendirmesi ise uygun insan incelemesini ve adaylar için açık bilgilendirmeyi içeren adil ve tanımlı bir işe alım sürecinin parçası olmalıdır. Aynı örnek, bağlam ve sonuçlar aynıymış gibi yeniden kullanılmamalı; bir eğitim sonucu da tasarlanma amacı dışında bir istihdam kararına dayanak yapılmamalıdır.

Ne zaman yapay zeka beceri değerlendirmesi yapmamalısınız?

Çalışanların onaylı bir araca erişimi ve temel bilgi kullanım kuralları olmadan değerlendirme yapmayın; beceriyi değil, erişimi ve kafa karışıklığını ölçmüş olursunuz. Bunu örtülü bir performans değerlendirmesi olarak yapmayın. Ayrıca bu sitedeki hazırlık öz değerlendirmesi dâhil, kişilerin kendi beyanlarına dayanan bir anketi insanları sıralamak, yeterlilik belgesi vermek veya istihdam kararları almak için kullanmayın.

Önemli sonuçlar doğuracak kararlar için geçerliliği doğrulanmış bir psikometrik araca ihtiyacınız varsa burada anlatılan yaklaşım bunu sağlamaz. Bu, öğrenme üzerine görüşmeler ve program planlaması için pratik bir yöntemdir. NIST'in bağlam ve sınırlamalar konusundaki rehberinden yararlanır; ancak bu rehber, burada açıklanan çalışan değerlendirme yaklaşımını onaylamaz veya geçerli kılmaz.

Bir yönetici bir sonraki adımda ne yapmalı?

İş rolüyle ilgili tek bir görev seçin, kısa bir puanlama kılavuzunu paylaşın ve görevi yapan kişiyle gerekçeleri gözden geçirin. Kaynağı, aracı ve koşulları kaydedin. Eldeki kanıtların neyi desteklediğine ve ne için başka bir örnek gerektiğine karar verin. Bu, öğrenme üzerine yararlı bir görüşme için pratik bir başlangıç noktasıdır.

Asıl soru ekibin uygulama yapmaya hazır olup olmadığıysa araç erişimi, bilgi paylaşım sınırları, inceleme standartları ve desteği kapsayan hazırlık kontrol listesiyle başlayın. Öz değerlendirme, bu konuşmayı başlatmaya yardımcı olabilir. Her ikisi de tartışmayı destekleyen araçlardır; görev performansının uygulamada gösterilmesinin yerini tutmaz.

Kaynaklar ve kapsam

NIST yapay zeka risk yönetimi çerçevesinin temel bölümü, kontrol tarihi: 16 October 2026 ↗

NIST yapay zeka risk yönetimi uygulama kılavuzu: Yönetişim, kontrol tarihi: 16 October 2026 ↗