우리 팀의 AI 활용 역량을 평가하는 방법

AI 역량이란 무엇을 의미합니까?

평가에서 말하는 AI 역량은 특정 과제에서 확인할 수 있는 행동입니다. 적절한 출처를 제공하거나, 근거 없는 주장을 찾아내거나, 최종 수정 내용을 설명하는 것은 누군가 AI를 잘한다고 말하는 것보다 구체적입니다. 검토자가 증거가 실제로 무엇에 관한 것인지 알 수 있도록 직무, 도구, 조건을 명시합니다.

포괄적인 평가 항목은 서로 다른 능력을 가릴 수 있습니다. 명확한 프롬프트를 작성하면서도 인용 출처를 확인하지 못할 수 있고, 계산은 확인하면서도 근거 없는 원인 설명은 그대로 받아들일 수 있습니다. 이런 관찰 내용을 곧바로 하나의 종합 점수로 축약하지 말고 따로 구분해야 합니다. AI 역량 가이드는 대부분의 지식 업무에 필요한 일곱 가지 실무 역량을 설명합니다. 평가에서는 해당 과제가 그중 어떤 역량을 확인하려는 것인지 명시해야 합니다.

평가의 목적은 무엇입니까?

평가의 목적에 따라 결과의 무게가 달라지므로, 무엇이든 설계하기 전에 목적부터 정합니다. 학습 평가는 다음에 무엇을 연습할지 찾도록 돕는 것이며, 틀려도 괜찮다고 느낄 수 있어야 합니다. 준비도 점검은 관리자가 교육 프로그램을 어디서 시작할지 결정하도록 돕습니다. 인증 평가는 정해진 과제에서 정해진 기준을 충족했다는 사실을 다른 사람에게 제시할 근거가 됩니다. 채용은 별개의 경우이며, 아래에서 다룹니다.

대부분의 문제는 목적을 혼동할 때 발생합니다. 직원들이 사전 진단 결과가 인사 평가에 반영될 것이라고 생각하면 안전한 답만 고르거나 도구를 피하거나 동료에게 도움을 요청하게 됩니다. 그러면 결과에서 얻을 수 있는 정보가 거의 없습니다. 결과를 어디에 사용할지, 누가 볼지, 결과 때문에 어떤 일이 일어나지는 않을지를 직원들에게 알려야 합니다.

어떤 신호를 구분해서 봐야 합니까?

자신감, 수료 여부, 실제로 보여 준 작업 결과는 서로 다른 질문에 답합니다. 자기 평가는 본인이 어떻게 느끼는지 알려 줍니다. 수료 기록은 교육 과정의 특정 단계에 도달했음을 알려 줍니다. 실습 과제는 특정 조건에서 어떤 판단을 내리는지 보여 줄 기회를 제공합니다. 어느 하나도 설명 없이 다른 것을 대신해서는 안 됩니다.

유용한 평가 보고서는 평가 방법과 그 한계를 명시합니다. 학습자가 가상의 초안 작성 과제 하나를 완료했다면 그대로 적어야 합니다. 기밀을 다루거나 중대한 결과를 초래할 수 있는 모든 업무를 안전하게 처리할 수 있다는 인상을 주어서는 안 됩니다. NIST의 AI 위험 관리 프레임워크도 AI 시스템 자체에 대해 비슷한 점을 강조하며, 시험 조건을 넘어 결과를 일반화할 때의 한계를 문서화하도록 요구합니다. 사람을 평가할 때도 같은 원칙을 적용해야 합니다.

실습 과제는 어떻게 선택합니까?

직무와 관련된 업무를 선택하고 답변을 판단할 수 있도록 충분한 원본 자료를 제공합니다. 마케팅 담당자는 가상의 캠페인 이메일을 수정할 수 있습니다. 인사 담당자는 직무 개요를 기준으로 면접 질문을 개선할 수 있습니다. 재무 담당자는 근거가 없는 원인은 미확인 상태로 두면서 작은 표를 설명할 수 있습니다. 고객 지원 담당자는 제공된 정책 발췌문을 활용해 고객 질문에 답할 수 있습니다.

안전하게 연습할 수 있는 과제로 만듭니다. 가상 정보나 사용이 승인된 정보를 활용하고, 첫 연습에서는 실제 사람이나 금전, 고객과의 소통에 관한 결정을 피합니다. 목표는 결과물을 살펴보는 것이지, 역량을 측정하려다가 실제 영향을 미치는 자동화된 결정을 내리는 것이 아닙니다.

좋은 과제에는 실무에서 문제가 될 만한 함정이 있습니다. 도구가 지어낼 가능성이 있는 정책 세부 사항이나 다시 계산해야 하는 수치처럼, 학습자가 발견해야 할 현실적인 문제를 하나 심어 둡니다. 오류가 발생할 여지가 없는 과제는 도구를 조작할 줄 아는지만 평가합니다.

완전한 평가 과제는 어떻게 구성됩니까?

가상의 가구 소매업체 라치우드 홈의 고객 지원 직무를 위한 전체 예시입니다. 학습자는 쿠션이 찢어진 채 배송된 소파를 교환할 수 있는지 묻는 고객 이메일과 정책 발췌문을 받습니다. 정책에는 14일 이내에 신고한 파손 상품은 무료로 교환하며 고객이 사진을 보내야 한다고 명시되어 있습니다. 고객은 9일째 되는 날 파손을 신고했습니다.

지시문은 다음과 같습니다. "승인된 AI 도우미로 답장 초안을 작성하세요. 제공된 정책만 사용하세요. 도구에 요청할 때 고객의 주소나 주문 번호를 넣지 마세요. 도구에 보낸 요청, 도구가 작성한 초안, 최종 답장, 수정 사항을 설명하는 두세 문장을 제출하세요."

주의할 점은 범용 도구가 정책에 없는 환불 선택지, 배송일 또는 고객 배려용 상품권을 덧붙이는 경우가 많다는 것입니다. 잘 작성한 제출물은 교환만 안내하고, 사진을 요청하며, 정책에 근거가 없는 날짜를 제시하지 않고, 임의로 만들어 낸 제안을 삭제한 이유를 설명합니다. 미흡한 제출물은 도구의 초안을 조금만 수정해 보냅니다. 둘 다 읽기에는 자연스러울 수 있지만, 안전하게 보낼 수 있는 것은 하나뿐입니다.

공개된 평가 기준표에는 무엇이 포함되어야 합니까?

공개된 채점 기준표는 제출 전에 기준을 제시하고 각 수준에 해당하는 결과물이 어떤 모습인지 설명합니다. 유용한 평가 항목으로는 맥락, 근거, 정보 처리, 검토 과정의 판단이 있습니다. 설명 없이 점수만 붙이지 말고 검토자가 결과물에서 무엇을 보는지 설명해야 합니다. 학습자는 피드백을 읽은 뒤 무엇을 개선해야 하는지 이해할 수 있어야 합니다.

아래 채점 기준표는 라치우드 과제에 맞춰져 있습니다. 콘텐츠 검토를 위한 평가 체계이며, 심리측정학적 타당성이 검증되었다는 주장이 아닙니다. 검증된 합격 기준 점수도 없습니다.

과제는 AI와 사람 중 누가 채점해야 합니까?

기준이 공개되어 있고 채점에 이의를 제기할 수 있다면 둘 다 가능합니다. 해당 업무를 아는 사람이 가장 믿을 만한 검토자이지만, 검토 속도가 느리고 제출물이 많아지면 일관성이 떨어질 수 있습니다. 채점 기준에 따른 AI 평가는 빠르고 구체적인 피드백을 줄 수 있습니다. 하지만 확신에 찬 점수라고 해서 정확성이 입증되는 것은 아니며, AI 평가자는 해당 분야 전문가라면 알아볼 맥락을 놓칠 수 있습니다.

실용적인 절충안은 연습 과제에는 AI 피드백을 제공하고, 이의가 있는 점수는 재검토를 요청할 수 있게 하며, 결과가 실제 영향을 미치는 경우에는 사람이 검토하는 방식입니다. Tosheo.ai의 설계 계획도 이 방식을 따릅니다. 공개된 채점 기준표에 따라 AI가 과제를 채점하고, 학습자가 검토를 요청하면 검토 대기열로 보냅니다. 이는 계획된 기능 범위이지, 구현된 채점 도구의 타당성이 검증되었다는 증거는 아닙니다.

검토자 간 평가의 일관성은 어떻게 유지합니까?

채점하기 전에 평가 기준을 조율합니다. 두 명의 검토자에게 동일한 제출물 예시 세 개나 네 개를 각자 채점하도록 요청한 뒤, 점수가 달랐던 부분을 비교하고 채점 기준 문구의 의미에 합의합니다. 각 기준 옆에 결정 사항을 짧게 기록합니다. 예를 들어 "정책에서 허용하지 않는 한, 호의로 제공하는 혜택은 임의로 지어낸 제안으로 간주합니다"라고 적습니다.

가끔 다른 사람이 소량의 표본을 검토하도록 하여 다시 확인합니다. NIST의 측정 지침은 독립적인 검토가 내부 편향을 줄일 수 있다고 설명합니다. 소규모 팀에서는 창업자와 선임 동료가 분기마다 동일한 제출물 몇 개를 각각 검토하는 정도일 수 있습니다.

반복 시도를 어떻게 해석해야 합니까?

두 번째 시도를 통해 해당 사례에 대한 피드백을 이해했는지 확인할 수 있습니다. 다만 과제를 기억한 덕분에 더 잘했을 수도 있습니다. 더 폭넓은 결론을 내리기 전에 새롭지만 비슷한 수준의 사례를 사용하고, 도구, 원본 자료 또는 학습자에게 제공된 지원에 변화가 있었다면 기록합니다.

점수가 중요한 경우에는 검토 과정을 확인할 수 있게 하고 이의를 제기할 수 있는 방법을 마련해야 합니다. AI가 생성한 피드백은 논의에 도움이 될 수 있지만, 중요한 결과를 최종적으로 결정하는 근거가 되어서는 안 됩니다.

결과는 어떻게 보고해야 합니까?

무엇을 어떤 조건에서 관찰했는지, 아직 알 수 없는 것은 무엇인지 보고합니다. 짧더라도 일관된 기록이 단일 점수보다 유용합니다. 아래 양식은 개인별 또는 직무별로 사용할 수 있습니다.

역량 평가와 도입 현황 추적은 어떻게 다릅니까?

도구 사용 현황과 참여도는 관리자가 교육 프로그램이 실제로 이용되고 있는지 파악하는 데 도움이 됩니다. 하지만 이것만으로는 직원이 적절한 판단을 내리고 있는지 알 수 없습니다. 자주 사용하는 도구로 만든 결과물을 아무도 검토하지 않을 수도 있고, 신중한 학습자는 승인된 제한적인 작업에만 도구를 사용할 수도 있습니다.

실제 활용 현황을 업무 결과물, 정책 관련 질문, 이용 가능한 지원과 함께 검토합니다. 어떤 지표가 관찰되었고 어떤 지표가 빠져 있는지 명시합니다. 적절한 분석 방법과 맥락을 뒷받침하는 근거 없이 로그인 빈도의 변화를 생산성 향상으로 주장하지 않습니다.

관리자가 확인할 수 있어야 하는 정보는 무엇입니까?

관리자에게는 직원을 지원하는 데 필요한 정보면 충분합니다. 어떤 역량을 보여 주었는지, 어디서 막히는지, 발전하고 있는지를 알면 됩니다. 직원이 AI 도구와 나눈 모든 대화의 원문까지 필요한 경우는 드뭅니다. 이런 기록을 읽는 것은 감시처럼 느껴지고, 솔직하게 실습하는 것을 꺼리게 하며, 학습자가 공유하지 말았어야 할 정보까지 노출할 수 있습니다.

누가 어떤 정보를 볼 수 있는지 정하고, 시작 전에 모두에게 알립니다. Tosheo.ai가 계획 중인 관리자 대시보드는 바로 이런 이유로 대화 원문 기록이 아닌 역량 향상과 학습 완료 현황을 보여주도록 설계되었습니다.

이것은 채용 지원자 평가와 어떻게 다릅니까?

교육과 채용은 목적이 다릅니다. 교육 과제는 재직자가 실수하고 개선할 수 있는 여지를 제공합니다. 지원자 평가는 적절한 사람의 검토와 지원자에 대한 명확한 안내를 포함하는 공정하고 명확하게 정해진 채용 절차 안에서 이루어져야 합니다. 맥락과 결과가 동일한 것처럼 같은 예시를 재사용해서는 안 되며, 교육 결과를 본래 설계 목적에 없는 고용 관련 결정에 사용해서는 안 됩니다.

AI 역량 평가를 실시하지 말아야 하는 경우는 언제입니까?

구성원에게 승인된 도구와 기본적인 정보 취급 규칙이 제공되기 전에는 평가를 실시하지 않아야 합니다. 그렇지 않으면 역량이 아니라 도구 접근성과 혼란을 측정하게 됩니다. 인사평가를 다른 이름으로 포장해 실시해서도 안 됩니다. 또한 이 사이트의 준비도 자가 점검을 포함한 자기 보고식 설문을 구성원의 순위를 매기거나, 자격을 부여하거나, 고용 관련 결정을 내리는 데 사용하지 않아야 합니다.

중요한 결정에 사용할 검증된 심리측정 도구가 필요하다면, 여기서 설명하는 접근법은 그에 해당하지 않습니다. 이는 학습 관련 대화와 프로그램 기획을 위한 실용적인 방법으로, 맥락과 한계에 관한 NIST 지침을 참고했습니다. 해당 지침은 이 직원 평가 접근법을 지지하거나 검증하지 않습니다.

관리자는 다음으로 무엇을 해야 합니까?

직무와 관련된 업무 하나를 선택하고, 간단한 채점 기준표를 공개한 뒤, 학습자와 함께 판단 과정을 검토합니다. 출처, 도구, 수행 조건을 기록합니다. 증거로 뒷받침되는 부분과 추가 사례가 필요한 부분을 판단합니다. 이것이 유익한 학습 대화를 시작하는 실용적인 방법입니다.

더 근본적인 질문이 팀이 실습을 시작할 준비가 되어 있는지라면, 도구 접근 권한, 정보 사용 범위, 검토 기준, 지원을 다루는 준비도 점검표부터 살펴보는 것이 좋습니다. 자가 점검은 이에 관한 대화를 시작하는 데 도움이 될 수 있습니다. 둘 다 논의를 돕는 도구일 뿐, 실제 과제 수행으로 역량을 입증하는 것을 대신하지는 못합니다.

출처와 범위

NIST AI RMF 핵심 구성, 확인일 16 October 2026 ↗

NIST AI RMF 실행 지침: 거버넌스, 확인일 16 October 2026 ↗