AI 교육의 측정 방법을 간단히 설명하면 무엇입니까?

세 단계로 순서대로 측정합니다. 직원이 기준에 맞게 업무를 수행할 수 있는지, 실제 업무에서도 그렇게 하는지, 사업에서 중요하게 여기는 지표가 달라졌는지 확인합니다. 이수율과 만족도도 기록할 가치는 있지만, 이는 직원들이 참여했고 만족했다는 것을 보여 줄 뿐 학습했다는 증거는 아닙니다.

이는 널리 사용되는 커크패트릭 모형과 같은 구조입니다. 이 모형의 4단계는 반응, 학습, 행동, 결과입니다. 모형 자체의 정의에 따르면 3단계는 사람들이 자신의 환경에서 핵심 행동을 수행하는 정도이며, 4단계는 목표로 한 조직 성과가 발생하는 정도입니다. AI 교육에서 유용한 근거는 대개 2단계와 3단계에서 확인할 수 있습니다.

먼저 결정하기

교육을 시작하기 전에 업무와 기준을 명시합니다.

기준선

각 직원에게 해당 기준에 맞는 짧은 업무 결과물을 제출받습니다.

새로 재평가

교육 후에는 같은 과제가 아니라, 수준은 비슷하되 새로운 과제를 사용합니다.

사용 관찰

AI의 도움을 받아 작성하고 검토까지 마친 결과물이 실제 업무에 쓰이고 있는지 살펴봅니다.

신중하게 추정하기

사업상 효과는 관찰할 수 있는 경우에만 측정 방법과 함께 보고합니다.

업무 결과물을 평가하는 좋은 기준은 어떤 모습입니까?

좋은 기준은 다른 사람이 적용해도 같은 판단에 도달할 수 있는 간단한 채점 기준표입니다. AI를 활용한 고객 답변이라면 제공된 사실만 사용하는지, 고객이 실제로 물은 내용에 답하는지, 회사의 어조에 맞는지, 불확실한 내용을 표시하는지, 발송 전에 수정해야 할 내용이 없는지 등을 포함할 수 있습니다.

각 항목을 충족, 부분 충족, 미충족처럼 간단하게 평가하고 검토자의 의견을 보관합니다. 의견은 다음에 무엇을 연습해야 하는지 보여주므로 점수보다 더 유용한 경우가 많습니다.

도입 전후 비교는 어떤 모습입니까?

가상의 15인 온라인 소매업체인 펀힐 아웃도어스는 고객 지원 담당자 네 명에게 교육을 실시했습니다. 교육 전에는 각자 ChatGPT를 사용해 예시 불만 사항에 대한 답변 초안을 작성했습니다. 초안은 대체로 정중했지만 환불 정책의 세부 내용을 지어냈고, 배송일에 관한 고객의 질문을 놓쳤습니다.

4주 후, 각 상담원은 동일한 평가 기준표에 따라 서로 다른 불만에 대한 답변 초안을 작성했습니다. 고객지원 책임자는 충족한 항목을 기록했으며, 이제는 초안 4개 중 3개가 배송일을 지어내는 대신 확실하지 않다고 표시했다는 점을 확인했습니다. 이는 4명이 한 가지 업무에서 학습했다는 근거입니다. 고객지원이 더 빨라졌거나 고객 만족도가 높아졌다는 증거는 아니며, 페이지에서도 그렇게 주장해서는 안 됩니다.

이 내용이 직무와 어떻게 연결되는지 궁금하십니까?

제공 예정인 팀 체험 프로그램 살펴보기 ↗

배운 역량을 실제 업무에 활용하는지 어떻게 확인합니까?

사용 여부를 묻기보다는 평소 업무에서 실제 행동을 살펴봅니다. 공유 폴더에 검토를 마친 AI 활용 초안이 있는지, 교육에서 개선하려던 유형의 수정 사항이 줄었다고 관리자가 느끼는지, 사람들이 행동에 옮기기 전에 정보 사용 범위에 대해 질문하는지 등이 유용한 신호입니다.

도구 사용 보고서는 도구 이용 여부를 파악하는 데 도움이 됩니다. 예를 들어 Microsoft의 Copilot 사용 보고서는 활성 사용자와 마지막 활동 날짜를 보여줍니다. 활동 기록은 도구를 사용했다는 사실을 보여줄 뿐, 잘 사용했다는 뜻은 아니므로 실제 업무 결과물 검토와 함께 활용해야 합니다.

AI 교육의 투자 수익률을 계산할 수 있습니까?

추정할 수는 있지만, 어떤 주장을 하는지 주의해야 합니다. 직원이 보고한 시간 절감은 체감이지 측정값이 아닙니다. 결과가 중요하다면 도입 전후에 비교 가능한 과제의 소요 시간을 측정하거나, 검토를 거친 결과물의 품질을 비교하고, 추정에 포함된 인원과 과제 수를 기록해야 합니다.

학습 시간과 검토 시간을 포함해 비용도 빠짐없이 계산합니다. 많은 소규모 팀에서는 단일 투자 수익률 수치보다 검토를 마친 업무 결과물 모음과 사람들이 계속 따르는 업무 방식이 더 명확한 근거가 됩니다. 이는 지속 여부를 결정하는 타당한 근거입니다.

Tosheo.ai는 어디에 적합합니까?

Tosheo.ai는 모든 수업이 공개된 채점 기준에 따라 평가하는 과제로 마무리되고, 구체적인 피드백을 제공하도록 기획하고 있습니다. 학습자는 동의하지 않는 점수에 대해 검토를 요청할 수 있습니다. 관리자는 학습의 근거가 되는 직무별 역량 향상 정도를 확인하도록 할 계획입니다. 다만 사업 성과를 대신 측정해 주지는 못합니다.

Tosheo.ai가 해답이 아닌 경우는 언제입니까?

자금 제공자나 이사회를 위해 대조군이나 감사를 거친 수치가 포함된 공식 평가가 필요하다면 평가 전문가가 필요합니다. 주로 도구 라이선스와 사용 활동을 추적해야 한다면 도구 제공업체의 관리자 보고서로 처리할 수 있습니다. Tosheo.ai는 출시 시 LMS와 연동되지 않습니다.

출처와 범위

커크패트릭 파트너스, 커크패트릭 모형, 2026년 10월 16일 확인 ↗

Microsoft Learn, Microsoft Copilot 사용 현황 보고서, 14 July 2026 ↗