AI研修の効果を測る方法を簡単に教えてもらえますか？
三つの段階を順に測定してください。まず、基準を満たす水準で業務を行えるか、次に、実務で実行しているか、最後に、事業上重要な点に変化があったかを確認します。修了率や満足度も記録する価値はありますが、それらが示すのは参加して好意的に受け止めたことであり、学習したことではありません。
これは、広く使われているカークパトリックモデルに沿っています。このモデルの4段階は、反応、学習、行動、成果です。モデル自体の定義では、レベル3は実際の環境で重要な行動をどの程度実行しているか、レベル4は目標とする組織の成果がどの程度生じているかを示します。AI研修では、有用な根拠が得られるのは通常、レベル2と3です。
先に決める
研修が始まる前に、対象の業務と基準を明確にしてください。
開始時点の基準
その基準に照らして評価できる短い業務サンプルを、各自から集めます。
条件をリセットして再テストします
研修後は、同じタスクを繰り返すのではなく、同程度の新しいタスクを使います。
利用状況を観察する
AIを使って作成し、確認を済ませた成果物が、実際の業務で使われているかを確認します。
慎重に見積もる
業務への効果は、実際に確認できたものだけを、確認方法とともに報告します。
業務成果物の適切な評価基準は、具体的にどのようなものですか？
適切な基準とは、別の人が適用しても同じ評価に至る、簡潔な採点基準です。AIを使って作成する顧客への返信であれば、提示された事実だけを使っているか、顧客が実際に尋ねていることに答えているか、自社の文体に合っているか、不確かな点を明示しているか、送信前に修正すべき内容がないか、といった項目が考えられます。
各項目は、達成、一部達成、未達成などの簡単な区分で評価し、確認担当者のコメントを残してください。コメントは、次に何を練習すべきかが分かるため、点数より役立つことがよくあります。
実施前と実施後の比較は、具体的にどのようなものですか？
ファーンヒル・アウトドアーズは、従業員15人の架空のオンライン小売業者で、サポート担当者4人に研修を実施しました。研修前に、各担当者はChatGPTを使って、サンプルの苦情への返信案を作成しました。よく見られた返信案は丁寧でしたが、返金規定にない詳細を作り上げ、配達日に関する顧客の質問を見落としていました。
4週間後、各担当者は同じ採点基準に沿って、それぞれ異なる苦情への返信案を作成しました。サポート責任者は、どの基準を満たしたかを記録し、4件のうち3件の返信案では、配送日を作り上げるのではなく、配送日が不確かであることを明示するようになったと記しました。これは、4人が1つのタスクについて学習した証拠です。サポートの迅速化や顧客満足度の向上を証明するものではなく、ページでもそのように主張すべきではありません。
職種とのつながりを確認してみませんか？
計画中のチーム向けトライアルを見る ↗学んだスキルが実務で使われているかどうかは、どうすればわかりますか？
使っているかどうかを尋ねるのではなく、普段の仕事での行動を見ます。共有フォルダーに確認済みのAI支援による下書きがある、研修で対象とした種類の修正が減ったと管理職が感じている、行動する前に情報の取り扱い範囲について質問が出る、といったことが有用な兆候です。
ツールの利用レポートは、利用の有無を把握するのに役立ちます。例えば、MicrosoftのCopilot利用レポートでは、アクティブユーザーと最終利用日を確認できます。利用履歴が示すのは、ツールが使われたという事実であり、適切に使われたかどうかではありません。そのため、実際の成果物の確認と組み合わせてください。
AI研修の投資対効果を計算できますか？
推定はできますが、何を主張するかには注意が必要です。従業員が報告する時間短縮は実感であって、測定結果ではありません。結果が重要であれば、導入前後で同等の作業にかかる時間を測るか、確認済みの成果物の品質を比較し、推定の対象人数と作業数を記録してください。
受講者の作業時間やレビュー時間も含め、コストも正直に計上してください。多くの小規模チームでは、単一の投資収益率の数値よりも、レビュー済みの成果物と、継続して使われている業務手順のほうが、明確な判断材料になります。継続するかどうかを決めるうえで、それは確かな根拠になります。
Tosheo.aiはどのような場面に適していますか？
Tosheo.aiは、すべてのレッスンが、明示された採点基準に沿って採点され、具体的なフィードバックが得られる課題で終わるように構築を進めています。受講者は納得できない点数について再確認を依頼できます。管理者には職種別のスキルの進捗を表示する予定で、これが学習の証拠になります。事業成果を代わりに測定することはできません。
Tosheo.aiでは解決できないのは、どのような場合ですか？
資金提供者や取締役会に提出するため、対照群や監査済みの数値を用いた正式な評価が必要な場合は、評価の専門家が必要です。主な目的がツールのライセンスや利用状況の把握であれば、提供元の管理者向けレポートで対応できます。Tosheo.aiは提供開始時点ではLMSと連携しません。