Neden ölçemiyoruz?
Eğitim yöneticilerinin en sık duyduğu soru şudur: “Bu eğitimin bize getirisi ne oldu?” En sık verilen cevap da şudur: “Katılımcılar çok memnun kaldı.” Bu cevap soruyu cevaplamaz; ama çoğu zaman elde olan tek veridir.
Ölçememenin nedeni çoğu zaman ölçüm aracının eksikliği değil, ölçümün programın sonuna bırakılmasıdır. Program bittikten sonra “ne değişti?” diye sorulduğunda, değişimi karşılaştıracak bir başlangıç yoktur, davranışı gösterecek bir kanıt toplanmamıştır ve iş göstergesindeki hareketi açıklayacak bir karşılaştırma yoktur.
Etki sonradan ölçülmez; baştan tasarlanır.
Dört katman
Eğitim değerlendirmesinin en yaygın ortak dili, Donald Kirkpatrick’in 1950’lerin sonunda tanımladığı ve 1959’da yayımladığı makale dizisiyle yaygınlaşan dört düzeydir. Bu sitede bu düzeyler dört ölçüm katmanı olarak kullanılır:
| Katman | Sorusu | Ne zaman? | Nasıl? |
|---|---|---|---|
| Reaksiyon | Katılımcı deneyimi nasıl buldu? | Her oturumun sonunda | Kısa anket · 3–5 soru |
| Öğrenme | Ne öğrendi, neyi yapabiliyor? | T0 ve atölye sonrası | Ön/son test · senaryo · gözlem |
| Davranış | Sahada ne değişti? | Program boyunca ve T1’de | Saha görevi · yönetici onayı · 360° |
| İş Etkisi | İş sonucunda ne değişti? | T0, T1 ve 3 ay sonra | İş göstergesi · karşılaştırma grubu |
Katmanlar bir merdivendir ama bir zincir değildir. Yüksek reaksiyon öğrenmeyi, öğrenme davranışı, davranış da iş etkisini kendiliğinden getirmez. Her katman kendi kanıtını ister.
Kirkpatrick modelinin güncellenmiş yorumu (James ve Wendy Kayser Kirkpatrick’in 2016’da yayımladığı Kirkpatrick’s Four Levels of Training Evaluation ile anlatılan “New World” yaklaşımı) özellikle bir noktayı vurgular: planlama sondan başa yapılmalıdır. Önce hangi iş sonucunun hedeflendiği, sonra bunun için sahada hangi davranışın gerektiği, en son da hangi öğrenmenin ve deneyimin bu davranışı destekleyeceği belirlenir.
Beşinci düzey: ROI ve izolasyon
Jack Phillips’in geliştirdiği ROI Metodolojisi, dört düzeye beşinci düzey olarak yatırım getirisini ekler. Hesap basittir: net program faydası, program maliyetine bölünür. Zor olan iki önceki adımdır:
- İzolasyon: İş göstergesindeki değişimin ne kadarının programdan, ne kadarının pazar koşullarından, yeni bir üründen ya da mevsimsellikten geldiğini ayırmak.
- Parasal değere çevirme: Davranıştaki ve iş göstergesindeki değişimi para cinsinden ifade etmek.
Bu iki adım emek ister. Bu yüzden ROI çalışması her program için değil, büyük bütçeli, stratejik ve yönetim kurulunun gündeminde olan programlar için önerilir. Diğer programlar için dört katmanın tutarlı ölçümü çoğu zaman yeterli ve daha inandırıcıdır.
Başarı Vakası Yöntemi: sayının arkasındaki hikâye
Robert Brinkerhoff’un 2003’te kitaplaştırdığı Başarı Vakası Yöntemi (Success Case Method) farklı bir yol izler. Ortalamaya bakmak yerine uçlara bakar: kısa bir anketle programı en başarılı ve en başarısız uygulayan katılımcılar bulunur, sonra bu kişilerle görüşmeler yapılır.
İki soru cevaplanır: Başarılı olanlar programı nasıl kullandı ve bu işe ne kattı? Başarısız olanların önünde hangi engeller vardı? Cevaplar çoğu zaman programın içinde değil, etrafındaki sistemde çıkar: yönetici desteği, uygulama fırsatı, çatışan hedefler.
Yöntemin gücü hızı ve anlaşılırlığıdır. Yönetim ekibine bir ortalama yerine somut bir başarı hikâyesi ve somut bir engel listesi sunar.
Etkiyi göstermenin üç koşulu
1. Başlangıç ölçümü (T0). Programdan önce hedef davranışların ve iş göstergesinin değeri kaydedilir. T0/T1 ölçümü olmadan program sonundaki her değer yalnızca bir fotoğraftır.
2. Davranış kanıtı. Program boyunca saha görevlerinin kanıtları ve yönetici onayları toplanır. Bu, “katılımcılar öğrendiklerini uyguladı” cümlesini bir izlenimden bir veriye dönüştürür. Ayrıntısı saha görevleri bölümünde.
3. Karşılaştırma. İş göstergesindeki değişimi okumak için mümkünse bir karşılaştırma grubu kullanılır: programa henüz katılmamış benzer bir ekip, bölge ya da şube. Program kohortlar hâlinde yürüyorsa, sonraki kohortlar doğal bir karşılaştırma grubudur.
Kendi programınız için. Etki Ölçüm Planlayıcı programınız için dört katmanlı bir ölçüm planı çıkarır: her katmanın sorusu, aracı, zamanı ve sahibi; T0 ve T1 takvimi ve Uygulanmış Öğrenme Oranı hedefi.
Kuzey yıldızı: Uygulanmış Öğrenme Oranı
Dört katman arasında hibrit programlar için en kritik olanı davranıştır; çünkü iş etkisine giden yol oradan geçer ve öğrenme ekibinin doğrudan etkileyebildiği son halkadır. Bu yüzden bu sitede davranış katmanının tek sayılık özeti, programın kuzey yıldızı metriği olarak kullanılır:
| Metrik | Tanım | Formül |
|---|---|---|
| Uygulanmış Öğrenme Oranı | Planlanan saha görevlerinden, katılımcının uygulayıp kanıtını paylaştığı ve yöneticisinin onayladığı görevlerin oranı | Onaylanan saha görevi ÷ planlanan saha görevi |
Tamamlanma oranı içeriğin tüketildiğini, memnuniyet oranı deneyimin beğenildiğini gösterir. Uygulanmış Öğrenme Oranı ise öğrenilenin sahaya ulaştığını gösterir.
Beş ölçüm tuzağı
- Yalnızca memnuniyet. En kolay ölçülen katman, en az şey söyleyendir.
- Sonda tek ölçüm. Başlangıç olmadan değişim gösterilemez.
- Öz değerlendirmeye aşırı güven. Katılımcının kendini değerlendirmesi değerlidir ama tek kaynak olmamalıdır; yönetici gözlemi ve iş verisiyle birlikte okunmalıdır.
- Her değişimi programa yazmak. İş göstergesi pek çok nedenle değişir. Karşılaştırma ve izolasyon olmadan yapılan sahiplenme, bir sonraki dönemde güveni zedeler.
- Metriği hedefe çevirmek. Bir oran hedef olduğunda, oranı yükseltmenin kolay yolları bulunur. Kanıtın kalitesini düzenli olarak örneklem üzerinden kontrol edin.