Caratteristiche dei fattori: affidabilità dei fattori di rischio e prevedibilità delle valutazioni

Finora abbiamo ignorato gli stessi valutatori e la loro importanza per il processo di valutazione della performance. Mentre è stato indicato che i valutatori sono soggetti a numerosi tipi di "errori" nel formulare giudizi e che le scale di valutazione dovrebbero essere progettate per minimizzare questi errori, le caratteristiche dei singoli valutatori non sono state esaminate in merito al loro effetto sul processo di valutazione.

Affidabilità del valutatore e prevedibilità delle valutazioni:

Il problema delle caratteristiche dei valutatori ha ricevuto molta attenzione negli ultimi anni. Buckner (1959) ha esplorato la relazione tra quanto sono d'accordo i valutatori e il grado in cui si possono prevedere valutazioni con qualche altra variabile. Detto in altro modo, Buckner ha posto la domanda "Le valutazioni altamente affidabili implicano che ho un criterio che sarà più facile da prevedere?" La risposta si è rivelata negativa. Buckner ha diviso i suoi tassi in quattro gruppi, a seconda di quanto i giudici fossero d'accordo nell'assegnare i loro voti.

Gruppo 1: i giudici erano molto d'accordo su questi tassi

Gruppo 2: i giudici erano in moderato accordo su questi tassi

Gruppo 3: i giudici erano in basso accordo su questi tassi

Gruppo 4: i giudici erano in accordo zero su questi tassi

Quindi ha proceduto a convalidare due test correlando i risultati del test con il punteggio - questo è stato fatto separatamente per ciascun gruppo. Non trovò alcuna relazione sistematica tra la dimensione delle sue validità ottenute come una funzione del gruppo con cui stava lavorando. Windle e Dingman (1960) criticarono l'interpretazione di Buckner e fecero un secondo studio in cui trovarono i risultati riportati nella Tabella 7.4.

Notare le grandezze relative dei coefficienti di validità mostrati nella Tabella 7.4. Più affidabili sono i valutatori più alte sono le validità. Allo stesso modo, più affidabili sono le valutazioni, maggiore è la validità.

Pertanto, si potrebbe logicamente aspettarsi risultati più simili a quelli di Windle e Dingman rispetto a quelli di Buckner. Tuttavia, si deve anche tenere presente che l'alta affidabilità è solo una condizione necessaria per le alte valenze, non è una condizione sufficiente.

Wiley, in una serie di studi, ha esaminato la coerenza dei giudizi dei valutatori nel tempo rispetto a quanto siano d'accordo con i giudizi precedenti dello stesso valutatore (Wiley 1963, Wiley e Jenkins, 1963) e quanto siano d'accordo con un gruppo composito valutazione (Wiley and Jenkins, 1964). In generale, i valutatori sono risultati essere coerenti nelle loro valutazioni fino ad un periodo di tempo di dieci mesi.

Inoltre, ha scoperto che i valutatori che hanno concordato a stretto contatto con il gruppo composito in un compito di valutazione iniziale sono stati anche i valutatori che hanno concordato più strettamente con il gruppo composito su un compito di rating diverso un mese più tardi. Suggerisce che questa conoscenza può essere utilizzata per selezionare i valutatori che sono veramente rappresentativi del consenso medio di un gruppo più ampio di valutatori.

Sfortunatamente, il problema se i raters siano o meno d'accordo con il gruppo composito sono i migliori valutatori da sollecitare non è stato determinato da solo. Tuttavia, è logico pensare che se è possibile ottenere una valutazione composita utilizzando un numero limitato di raters che approssimeranno il composito ottenuto utilizzando un numero maggiore, si può sicuramente risparmiare tempo e denaro.

Numerose altre caratteristiche dei valutatori hanno avuto un ruolo nelle valutazioni delle prestazioni ottenute dalle valutazioni. Christal e Madden (1960) hanno dimostrato che una considerazione importante è il grado in cui un valutatore ha familiarità con l'occupazione che sta valutando, una scoperta supportata da ulteriori studi di Madden (1960a 1961). Allo stesso modo, Wiley, Harber e Giorgia (1959a, 1959b) hanno dimostrato che l'influenza delle tendenze generalizzate dei valutatori è evidente nei loro effetti sulle valutazioni.

Formato della scala di valutazione e giudizio di valutazione delle prestazioni:

Madden ha riportato una serie di studi che riguardano l'influenza della scala di valutazione stessa. In uno studio (Madden, 1960b), ha rilevato che l'affidabilità del rating e la facilità di valutazione non erano influenzate dall'uso o dalla mancanza di uso di esempi nella definizione della scala di valutazione, ma che se la scala fosse definita in contrapposizione a non definita influenzare l'affidabilità e la facilità d'uso.

In un successivo studio, Madden e Bourdon (1964) hanno studiato l'effetto di sette diversi formati di scala di valutazione sulle valutazioni di 15 diverse occupazioni su 9 diversi fattori di lavoro. I risultati, anche se di natura piuttosto complicata, indicavano chiaramente che la valutazione assegnata a una professione dipendeva sia dal fattore lavoro in questione sia dal particolare formato di scala di valutazione utilizzato.