Un approccio basato sulla teoria decisionale sul predittore e sul criterio delle industrie

Il problema della selezione può essere visto da una prospettiva leggermente diversa da quella usata. Questo secondo approccio si rivela interessante in quanto scopriremo che la validità del predittore potrebbe non essere una variabile tanto importante nella selezione, come il punto di vista tradizionale lo dimostra. La nostra nuova prospettiva è basata su un modello di teoria della decisione. Dovremmo iniziare ripristinando l'obiettivo in una tipica situazione di selezione. In molte situazioni di selezione desideriamo stabilire un punteggio di taglio sul nostro predittore che si tradurrà nel ridurre al minimo i nostri errori decisionali.

Implicito in questo tipo di situazione è l'ipotesi che il rapporto di selezione possa essere manipolato a piacimento; cioè, non è "fissato" ad un certo valore. Anche implicita è la nozione che la nostra variabile di criterio può essere significativamente separata in due o più gruppi distinti come "successo" e "non riuscito". Il nostro obiettivo è manipolare il punteggio di taglio (che è lo stesso di manipolare il rapporto di selezione) in ordine per ridurre al minimo il numero di errori commessi nel nostro processo di decidere se una persona debba essere assunta o rifiutata.

In precedenza abbiamo sottolineato che c'erano due tipi distinti di errori decisionali nel paradigma di selezione, i falsi positivi e i falsi negativi, come mostrato di seguito:

Il nostro obiettivo è quindi quello di trovare il punto limite che comporterà il minor numero di errori totali. Per ragioni di convenienza, partiremo assumendo che entrambi i tipi di errore siano considerati ugualmente costosi. Cioè, non abbiamo motivo di preferire fare un errore falso positivo su un errore falso negativo, o viceversa. Facendo questa ipotesi è possibile lanciare il problema direttamente in termini di minimizzazione del numero totale di entrambi i tipi di errori piuttosto che dover pesare i due tipi di errori in base al loro rispettivo "costo".

Posizione del punto di interruzione:

Per illustrare come può essere affrontato il problema di trovare una posizione ottimale per il nostro punteggio di taglio, considerare il caso in cui abbiamo una validità specificata (ad esempio, circa 0, 70) e una percentuale specificata di impiegati presenti considerati positivi (spesso citati in questo contesto come il "tasso base").

Questo può essere schematizzato come segue:

Il prossimo passo è presentare gli stessi dati in una forma leggermente diversa. In primo luogo, sappiamo che il nostro gruppo totale di dipendenti è considerato avere una distribuzione normale in termini di punteggi predittivi. In secondo luogo, e ugualmente importante, si presume che entrambi i sottogruppi (con successo e senza successo) abbiano distribuzioni normali. Osservando l'esempio sopra riportato è facile dedurre che il punteggio medio predittore del gruppo di successo sarà superiore a quello del gruppo non riuscito.

Potremmo schematizzare questo come:

Entrambe le distribuzioni saranno di dimensioni uguali poiché si basano sullo stesso numero di persone (cioè il 50 percento in ciascun gruppo). Esiste una relazione algebrica tra la differenza tra i mezzi dei due sottogruppi come visti in questo modo e la dimensione del coefficiente di correlazione. Se i mezzi del gruppo sono significativamente diversi l'uno dall'altro (ad esempio a un livello di significatività di 0, 05), anche il coefficiente di correlazione sarà ritenuto significativo allo stesso livello.

Prendendo il nostro diagramma un ulteriore passo avanti, possiamo posizionare le due distribuzioni di frequenza dei sottogruppi fianco a fianco sulla stessa linea di base, come mostrato di seguito.

Dopo aver fatto ciò, possiamo ora tornare alla nostra domanda iniziale: dove localizziamo un cut-off sul predittore in modo che il numero totale di errori sia ridotto al minimo? Risulta che la soluzione matematica a questo problema si traduce in una risposta molto semplice: il punto limite che minimizza l'errore totale è il punto in cui le due distribuzioni si intersecano.

Questo può essere facilmente dimostrato a livello concettuale osservando i tre casi illustrati di seguito. La stessa differenza tra i mezzi (vale a dire la stessa correlazione) viene utilizzata in ciascun caso: tutto ciò che è stato modificato è la posizione del punto limite sul predittore.

Nell'illustrazione (a), il numero di falsi positivi (fallimenti che sono al di sopra del cut-off) è dato dall'area B. Il numero di falsi negativi (successi che sono sotto il cut-off) è dato dall'area A. Quindi,

Errore totale = A + B

Per l'illustrazione (b), il numero di falsi positivi è dato da B e il numero di falsi negativi è dato da A + C. Così,

Errore totale = A + B + C

Per l'illustrazione (c), il numero di falsi positivi è dato da B + C e il numero di falsi negativi è dato da A. Quindi,

Errore totale = A + B + C

Poiché l'ispezione di tutte e tre le illustrazioni conferma rapidamente che l'area A + B è la stessa per tutti e tre i casi, allora è ovvio che l'errore viene aumentato di una certa quantità C ogni volta che il limite viene spostato (in entrambe le direzioni) dal punto in cui le due distribuzioni si intersecano tra loro.

Alcune ramificazioni insolite:

Ora abbiamo un principio generale per localizzare un punteggio di taglio che ridurrà al minimo il numero totale di errori in una situazione decisionale di selezione, vale a dire, nel punto di intersezione.

Si scopre che, fintanto che entrambi i tipi di errori sono considerati ugualmente costosi, questa è una regola molto generale e non è influenzata da:

(1) Le dimensioni relative dei due gruppi (vale a dire, la percentuale considerata corretta), o

(2) Le rispettive varianze o dispersioni delle due distribuzioni.

Ciò porta ad alcuni aspetti interessanti e molto importanti del problema di predizione generale riguardante il rapporto tra validità del test e utilità del test. Rorer, Hoffman, LA Forge e Hsieh (1966) hanno indicato tre casi così interessanti.

Caso 1:

Sia i mezzi che le varianze dei due gruppi differiscono l'uno dall'altro. Supponiamo che il nostro gruppo di successo abbia la stessa dimensione del gruppo che non ha successo e abbia una media significativamente più alta sul predittore, ma la sua varianza è molto più piccola.

Un diagramma di tale situazione è il seguente:

Il nostro principio di stabilire punti di interruzione dice che dovremmo metterli ovunque si incrocino le due distribuzioni. Nota che questo accade due volte in questo caso particolare. Quindi, abbiamo un cut-off superiore e un cut-off più basso. Dovremmo selezionare solo quelle persone che rientrano nell'intervallo tra i cut-off in termini di punteggio del test. Qualsiasi altro punto limite determinerà un errore totale maggiore di quello che si otterrebbe con quelli situati nei punti di intersezione.

Caso 2:

I gruppi hanno mezzi uguali ma varianze diverse. In questo caso molto interessante i due gruppi non differiscono in termini di punteggio medio predittivo, cioè, in media, i dipendenti che non hanno successo fanno altrettanto bene sul test quanto i dipendenti di successo. Ciò implica che il coefficiente di correlazione è zero tra il predittore e il criterio. Tuttavia, abbiamo ulteriormente affermato che i due gruppi differiscono in termini di variabilità.

Se supponiamo che il gruppo di successo sia il gruppo con la variabilità più piccola ai fini dell'esposizione, possiamo esprimere questo schematicamente come segue:

Anche se i due gruppi hanno lo stesso punteggio medio, è possibile sviluppare punti di separazione che miglioreranno la predizione rispetto a quella che si sta attualmente godendo attraverso i metodi attuali, poiché le due distribuzioni si intersecano in due punti a causa della loro variabilità ineguale. Quindi, abbiamo la situazione unica in cui non ci sarebbe alcuna validità apparente (misurata da un coefficiente di correlazione) ma dove la previsione può essere molto migliorata mediante l'uso di cut-off appropriati.

Caso 3:

I mezzi di gruppo sono considerevolmente diversi ma anche le dimensioni del gruppo sono molto diverse. Supponiamo di avere a che fare con una situazione in cui il tasso di base dei dipendenti infruttuosi è molto basso, cioè circa il 90 percento dei nostri dipendenti attuali è considerato un successo. Tale situazione è mostrata nello schema seguente.

Qui abbiamo un'altra situazione unica. Anche se i mezzi del gruppo possono essere sostanzialmente diversi dando così una sostanziale correlazione tra criterio e predittore, non sarà possibile stabilire alcun limite che comporterà una riduzione dell'errore rispetto a quanto attualmente ottenuto con i metodi attuali. A causa della marcata differenza di dimensioni tra i due gruppi, vediamo che le due distribuzioni non si intersecano in alcun punto.

Sotto il nostro attuale sistema di selezione stiamo facendo errori solo il 10 percento delle volte. Se spostiamo il nostro cut-off da sinistra a destra nel caso 3 (si trova nell'estrema sinistra per cominciare, dal momento che stiamo selezionando tutte queste persone), ovviamente, inizieremo ad eliminare alcune delle persone che non hanno successo impiegato con il presente sistema.

Allo stesso tempo, tuttavia, inizieremo a rifiutare i dipendenti che si rivelerebbero avere successo. Guardando il diagramma rapidamente ci dice che questo aumento di falsi negativi sarebbe maggiore della corrispondente diminuzione dei falsi positivi, non importa dove abbiamo messo il nostro cut-off. Pertanto, qualsiasi interruzione basata su test provocherà più errori di quanti ne abbiamo senza il test, anche se il test è altamente valido.