Determinando a utilidade de um instrumento de seleção em indústrias

A utilidade de um dispositivo de previsão é o grau em que seu uso melhora a qualidade das pessoas selecionadas além do que teria ocorrido se o dispositivo não tivesse sido usado. Validade e confiabilidade, ambas desempenham um papel importante na determinação da utilidade de qualquer instrumento de seleção. Além disso, existem, no entanto, vários outros fatores que são igualmente críticos na determinação da utilidade em qualquer situação que envolva a seleção de grupos.

Essas variáveis ​​adicionais são:

(1) confiabilidade do critério,

(2) relevância do critério,

(3) o rácio de selecção e

(4) A porcentagem de funcionários presentes considerados bem-sucedidos.

O leitor é alertado para ter em mente que a predição de grupo é o processo de selecionar sistematicamente uma subamostra de candidatos que são mais aptos a ter sucesso, em média, do que o grupo como um todo ou qualquer subgrupo selecionado aleatoriamente do todo. Isso difere do processo de previsão individual quando se trata de prever a probabilidade de sucesso de uma determinada pessoa, em vez de um grupo de pessoas.

Existem, é claro, situações de seleção que envolvem aspectos tanto de grupo quanto individuais da seleção. Um exemplo é um programa de seleção usado pela Marinha dos Estados Unidos em sua seleção de cadetes de voo. A Marinha usa técnicas de previsão de grupo antes e durante as várias fases diferentes do treinamento de voo.

Além disso, também é necessário que sejam feitas previsões para um cadete específico e sua probabilidade individual de sucesso no programa. A necessidade destes últimos tipos de previsões ocorre sempre que o registro de um cadete durante o treinamento tiver sido ruim o suficiente para levá-lo a um conselho de revisão. Para este programa da Marinha, os mesmos preditores básicos são usados ​​tanto para o grupo quanto para as previsões individuais.

Validade do Preditor:

O índice estatístico primário que influencia a utilidade de qualquer instrumento de previsão é a sua validade. Embora seja demonstrado que situações de baixa e mesmo zero validade ainda podem resultar em seleção bem-sucedida sob condições especiais, o coeficiente de validade permanece a variável central na seleção. Para ilustrar, considere os diagramas mostrados na Figura 2.10, nos quais duas relações diferentes de preditor-critério são mostradas, uma com uma validade de 0, 00 e a outra com uma validade de 0, 70. Em ambos os casos, foi estabelecida uma pontuação de corte no preditor que nos permite obter os 50% das pessoas que fazem o teste.

Qual preditor resultará no maior aumento na pontuação média de critério do grupo selecionado sobre o que foi alcançado pelos métodos anteriores (isto é, seleção aleatória)? Olhando primeiro para o preditor A em termos de como as pessoas são distribuídas apenas na dimensão critério, descobrimos que a pontuação média do critério do grupo “aceito” é exatamente igual ao grupo “rejeitado”. Ou seja, as pessoas aceitas pela metade superior das pontuações no teste A não tendem a ter pontuações de critério mais altas do que as 50% mais baixas das pontuações no teste A, como mostra a Figura 2.11.

No entanto, quando olhamos para o preditor B, temos uma imagem bem diferente. Podemos ver imediatamente que aquelas pessoas acima do limite parecem fazer melhor no critério do que aquelas abaixo do ponto de corte. Ou seja, as pessoas acima do ponto de corte têm uma pontuação média de critério maior do que aquelas abaixo. Isso é mostrado na Figura 2.12, que mostra novamente as três distribuições de valores de critério.

Assim, parece que temos nosso primeiro princípio geral em utilidade de teste: dado qualquer ponto de corte arbitrariamente definido em um teste, quanto maior a validade, maior o aumento na pontuação média de critério para o grupo selecionado em relação ao observado para o grupo total.

Em outras palavras, a diferença:

( _{Grupo selecionado} X) - ( _{grupo total} X)

aumentará em proporção direta à validade do teste. De fato, pode-se mostrar algebricamente que isto é assim (mais tarde veremos certas exceções a este primeiro princípio). Recentemente Naylor e Shine (1965) publicaram um conjunto de tabelas que oferecem um cálculo fácil do aumento na pontuação média de critério que será obtida com qualquer teste, dado que a validade do teste e o ponto de corte do teste podem ser especificados. Esta tabela é fornecida no Apêndice junto com explicações e exemplos de seu uso.

Taxa de seleção e porcentagem de funcionários bem-sucedidos:

Duas outras variáveis ​​que desempenham um papel importante na determinação da utilidade de um preditor são a taxa de seleção e a porcentagem de empregados presentes considerados bem-sucedidos. O leitor recordará que a utilidade de um preditor foi definida como a melhoria na qualidade das contratações obtidas usando um dispositivo de previsão quando comparado com os métodos atuais de seleção.

A qualidade é tipicamente definida em termos de (1) a pontuação média do critério do grupo, ou (2) em termos da proporção de pessoas nesse grupo que têm pontuações de critério acima de algum valor que é considerado mínimo para que um seja ser um funcionário de sucesso. Para qualquer dado obtido coeficiente de validade entre critério e o preditor, uma manipulação da relação de seleção e / ou uma mudança no percentual de funcionários presentes considerados bem-sucedidos resultará em mudanças marcantes na qualidade resultante dos empregados contratados (selecionados).

Taxa de seleção:

Simplesmente descrito, a taxa de seleção (SR) pode ser expressa como:

n / N = SR

Onde n = número de vagas de emprego

N = número de candidatos a emprego disponíveis para colocação

Quando o SR é igual ou maior que 1, 00, o uso de qualquer dispositivo de seleção tem pouco significado. Com mais vagas do que candidatos a emprego, o candidato está em um mercado de vendedores onde a empresa pode precisar comprar seus serviços, independentemente de sua qualidade. Se, no entanto, o RS for inferior a 1, 00, haverá mais candidatos a emprego do que cargos e o empregador estará em condições de ser seletivo em termos de quem contrata.

A maneira pela qual o RS pode influenciar o processo de seleção pode ser melhor demonstrada consultando-se a Figura 2.13. Na Figura 2.13a, é mostrado um gráfico de dispersão de pontuações que é aproximadamente a forma que poderia ser esperada com uma grande amostra de pessoas e uma correlação entre preditor e critério de 0, 70 (quanto maior a correlação, mais próximo o gráfico de dispersão se aproximará de uma linha reta; quanto menor a correlação, mais próximo a área de dispersão se aproximará de um círculo). A proporção do oval que está sombreada representa a proporção de candidatos que são realmente contratados, ou seja, o SR. Na Figura 2.13a, é apresentado um SR de 100; Existe uma vaga de emprego para todos os candidatos, para que todos sejam contratados.

Na parte b da Figura 2.13, vemos o que acontece com a qualidade média daqueles contratados quando a RS se torna 0.80. Como há empregos para apenas 80% dos candidatos, o empregador contratará logicamente os 80% com as pontuações mais altas do preditor, já que o preditor está altamente relacionado ao desempenho subsequente do critério.

Esses 80% são representados pela área sombreada da oval caindo à direita do ponto de corte do preditor. Uma vez que aqueles que são eliminados geralmente possuem escores de baixo critério, é fácil ver como a pontuação média de critério para aqueles contratados com um RS de 0, 80 é maior do que se um grupo aleatório de candidatos fosse colocado em cargos como na Figura 2.13a. Esse aumento na qualidade média é mostrado de forma ainda mais dramática na Figura 2.13c, que ilustra uma RS de 0, 20. Diante de uma situação em que há dez candidatos para cada dois empregos, o empregador está “muito bonito” - agora ele pode selecionar os 20% melhores dos artistas. Esses indivíduos são representados pela área sombreada da oval caindo à direita do ponto de corte na Figura 2.13c. A diferença na qualidade média da pontuação do critério para este subgrupo de seleção, em oposição à do grupo inteiro, é muito grande. Os benefícios para o empregador em termos de dólares nessa situação certamente devem ser substanciais.

O princípio geral de que uma taxa de seleção mais baixa sempre resultará em empregados de melhor qualidade sendo contratados, contanto que a relação entre o preditor e o critério seja algum valor maior que zero (r ou negativos são positivos igualmente de igual magnitude) . De fato, pode ser demonstrado que o princípio da taxa de seleção pode ser efetivamente utilizado em alguns casos, mesmo que todos os candidatos precisem ser contratados. Isso pode ocorrer se houver pelo menos dois trabalhos, cada um com um número de aberturas e cada um deles tiver seu próprio preditor com validade maior que zero.

Porcentagem de funcionários presentes que são bem-sucedidos:

Em nossa discussão sobre validade e SR, assumimos que o critério é contínuo e, portanto, quanto maior a pontuação do critério, mais satisfatório é esse trabalhador. Suponhamos agora que exista uma pontuação de critério que defina se um trabalhador é satisfatório ou insatisfatório - isto é, se ele executa acima de um padrão ele é considerado satisfatório e se ele executa abaixo desse padrão ele é considerado insatisfatório. Os diagramas na Figura 2.14 ilustram isso.

Na parte a, é mostrada uma relação de cerca de 0, 70 entre o critério e o preditor. Note que a linha horizontal, chamada de critério de corte, separa todos os trabalhadores em dois grupos: aqueles considerados bem-sucedidos e aqueles considerados sem sucesso. Tal corte, naturalmente, terá que ser bastante arbitrário em sua natureza. No entanto, em muitos casos, não é muito difícil chegar a algum consenso sobre o desempenho mínimo aceitável.

A parte b da Figura 2.14 mostra os mesmos dados com um corte preditivo baseado em uma taxa de seleção de cerca de 0, 5. A última parte da figura mostra ambos os pontos de corte juntos. Quando combinados desta maneira torna-se possível distinguir entre as várias sub-porções dos dados que são formados pela intersecção das duas linhas de corte.

Parte A. Os candidatos que estão à direita do ponto de corte do teste e acima do ponto de corte do critério são chamados de verdadeiros positivos. Eles são aqueles que o teste diz que devem ser bem sucedidos e que de fato serão bem-sucedidos de acordo com o critério. Eles representam decisões corretas com base no teste.

Parte B. Este segmento inclui os candidatos que tenham pontuações abaixo do limite de previsão e abaixo do limite de critério. Chamados de verdadeiros negativos, esses candidatos, assim como os verdadeiros positivos, representam decisões corretas baseadas no preditor.

Parte C. Esses candidatos têm pontuações abaixo do limite preditor, mas acima do critério de corte. Essas pessoas não seriam contratadas se as decisões de contratação fossem baseadas no teste, apesar do fato de que sua pontuação final de critério fosse alta o suficiente para colocá-las na categoria satisfatória. Isso representa um tipo de erro ou erro que ocorre nos testes e é chamado de negativos falsos.

Parte D. O último segmento do oval consiste em candidatos a emprego que seriam contratados, mas que posteriormente se mostrariam insatisfatórios em seu trabalho. Essas pessoas também representam “erros” no processo de seleção e são conhecidas como falsos positivos.

Várias relações significativas podem ser construídas usando as várias partes da Figura 2.14c. Por exemplo,

(1) C + D / A + B

Essa é uma proporção entre o número de erros na seleção e o número de funcionários colocados corretamente. O tamanho dessa proporção depende de todas as três variáveis: a localização do ponto de corte do critério, a localização do ponto de corte do preditor e o coeficiente de validade. Não apenas o tamanho dessa proporção é afetado por essas variáveis, mas também a magnitude relativa dos dois tipos de erros, C e D. Geralmente, o empregador está mais preocupado em minimizar os positivos falsos do que em se preocupar com o número de falsos negativos. .

Isso é frequentemente tomado por aqueles que se opõem ao teste como sendo um dos principais males da seleção científica através de testes, a saber, que algumas pessoas são rejeitadas e que seriam bem-sucedidas no trabalho se tivessem oportunidade de se provar. O leitor terá que deliberar os prós e contras deste problema para si mesmo - os autores apenas apontam a dificuldade.

No entanto, os autores se apressam em acrescentar que os psicólogos industriais podem ser tão socialmente conscientes quanto seus críticos. Os psicólogos industriais geralmente têm os dados para contar toda a história, enquanto alguns críticos, sem quaisquer dados, apenas "gritam" sobre um erro.

Outra proporção de importância é dada por

(2) A + C / A + B + C + D = por cento presentemente bem sucedido

Isto representa a porcentagem dos empregados presentes que são satisfatórios. É uma porcentagem base que expressa o grau de sucesso obtido com quaisquer métodos de seleção usados ​​antes da introdução do preditor. A terceira relação,

(3) A / A + D = percentual de sucesso usando o preditor é uma expressão da proporção de candidatos contratados que serão bem-sucedidos se usarmos o preditor como um auxílio para a seleção, juntamente com os métodos atualmente empregados. Na medida em que (3) é maior que (2), o preditor está adicionando algo ao processo de seleção.

Ao comparar a magnitude relativa de (2) e (3), alguns princípios gerais podem ser declarados:

1. Para qualquer validade particular e critério de corte, uma redução na RS causará um aumento na validade efetiva. Assim, pode-se compensar a baixa validade estatística se alguém puder ser seletivo em suas contratações.

2. Para qualquer validade estatística e razão de seleção, quanto menor o percentual de funcionários presentes considerado satisfatório, maior o aumento percentual de candidatos satisfatórios obtidos usando o preditor. Em outras palavras, se definirmos a diferença entre as razões (2) e (3) como

Utilidade = A + C - A + C / A + B + C + D = aumento percentual na eficácia

Onde a eficácia é definida como a porcentagem de sucessos sendo empregados, então o maior benefício será observado sob aquelas condições onde o trabalho mais pobre está sendo feito atualmente - um resultado lógico. Existem algumas exceções, é claro. Por exemplo, considere a Figura 2.15.

Observe na Figura 2.15 que não importa qual das três diferentes proporções de seleção se usa, 100% de todos os candidatos contratados serão julgados satisfatórios. Portanto, aqui está uma situação em que grandes mudanças na taxa de seleção não têm conseqüência.

Tabelas de Taylor-Russell:

Uma expressão detalhada das relações exatas entre o tamanho do coeficiente de validade, a taxa de seleção e a porcentagem de empregados atualmente satisfatórios foi preparada por Taylor e Russell (1939). Sob determinadas condições de validade, proporção de seleção e porcentagem satisfatória, suas tabelas permitem determinar a porcentagem de contratações que serão satisfatórias usando o preditor em conjunto com os métodos atuais.

No entanto, as tabelas Naylor-Shine discutidas na seção sobre validade de previsão parecem ter várias vantagens sobre as tabelas de Taylor-Russell. As tabelas Naylor-Shine são formuladas em termos de diferenças na pontuação média do critério entre o grupo selecionado e o grupo original; Taylor e Russell usam diferenças no percentual de sucesso entre o grupo selecionado e o grupo original.

Assim, as tabelas Naylor-Shine parecem dar um índice mais significativo de utilidade de teste. Além disso, o uso das tabelas Taylor-Russell requer que os funcionários sejam separados em dois grupos, “bem-sucedidos” e “malsucedidos”, selecionando algum ponto arbitrário na dimensão de critério que represente “desempenho mínimo satisfatório”. As tabelas Naylor-Shine não requerem nenhuma decisão desse tipo para seu uso e, portanto, são mais gerais em sua aplicabilidade.

Uma nota de cautela. Tanto as tabelas Naylor-Shine quanto as tabelas Taylor-Russell possuem certas limitações que são muito importantes. Os dois métodos para avaliar a utilidade do teste baseiam-se nas suposições de que (1) a relação entre preditor e critério é linear e (2) o coeficiente de validade utilizado é aquele obtido por procedimentos de validade concorrente.

Smith (1948) e outros apontaram os perigos que existem se alguém tentar usar tabelas como as condições de Taylor e Russell, nas quais a relação não é linear entre o preditor e o critério. Essa relação é mostrada na Figura 2.16. Quando tais relacionamentos não lineares existem, ambas as tabelas são completamente inadequadas para determinar o utilitário de teste.

O fato de ambas as tabelas assumirem um coeficiente de validade baseado em procedimentos de validação concorrentes pode ser uma surpresa, uma vez que anteriormente foi apontado que a validade concorrente não era um substituto particularmente bom para a validade preditiva. No entanto, a utilidade de teste envolve determinar o aumento na pontuação média de critério (tabelas Naylor-Shine) ou porcentagem de funcionários bem-sucedidos (tabelas Taylor-Russell) em relação àquela atualmente sendo obtida com os funcionários atuais. A dispersão básica é baseada nos empregados atuais contratados pelos procedimentos normais de seleção - o típico paradigma de validade concorrente.

Confiabilidade do Preditor e Critério:

A confiabilidade do critério e do preditor também são importantes, principalmente porque influenciam ou limitam o tamanho do coeficiente de validade que pode ser obtido. Existe uma relação algébrica básica que existe entre a validade e a confiabilidade do preditor e o critério que é

r _pc (obtido) = r _pc (verdadeiro) ppr _pp xr _cc

Onde

r _pc (obtido) = correlação observada (validade) entre o preditor e critério

r _pc (verdadeiro) = correlação “verdadeira” (validade) entre o preditor e o critério

r _pp = confiabilidade do preditor

r _cc = confiabilidade do critério

Observe da relação acima que somente quando r _pp e r _pcc são _unidos (confiabilidade perfeita) a validade obtida será igual à validade verdadeira. Como a confiabilidade das duas medidas diminui, o mesmo acontecerá com a validade obtida. Por exemplo, suponha que r _{pc (verdadeiro)} = 0, 06, r _pp = r _pcc = 0, 08, então r _{pc (obtido)} = 0, 06 ± 0, 80 x 0, 80 = 0, 60 (0, 80) = 0, 48. Observe também que, se a confiabilidade do preditor ou do critério for zero, a validade obtida também será zero.

Relevância do Critério:

A relevância de um critério tem pouco a ver com a utilidade empírica real de um instrumento de previsão, embora tenha muito a ver com sua utilidade lógica.