Uma abordagem da teoria da decisão sobre o preditor e o critério das indústrias

O problema da seleção pode ser visto de uma perspectiva um pouco diferente da usada. Essa segunda abordagem é interessante, pois descobriremos que a validade do preditor pode não ser uma variável tão importante na seleção quanto o ponto de vista tradicional faz. Nossa nova perspectiva é baseada em um modelo de teoria de decisão. Devemos começar reafirmando o objetivo em uma situação típica de seleção. Em muitas situações de seleção, desejamos estabelecer uma pontuação de corte em nosso preditor, o que resultará na minimização de nossos erros de decisão.

Implícito nesse tipo de situação está a suposição de que a taxa de seleção pode ser manipulada à vontade; isto é, não é "fixo" em algum valor. Também implícita é a noção de que nossa variável de critério pode ser significativamente separada em dois ou mais agrupamentos distintos, como “sucesso” e “malsucedido”. Nosso objetivo é manipular a pontuação de corte (que é o mesmo que manipular a taxa de seleção) para para minimizar o número de erros cometidos em nosso processo de decidir se uma pessoa deve ser contratada ou rejeitada.

Anteriormente, salientamos que havia dois tipos distintos de erros de decisão no paradigma de seleção, falsos positivos e falsos negativos, conforme mostrado abaixo:

Nosso objetivo, então, é encontrar o ponto de corte que resultará no menor número de erros totais. Para fins de conveniência, devemos começar assumindo que ambos os tipos de erro são considerados igualmente onerosos. Ou seja, não temos motivos para preferir cometer um erro falso positivo em relação a um erro falso negativo ou vice-versa. Ao fazer essa suposição, é possível lançar o problema diretamente em termos de minimizar o número total de ambos os tipos de erros, em vez de pesar os dois tipos de erros pelo respectivo "custo".

Localização do ponto de corte:

Para ilustrar como o problema de encontrar uma localização ótima para nossa pontuação de corte pode ser abordado, considere o caso em que temos uma validade específica (por exemplo, cerca de 0, 70) e uma porcentagem especificada de funcionários presentes considerados bem-sucedidos (geralmente referidos neste contexto como a “taxa básica”).

Isso pode ser diagramado da seguinte maneira:

O próximo passo é apresentar os mesmos dados de uma forma ligeiramente diferente. Primeiro, sabemos que nosso grupo total de funcionários é considerado como tendo uma distribuição normal em termos de suas pontuações de previsão. Em segundo lugar, e igualmente importante, ambos os subgrupos (bem-sucedidos e mal-sucedidos) assumem distribuições normais. Olhando para o exemplo acima, é fácil deduzir que a pontuação média do preditor do grupo de sucesso será maior do que a do grupo malsucedido.

Podemos diagramar isso como:

Ambas as distribuições serão iguais em tamanho, uma vez que são baseadas no mesmo número de pessoas (ou seja, 50% em cada grupo). Existe uma relação algébrica entre a diferença entre as médias dos dois subgrupos, assim como o tamanho do coeficiente de correlação. Se as médias do grupo forem significativamente diferentes umas das outras (digamos, a um nível de significância de 0, 05), o coeficiente de correlação também será considerado significativo no mesmo nível.

Levando o nosso diagrama um passo adiante, podemos colocar as duas distribuições de frequência dos subgrupos lado a lado na mesma linha de base, como mostrado abaixo.

Depois de fazer isso, podemos agora retornar à nossa pergunta original - onde localizamos um corte no preditor para que o número total de erros seja minimizado? Acontece que a solução matemática para este problema resulta em uma resposta muito simples: O ponto de corte que minimiza o erro total é o ponto em que as duas distribuições se cruzam.

Isso pode ser facilmente demonstrado em um nível conceitual, observando os três casos ilustrados abaixo. A mesma diferença entre as médias (isto é, a mesma correlação) é usada em cada caso - tudo o que foi alterado é a localização do ponto de corte no preditor.

Na ilustração (a), o número de falsos positivos (falhas que estão acima do limite) é dado pela área B. O número de falsos negativos (sucessos abaixo do limite) é dado pela área A. Assim, ,

Erro total = A + B

Para ilustração (b), o número de falsos positivos é dado por B e o número de falsos negativos é dado por A + C. Assim,

Erro total = A + B + C

Para ilustração (c), o número de falsos positivos é dado por B + C e o número de falsos negativos é dado por A. Assim,

Erro total = A + B + C

Como a inspeção das três ilustrações confirma rapidamente que a área A + B é a mesma para todos os três casos, então é óbvio que o erro é aumentado em alguma quantidade C sempre que o ponto de corte for movido (em qualquer direção) do ponto em que as duas distribuições se cruzam.

Algumas ramificações incomuns:

Agora temos um princípio geral para localizar uma pontuação de corte que minimize o número total de erros em uma situação de tomada de decisão, ou seja, no ponto de interseção.

Acontece que, contanto que ambos os tipos de erros sejam considerados igualmente caros, esta é uma regra geral e não é afetada por:

(1) Os tamanhos relativos dos dois grupos (ou seja, porcentagem considerada bem sucedida), ou

(2) as respectivas variações ou dispersões das duas distribuições.

Isso leva a alguns aspectos interessantes e muito importantes do problema geral de previsão sobre a relação entre validade de teste e utilidade de teste. Rorer, Hoffman, LA Forge e Hsieh (1966) apontaram três desses casos interessantes.

Caso 1:

Tanto os meios quanto as variações dos dois grupos diferem uns dos outros. Suponha que nosso grupo de sucesso seja de igual tamanho para o grupo malsucedido e tenha uma média significativamente maior no preditor, mas sua variação é muito menor.

Um diagrama de tal situação é o seguinte:

Nosso princípio de estabelecer pontos de corte diz que devemos colocá-los onde quer que as duas distribuições se cruzem. Note que isso acontece duas vezes neste caso particular. Assim, temos um corte superior e um corte inferior. Devemos selecionar apenas as pessoas que se enquadram no intervalo entre os pontos de corte em termos de pontuação no teste. Qualquer outro ponto de corte resultará em maior erro total do que seria obtido com os pontos localizados nos pontos de intersecção.

Caso 2:

Grupos têm meios iguais, mas diferentes variações. Nesse caso muito interessante, os dois grupos não diferem em termos de sua pontuação média de previsão - ou seja, em média, os funcionários mal-sucedidos fazem tão bem no teste quanto os funcionários bem-sucedidos. Isso implica que o coeficiente de correlação é zero entre o preditor e o critério. No entanto, afirmamos ainda que os dois grupos diferem em termos de sua variabilidade.

Se assumirmos que o grupo de sucesso é o grupo com a menor variabilidade para fins de exposição, podemos expressar isso de forma diagramática da seguinte maneira:

Mesmo que os dois grupos tenham a mesma pontuação média de critério, é possível desenvolver pontos de corte que melhorem a previsão em relação àquela atualmente sendo aproveitada pelos métodos atuais, uma vez que as duas distribuições se cruzam em dois pontos devido à sua variabilidade desigual. Assim, temos a situação única em que não haveria validade aparente (medida por um coeficiente de correlação), mas onde a previsão pode ser melhorada pelo uso de pontos de corte apropriados.

Caso 3:

As médias de grupo são consideravelmente diferentes, mas o tamanho do grupo também é muito diferente. Suponha que estamos lidando com uma situação em que a taxa básica de funcionários mal-sucedidos é muito pequena, ou seja, cerca de 90% de nossos funcionários atuais são considerados bem-sucedidos. Tal situação é mostrada no diagrama a seguir.

Aqui nós temos outra situação única. Mesmo que as médias do grupo possam ser substancialmente diferentes, portanto, dando uma correlação substancial entre o critério e o preditor, não será possível estabelecer qualquer corte que resulte na redução do erro sobre o que é atualmente obtido com os métodos atuais. Por causa da diferença marcada no tamanho entre os dois grupos, vemos que as duas distribuições não se interceptam em nenhum ponto.

Em nosso atual sistema de seleção, estamos cometendo erros apenas 10% do tempo. Se movermos o nosso corte da esquerda para a direita no caso 3 (ele está localizado na extrema esquerda, para começar, já que atualmente estamos selecionando todas essas pessoas), naturalmente começaremos a eliminar algumas das pessoas malsucedidas sendo atualmente empregado no presente sistema.

Ao mesmo tempo, porém, vamos começar a rejeitar os funcionários que seriam bem-sucedidos. Olhando para o diagrama rapidamente nos diz que este aumento de falsos negativos seria maior do que a correspondente diminuição de falsos positivos, não importa onde nós colocamos o nosso corte. Assim, qualquer corte baseado em teste resultará em mais erros do que nós sem o teste, mesmo que o teste seja altamente válido.