Como a porção viés da contaminação do critério contribui para um coeficiente de validade falsamente alto?

Anteriormente, o termo critério de contaminação foi definido como a parte do critério real que não se sobrepôs ao critério final. Além disso, foi apontado que a contaminação do critério consiste em duas partes, erro e viés. Erro, por definição; é geralmente considerada variação aleatória e não pode, exceto por acaso, correlacionar-se com qualquer coisa, incluindo a variável preditora. No entanto, a parcela de polarização da contaminação de critério é a variação sistemática e pode se correlacionar com o preditor. Isso pode ser visto em nosso modelo, em que a contaminação correlacionada com preditor (que deve, portanto, ser um viés correlacionado com preditor) contribui para uma validade obtida espantosamente alta.

Que tipos de preconceitos provavelmente entrarão na contaminação de critério e quais tipos também estão aptos a estar correlacionados com a variável preditora? Talvez a definição formal de preconceito de critério de Brogden e Taylor (1950) ajudará a responder a essa questão.

Eles definem vieses em termos de “qualquer variável, exceto erros de medição e erro de amostragem, produzindo um desvio dos escores de critério obtidos a partir de um escore de critério 'verdadeiro' hipotético. A figura 6.4 ilustra esse ponto. Tais fatores de influência são mais freqüentes do que se pode suspeitar e devem ser cuidadosamente protegidos. Eles podem ocorrer devido a uma variedade de circunstâncias e em função de um número de variáveis.

1. Viés de oportunidade:

Esse tipo de viés de critério refere-se àquelas situações em que fatores além do controle do trabalhador influenciam consideravelmente a quantidade produzida. Exemplos de viés de oportunidade são numerosos. No trabalho de vendas, o território específico ou o contador de vendas podem afetar o volume de vendas de um funcionário - talvez até mais do que sua própria capacidade. No trabalho de fábrica, o viés de oportunidade pode ser atribuído a coisas tão simples como a qualidade das ferramentas e as condições do maquinário que um trabalhador tem, se ele deve trabalhar no turno da noite ou no turno da noite, onde sua estação de trabalho está localizada sua iluminação é, e uma variedade de outras variáveis.

Em suma, a menos que os ambientes de trabalho e os trabalhos sejam idênticos, a comparação dos registros de desempenho do trabalho entre os indivíduos tem suas limitações. Se o desempenho do trabalho estiver correlacionado com os dispositivos preditores em tais circunstâncias, não é possível saber realmente se a correlação resultante é uma correlação com o desempenho real do trabalho ou se é basicamente uma correlação com, digamos, a qualidade da estação de trabalho. Embora o viés de oportunidade não necessariamente se correlacione com o preditor, mesmo que seja livre de previsão, ele terá uma influência na validade obtida.

Outros exemplos mais sutis de viés de oportunidade podem ser encontrados com um exame mais detalhado das validações preditivas de itens como idade e experiência. Em muitos empregos, as pessoas mais velhas e que tiveram mais experiência obtêm melhores pontuações de desempenho simplesmente devido a circunstâncias de antigüidade sindical, em que essas pessoas obtêm melhores postos de trabalho, melhores balcões de vendas, etc.

2. Viés da característica do grupo:

Outra importante fonte de viés de critério diz respeito às características do grupo ao qual uma pessoa pertence. Por exemplo, se uma pessoa pertence a um grupo que limita artificialmente a produtividade de seus membros, haverá uma clara influência dos dados de critério. Da mesma forma, se uma pessoa pertence a um grupo que foi pré-selecionado em alguma base a priori, e se esse grupo é então comparado a um grupo não selecionado, qualquer variável de seleção relacionada à variável a priori está apta a apresentar validade espúria.

Brogden e Taylor (1950) dão um exemplo da situação em que um executivo decretou que todos os garotos de escritório contratados devem ter o ensino médio. Se, para fins de validação de teste, um grupo de funcionários presentes for comparado com uma amostra de candidatos a emprego, é quase certo que qualquer preditor que possa se correlacionar com a quantidade de instrução demonstrará validade!

O problema da idade e da estabilidade no emprego é outra ilustração de viés de oportunidade. Quando o trabalho é aquele em que a produtividade tende a aumentar com a experiência adicional e onde existe uma ampla variedade de experiência (ou seja, há funcionários experientes e inexperientes), é inevitável que o critério (produtividade) e a experiência sejam correlacionados . Assim, o critério é influenciado pela característica da experiência, e qualquer preditor que possa se correlacionar com a experiência pode acabar tendo uma validade falsamente alta.

3. Viés nas avaliações:

Um dos critérios empregados com mais freqüência na indústria - uma classificação de competência por parte dos supervisores - também está sujeito a um viés. Deve-se salientar aqui que todas as fontes usuais de viés nos registros de produção também tendem a influenciar as classificações de competência individual. Os supervisores, ao fazerem suas avaliações de competência, fazem ajustes para oportunidades desiguais entre os que estão sendo classificados? Se puderem, suas classificações levarão a um critério menos tendencioso do que o registro real de produção.

O efeito de polarização mais frequentemente citado nas avaliações é o fenômeno conhecido como “efeito halo”. Resumidamente, isso se refere à situação em que um avaliador considera uma pessoa excepcional em todas as características simplesmente porque ele (a pessoa sendo avaliada) possui característica.

Por exemplo, se uma pessoa teve um desempenho excepcional em um aspecto do desempenho no trabalho, um erro de halo seria feito se considerássemos que a pessoa também deveria ser boa em todos os outros aspectos de seu trabalho. Os erros de halo ocorrem frequentemente quando se pede a um avaliador que avalie indivíduos com características de personalidade agradáveis ​​(“Se uma pessoa é boa, ele também deve ser capaz”) e características agradáveis ​​(“Se uma menina é bonita, ela também deve ser talentosa”). É claro que testes que se correlacionam altamente com classificações com um viés de halo podem simplesmente estar correlacionados com a variável halo, e não com a competência de trabalho “verdadeira”.

4. Conhecimento do viés do Preditor:

Quando os dados do Critério são obtidos usando classificações, o erro mais grave que pode ocorrer é que o avaliador tenha conhecimento prévio das pontuações do preditor. Isso é chamado de conhecimento do viés do preditor. Se um avaliador conhecer as pontuações que as pessoas obtiveram na variável preditora, é inteiramente possível que ele deixe seus julgamentos de critério serem influenciados por esse conhecimento. Tal erro pode causar um aumento de uma natureza totalmente falsa na validade obtida.

Infelizmente, esse tipo de erro não é apenas o mais sério em classificações de critério (já que, por definição, é um viés que sempre será correlacionado pelo preditor), mas também é um dos erros mais freqüentemente encontrados. Os exemplos são, talvez, os mais fáceis de encontrar nos ambientes escolares, onde os professores fazem julgamentos sobre o talento acadêmico de seus alunos depois de terem visto seus resultados nos testes de entrada.

Não se pode enfatizar demais a necessidade estrita de sempre manter as informações do preditor isoladas dos indivíduos que estão fornecendo dados de critério. Assim, os supervisores nunca devem ter permissão para acessar as pontuações das baterias de teste do candidato. Uma vez que tal viés de contaminação tenha ocorrido, quaisquer tentativas subseqüentes de validar empiricamente o teste podem prontamente resultar em coeficientes de correlação superinflacionados.