Características do avaliador: Confiabilidade do avaliador e previsibilidade de classificações

Até agora, ignoramos os próprios avaliadores e sua importância para o processo de avaliação de desempenho. Embora tenha sido indicado que os avaliadores estão sujeitos a vários tipos de “erros” ao fazer julgamentos e que as escalas de rating devem ser projetadas para minimizar esses erros, as características dos avaliadores individuais não foram examinadas quanto ao seu efeito no processo de rating.

Confiabilidade do avaliador e previsibilidade de classificações:

O problema das características do examinador recebeu muita atenção nos últimos anos. Buckner (1959) explorou a relação entre o grau de concordância entre os avaliadores e o grau em que se pode prever classificações com alguma outra variável. Dito de outro modo, Buckner fez a pergunta: “Fazer classificações altamente confiáveis ​​significa que eu tenho um critério que será mais fácil de prever?” A resposta acabou sendo não. Buckner dividiu seus índices em quatro grupos, dependendo de quão bem os juízes concordaram em atribuir suas classificações.

Grupo 1: Os juízes estavam em alto acordo nessas taxas

Grupo 2: Os juízes estavam em acordo moderado sobre estas taxas

Grupo 3: Os juízes estavam em baixo acordo sobre estas taxas

Grupo 4: Juízes estavam em acordo zero sobre estas taxas

Em seguida, ele passou a validar dois testes correlacionando os resultados dos testes com a classificação - isso foi feito para cada grupo separadamente. Ele não encontrou uma relação sistemática entre o tamanho de suas validades obtidas como uma função do grupo com o qual ele estava trabalhando. Windle e Dingman (1960) criticaram a interpretação de Buckner e fizeram um segundo estudo no qual encontraram os resultados dados na Tabela 7.4.

Observe as magnitudes relativas dos coeficientes de validade mostrados na Tabela 7.4. Quanto mais confiáveis ​​os avaliadores, maiores as validações. Da mesma forma, quanto mais confiáveis ​​forem as classificações, maiores serão as validações.

Portanto, podemos logicamente esperar resultados mais parecidos com os de Windle e Dingman do que os de Buckner. No entanto, também é preciso ter em mente que a alta confiabilidade é apenas uma condição necessária para altas validações - não é uma condição suficiente.

Wiley, em uma série de estudos, examinou a consistência dos julgamentos dos avaliadores ao longo do tempo em relação a quão bem eles concordam com os julgamentos anteriores do mesmo avaliador (Wiley, 1963; Wiley e Jenkins, 1963) e quão bem eles concordam com um grupo composto. classificação (Wiley e Jenkins, 1964). Em geral, os avaliadores foram considerados consistentes em suas classificações até um período de dez meses.

Além disso, ele descobriu que aqueles avaliadores que concordaram muito de perto com o grupo composto em uma tarefa inicial de classificação também foram os avaliadores que concordaram mais de perto com o grupo composto em uma tarefa de classificação diferente um mês depois. Ele sugere que esse conhecimento pode ser usado para selecionar avaliadores que sejam verdadeiramente representativos do consenso médio de um grupo maior de avaliadores.

Infelizmente, o problema de se os avaliadores que concordam com o grupo composto são ou não os melhores avaliadores a solicitar não foi determinado. No entanto, há uma lógica na posição de que, se for possível obter uma classificação composta usando um pequeno número de avaliadores que se aproximará do compósito obtido usando um número maior, certamente poderá economizar tempo e dinheiro.

Várias outras características do avaliador mostraram desempenhar um papel nas avaliações de desempenho obtidas pelas classificações. Christal e Madden (1960) mostraram que uma consideração importante é o grau em que um avaliador está familiarizado com a ocupação que está avaliando, uma descoberta apoiada por estudos adicionais de Madden (1960a, 1961). Da mesma forma, Wiley, Harber e Giorgia (1959a, 1959b) demonstraram que a influência das tendências generalizadas dos avaliadores é perceptível em seus efeitos sobre as classificações.

Formato de Escala de Rating e Julgamento de Avaliação de Desempenho:

Madden relatou vários estudos que lidam com a influência da própria escala de classificação. Em um estudo (Madden, 1960b), ele descobriu que a confiabilidade de classificação e a facilidade de classificação não foram influenciadas pelo uso ou falta de uso de exemplos na definição da escala de classificação, mas se a escala foi definida como oposta a não ser definida. afetam a confiabilidade e a facilidade de uso.

Em um estudo subseqüente, Madden e Bourdon (1964) estudaram o efeito de sete diferentes formatos de escala de classificação sobre as avaliações de 15 ocupações diferentes em nove fatores de trabalho diferentes. Os resultados, embora de natureza um tanto complicada, indicavam claramente que a classificação atribuída a uma ocupação dependia tanto do fator de trabalho envolvido quanto do formato de escala de classificação particular que estava sendo usado.