Construção de um Teste Padronizado: 4 Passos

Este artigo lança luz sobre os quatro principais passos envolvidos na construção de um teste padronizado. As etapas são: 1. Planejamento 2. Preparando o teste 3. Experimentando o teste 4. Avaliando o teste.

Etapa # 1. Planejamento:

“O planejamento de teste engloba todas as operações variadas que envolvem a produção dos testes. Não apenas envolve a operação de um esboço ou tabela especificando o conteúdo ou as opções a serem cobertas pelo teste, mas também deve envolver cuidadosa atenção à dificuldade do item, aos tipos de itens, à direção do examinador etc. ” (Lindquist )

Para um teste padronizado, é necessário um planejamento sistemático e satisfatório. Na opinião de Ross, “bons testes não acontecem apenas, nem são o resultado de alguns momentos de alta inspiração e exaltação”.

É o construtor de teste que é responsável por dar uma forma adequada aos itens de teste e que constrói o teste com todos os cuidados e sinceridade.

Inclui as seguintes atividades:

1. Fixação dos objetivos / finalidades.

2. Determinar o peso para diferentes objetivos instrucionais.

3. Determinar o peso para diferentes áreas de conteúdo.

4. Determinar os tipos de itens a serem incluídos.

5. Preparação da tabela de especificação-Blue Print.

6. Tomar decisões sobre seus aspectos mecânicos, como duração do tempo, tamanho do teste, marcas totais, impressão, tamanho das letras, etc.

7. Dar instruções para pontuação do teste e seu procedimento de administração.

8. A ponderação para diferentes categorias de níveis de dificuldade das questões deve ser corrigida.

(As actividades especificadas nos pontos 1 a 5 precisam de mais esclarecimentos)

1. Fixação dos Objetivos / Finalidades:

Antes da construção do teste é necessário que seus objetos sejam formulados. A atenção deve ser direcionada para a capacidade dos testes de medir eficientemente até que ponto os objetivos da educação foram alcançados. Os objetivos da educação podem ser classificados de várias maneiras. Mas qualquer que seja a classificação, o currículo deve trazer as mudanças na criança que são previstas por meio de objetivos.

O teste deve ser enquadrado de tal maneira que possa indicar até que ponto os objetivos, para trazer mudanças no comportamento da criança, foram alcançados através do currículo ensinado a eles.

A atenção também deve ser direcionada para o propósito que o teste é necessário para servir. Se o teste é construído para classificar os alunos, então, na sua construção, a atenção deve ser dada para a sua capacidade de classificação. Mas se o seu propósito é diagnóstico, então ele deve ser construído de tal forma que possa diagnosticar as dificuldades individuais dos alunos.

2. Determinando a ponderação de diferentes objetivos instrucionais:

O passo mais importante no planejamento de um teste é identificar os objetivos instrucionais. Cada sujeito tem um conjunto diferente de objetivos instrucionais. Nas disciplinas de Ciências, Ciências Sociais e Matemática, os principais objetivos são categorizados como conhecimento, compreensão, aplicação e habilidade, enquanto nas línguas os principais objetivos são categorizados como conhecimento, compreensão e expressão.

O objetivo do conhecimento é considerado o nível mais baixo de aprendizado, enquanto o entendimento, a aplicação do conhecimento na ciência ou nas ciências comportamentais são considerados como nível superior de aprendizado.

3. Determinando a Ponderação para Diferentes Áreas de Conteúdo:

A atividade mais importante na construção de um teste de conquista é especificar um esboço da área de conteúdo. Indica a área em que os alunos devem mostrar seu desempenho. Isso ajuda a obter uma amostra representativa de toda a área de conteúdo.

Também evita a repetição ou omissão de qualquer unidade. Agora surge a questão de quanto peso deve ser dado a qual unidade. Alguns especialistas dizem que isso deve ser decidido pelo professor preocupado, mantendo em mente a importância do capítulo.

Outros dizem que deve ser decidido de acordo com a área coberta pelo tópico no livro de texto. Geralmente é decidido com base em páginas do tópico, total de páginas no livro e número de itens a serem preparados.

4. Determinando os tipos de itens:

Os itens usados ​​na construção do teste podem ser divididos em dois tipos, como itens do tipo objetivo e itens do tipo ensaio. Para alguns fins de instrução, os itens do tipo objetivo são mais eficientes, enquanto para outros as questões do ensaio são satisfatórias.

Os tipos de itens apropriados devem ser selecionados de acordo com os resultados de aprendizagem a serem medidos. Por exemplo, quando o resultado é escrito, os itens do tipo de fornecimento são úteis.

Se o resultado for identificar os tipos corretos de seleção de resposta ou os itens do tipo de reconhecimento são úteis. Então, é para ser decidido e planejado neste estágio.

LA = Longa Resposta

SA = Resposta curta

VSA = Resposta Muito Curta

5. Preparação do “BLUEPRINT” ou gráfico tridimensional:

Preparando o blueprint ou tabela de especificação em três dimensões, conteúdo gráfico, objetivo e tipo de itens, indicando o número de itens em cada célula ou compartimento. É apenas um trabalho de moldura que dá uma imagem clara do design do teste e serve como guia.

As três dimensões do projeto consistem em áreas de conteúdo em linhas horizontais e objetivos e formas de perguntas em colunas verticais. Depois que o blueprint é preparado, o configurador de papel pode gravar / selecionar os itens e preparar o papel da pergunta.

Um formato de exemplo de blueprint é dado abaixo:

Nota:

Por favor, coloque o número de perguntas entre parênteses e as marcas fora dos parênteses.

E = pergunta tipo Ensaio, SA = tipo Resposta Curta, VS A = Resposta Muito Curta.

Etapa # 2. Preparando o teste:

O próximo passo após a finalização do projeto é escrever as perguntas apropriadas de acordo com os parâmetros gerais estabelecidos no plano. Deve-se tomar um pequeno bloco da planta de cada vez e escrever as perguntas necessárias.

Assim, para cada bloco de projeto preenchido, as perguntas devem ser escritas uma por uma. Uma vez feito isso, temos todas as questões que atendem aos requisitos necessários estabelecidos no plano.

A escrita de teste padronizada precisa de todos os tipos de cuidados e considerações. É preciso dedicar tempo suficiente para pensar sobre o peso nos conteúdos e áreas a serem abordados.

Nesta etapa, discutiremos as regras específicas para a construção de diferentes tipos de itens de teste.

Nesta fase, temos que preparar:

(i) os itens de teste.

(ii) as instruções para testar itens.

(iii) as instruções para a administração.

(iv) As instruções para pontuação.

(v) Um gráfico de análise questionável.

(i) Preparação de Itens de Teste:

Preparação de itens de teste é a tarefa mais importante na etapa de preparação. Portanto, deve-se ter cuidado ao preparar um item de teste. A construção de itens de teste não é tão fácil. É a tarefa de especialistas e especialistas em testes. Um professor experiente, suficientemente treinado na construção de testes, pode preparar itens de teste apropriados.

Existem certas regras e diretrizes para a construção de itens de teste. Para isso, é preciso ter acesso a todas essas diretrizes e também ter acesso à taxonomia dos objetivos. Em geral, os itens de teste devem ser claros, abrangentes e livres de ambigüidade.

A linguagem dos itens deve ser escolhida de tal forma que o conteúdo e não a forma dos itens determine a resposta. Os itens que têm significados ocultos não devem ser incluídos. A declaração dos itens não deve ser dada a esmo pelos livros. Todos os itens de um determinado tipo devem ser colocados juntos.

O vocabulário usado nos itens deve ser simples o suficiente para ser entendido por todos. Uma seqüência regular no padrão de respostas corretas deve ser evitada. Pode haver mais de um tipo de itens de teste no teste.

O teste deve ser submetido a revisão crítica em intervalos de tempo. Frequentemente, será desejável que, no teste, mais itens sejam incluídos do que o número realmente necessário. No esboço preliminar, é melhor se o número duplo de itens necessários for incluído.

Na construção dos itens de teste, apenas esses itens não devem ser incluídos, o que enfatiza a memória ou o reconhecimento. Os itens devem ser escolhidos de tal forma que os alunos aprendam o hábito de correlacionar seus conhecimentos com a vida real.

Após os itens de teste serem enquadrados, eles devem ser organizados adequadamente e montados em um teste. Se diferentes formas de itens de teste estiverem sendo usadas, elas devem ser preferencialmente agrupadas em forma. Além disso, itens fáceis devem receber um lugar no início, os itens de dificuldade média no meio e itens difíceis no final.

Os itens de teste podem ser organizados em ordem de dificuldade esperada. Naturalmente, existem várias maneiras de reunir as questões e podemos reunir as questões adequadas ao nosso propósito e conveniência de interpretação.

(ii) Preparação da Direção para os Itens de Teste:

Esse é o aspecto mais negligenciado da construção de teste. Geralmente todo mundo dá atenção à construção de itens de teste. Portanto, os fabricantes de teste não anexam instruções aos itens de teste. Mas a validade e confiabilidade dos itens de teste dependem em grande parte das instruções para o teste.

NE Gronlund sugeriu que o fabricante do teste fornecesse orientações claras sobre:

1. O objetivo do teste.

2. O tempo permitido para responder.

3. A base da resposta.

4. O procedimento para registro de respostas.

5. Os métodos para lidar com a adivinhação.

Às vezes, as instruções para testar os itens são tão ambíguas que a criança não pode segui-los e, como tal, responde aos itens de uma maneira que considera adequada naquele instante ou simplesmente passa o próximo item deixando-o sem resposta.

Devido à falta de clareza das instruções, a criança responderá de forma diferente em momentos diferentes, o que diminuiria a confiabilidade do teste.

(iii) Preparação de instruções para administração:

Uma orientação clara e detalhada de como o teste deve ser administrado deve ser fornecida. As condições sob as quais o teste será administrado, quando o teste será administrado (seja no meio da sessão ou no final da sessão, etc.), dentro de que limite de tempo será administrado, etc. ser declarado claramente.

Se o teste tiver seções separadas, os limites de tempo para cobrir cada seção serão mencionados. Os materiais necessários (se houver) para o teste, como papéis gráficos, tabelas de logaritmo, etc., devem ser mencionados.

As instruções devem indicar claramente quais precauções devem ser tomadas pelo administrador no momento da administração. Portanto, uma direção apropriada e clara para a administração do teste deve ser preparada.

(iv) Preparação da Direção para Pontuação:

Para facilitar a objetividade na pontuação, as 'chaves de pontuação' devem ser fornecidas. A chave de pontuação é uma lista preparada de respostas para um determinado conjunto de perguntas do tipo objetivo. Uma chave de pontuação é preparada listando serialmente a chave (ou resposta correta) para cada questão em relação a cada item.

Para perguntas de tipo de resposta curta e tipo de ensaio, os esquemas de marcação de perguntas devem ser preparados. Essas chaves de pontuação e esquemas de marcação devem ser cuidadosamente preparados. Eles ajudam como guias no momento de pontuar o teste e garantem objetividade na pontuação.

(v) Preparação de um quadro de análise de perguntas:

Um gráfico de análise questionável pode ser preparado no qual cada questão é analisada. Este gráfico mostra a área de conteúdo que a questão cobre, o objetivo (com especificação) que pretende medir, seu tipo, as marcas atribuídas a ele, o nível de dificuldade esperado e o tempo necessário para respondê-lo.

Este gráfico não só analisa os itens, mas também nos dá uma imagem da cobertura de conteúdos, objetivos, tipo de questão e uma cobertura de diferentes níveis de dificuldade, etc. Além disso, isso nos dá uma idéia sobre o tempo total a ser teste. Este gráfico nos ajuda a verificar se o teste foi preparado de acordo com o projeto ou não.

Etapa # 3. Tentando sair do teste:

Como o teste está sendo preparado por um grupo de pessoas e especialistas, ele não pode ser totalmente livre de erros. Portanto, toda padronização requer a preparação de uma forma de teste do teste e seu teste em uma população de amostra.

Os propósitos do try-out são os seguintes:

1. Identificar os itens defeituosos ou ambíguos.

2. Descobrir a fraqueza no mecanismo de administração do teste.

3. Identificar os distratores não funcionais ou implausíveis no caso de testes de múltipla escolha.

4. Fornecer dados para determinar o nível de dificuldade dos itens.

5. Fornecer dados para determinar o valor discriminante dos itens.

6. Determinar o número de itens a serem incluídos na forma final do teste.

7. Determinar o limite de tempo para o formulário final.

O principal objetivo de experimentar é selecionar os itens bons e rejeitar os itens ruins.

O try-out é feito em três etapas:

1. Teste preliminar

2. Teste correto.

3. Final tryout

1. Tentativa Preliminar:

O teste preliminar é feito individualmente para melhorar e modificar as dificuldades de linguagem e a ambigüidade dos itens. Este try-out é feito em 10 ou 15 pessoas. A trabalhabilidade dos itens é observada. Com base na observação e nas reações individuais, os itens podem ser melhorados e modificados simultaneamente. Assim, o rascunho inicial é preparado e é impresso ou cyclostyled para o try-out adequado ou try-out em grupo.

2. A Tentativa Apropriada:

O try-out apropriado é feito em um grupo de pelo menos 40 estudantes / indivíduos. O objetivo é selecionar itens bons para o teste e rejeitar itens ruins.

Esta etapa inclui as seguintes atividades:

(A) Análise de Itens.

(B) Preparando o rascunho final do teste.

(A) Análise de Item:

Um teste não deve ser nem muito fácil nem muito difícil; e cada item deve discriminar a validade entre os alunos com alto e baixo desempenho. O procedimento usado para julgar a qualidade de um item é chamado de análise de itens.

O procedimento de análise de item segue as seguintes etapas:

1. Os papéis de teste devem ser organizados da maior para a menor pontuação.

2. Selecione 27% de papéis de teste de maior e 27% de menor valor. Por exemplo, se o teste for aplicado a 120 alunos, selecione 32 papéis de teste da extremidade superior e 32 papéis de teste da extremidade inferior.

3. Mantenha de lado os outros papéis de teste, pois eles não são necessários na análise do item.

4. Tabule o número de alunos no grupo superior e inferior que selecionou cada alternativa para cada item de teste. Isso pode ser feito no verso do papel de teste ou um cartão de item de teste separado pode ser usado como mostrado na Tabela (14.1).

Como sabemos, a qualidade ou mérito de um teste depende dos itens individuais que o constituem. Assim, apenas os itens que se adequam ao nosso propósito devem ser mantidos. A análise de itens é parte integrante da confiabilidade e validade de um teste.

O valor de um item é avaliado a partir de três ângulos principais, a saber:

(i) Índice de dificuldade do item,

(ii) poder discriminatório do item,

(iii) Eficácia dos distratores.

Uma ilustração hipotética:

Se um teste for aplicado em 120 alunos, 27% dos trabalhos de teste da extremidade superior será de 32 e 27% da extremidade inferior será de 32%.

(i) Índice de dificuldade do item / item dificuldade:

O índice de dificuldade do item é uma parte importante da construção do teste. Se um item em particular é muito fácil, todos os alunos respondem. Se todos os alunos obtiverem pontuações iguais, o objetivo do teste é derrotado. Se um item não puder ser respondido por qualquer testado, então o item é muito difícil ou mal construído. De que adianta ter esses itens em um teste? Portanto, é evidente que itens muito fáceis e muito difíceis devem ser totalmente descartados.

É desejável que itens de nível médio de dificuldade sejam incluídos em um teste. Na análise feita no estágio de try-out, os testadores geralmente retêm itens na faixa de 16% a 84% do nível de dificuldade.

A dificuldade do item (ID) é calculada usando a fórmula.

ID = R / NX 100

onde R = No. de testees respondendo corretamente.

N = número total de testes tentou o item.

Em nosso exemplo, de 64 alunos de grupos superiores e inferiores, 40 alunos responderam corretamente ao item e 60 alunos experimentaram o item. Então a dificuldade do item é calculada como

Dificuldade do Item = 40/60 x 100 = 66, 67

Como é costume seguir a regra de 16% a 84% para considerar a dificuldade do item, nosso ID calculado está dentro dessa faixa. Portanto, o item tem nível de dificuldade adequado. Isso significa que se um item tiver um ID maior que 84%, será um item muito fácil, se ele for menor que 16%, então o item é um item muito difícil.

(ii) Poder discriminatório do item:

O poder discriminativo (isto é, o índice de validade) de um item refere-se ao grau em que um determinado item discrimina entre estudantes que diferem acentuadamente na (s) função (ões) medida (s) pelo teste como um todo.

Uma estimativa do índice de discriminação de um item pode ser obtida pela fórmula:

Onde

RU = Não. De respostas corretas do grupo superior.

RL = Não. De respostas corretas do grupo inferior.

N = Total de alunos que os experimentaram.

Em nosso exemplo, 30 alunos do grupo superior responderam o item corretamente e 10 do grupo inferior responderam corretamente ao item.

Assim R _U = 30, R _L = 10 e N = 60

Índice Discriminante = (30 - 10) / (60/2) = 20 / 30, 67

Um índice de discriminação é geralmente expresso como um decimal. Se tiver um valor positivo, o item tem discriminação positiva. Isso significa que uma proporção maior dos alunos mais instruídos do que os alunos pobres corrigiu o item. Se o valor for zero, o item tem discriminação zero.

Isso pode ocorrer:

Eu. Porque o item é muito fácil ou muito difícil; ou

ii. Porque é ambíguo.

Se mais alunos maus do que bons alunos obtiverem o item correto, obter-se-ia uma discriminação negativa. Com um pequeno número de alunos, esse pode ser um resultado aleatório; mas pode indicar que o item é ambíguo ou incorreto.

O item com índice de discriminação zero ou negativo deve ser descartado ou revisado. Em geral, quanto maior o índice de discriminação, melhor o item.

(iii) Eficácia dos Distratores:

Um distrator é considerado um bom distrator quando atrai mais alunos do grupo inferior do que o grupo superior.

Exemplo:

Suponha um total de 40 livros de respostas (tanto no grupo superior quanto no inferior, 20 em cada).

Abaixo é apresentada uma ilustração hipotética, em que o asterisco indica a resposta correta:

Na ilustração, as alternativas A e C são eficazes no sentido em que atraem mais estudantes do grupo inferior do que do grupo superior. Mas a alternativa D é um distrator ruim porque não atrai ninguém e, portanto, é inútil. O item tem apenas opções, e as chances de sucesso por meras adivinhações são aprimoradas. A alternativa E também é pobre porque atrai uma proporção maior do bem do que dos maus alunos.

O artigo-escritor deve perguntar a si mesmo:

“Por que os estudantes mais brilhantes se interessaram por E? Foi por causa da ambiguidade? Foi porque havia duas respostas igualmente corretas? ”Em suma, este item deve ser revisado alterando as alternativas D e E.

(B) Preparando a versão final do teste:

Após a análise dos itens, somente itens bons com nível de dificuldade apropriado e com poder discriminatório satisfatório são retidos e esses itens formam o teste final. Assim, os itens bons são selecionados a partir do grande número de itens.

Alguns deles podem ser modificados e o número desejado de itens é selecionado para o rascunho final de acordo com a impressão em azul. Os itens são organizados em ordem de dificuldade no rascunho final. O tempo necessário para o teste é determinado. Agora o teste é administrado a uma grande amostra representativa e os papéis de teste são pontuados.

3. Teste Final:

O try-out final é feito em uma grande amostra de cerca de 400 indivíduos para estimar a confiabilidade e a validade do teste. Sua finalidade é decidir a duração do teste também. O objetivo deste teste é identificar os defeitos e deficiências dos itens de teste. Durante a análise de itens, itens muito fáceis e muito difíceis são descartados. Somente itens de nível médio de dificuldade são incluídos ou mantidos.

Quase todas as precauções no teste devem ser tomadas durante a administração do teste final. A ficha de resposta preenchida deve ser pontuada com a ajuda da chave de pontuação e as pontuações devem ser tabuladas para fornecer tratamento estatístico.

Etapa # 4. Avaliando o Teste:

A padronização e avaliação do teste é feita da seguinte maneira:

1. A forma final do teste é impressa. A folha de respostas também é impressa.

2. O tempo necessário para o teste é determinado pela média do tempo de três alunos ao responderem ao teste. Os alunos selecionados para esse propósito representam três grupos - brilhante, médio e abaixo da média.

3. Instrução para as pessoas que irão administrar o teste é preparada e impressa.

4. As pontuações são tabuladas e várias medidas de tendências centrais significam, mediana e modo e medidas de variabilidade - desvio padrão, desvio de quartil, etc., são descobertas.

As pontuações são plotadas em uma folha de gráfico para comparar a normalidade da distribuição e desenhar e dar para obter vários escores percentuais. Escores derivados como T-score e Z-score, etc. são estimados.

Normas como as normas da Idade, normas de classe, normas sexuais, normas rurais-urbanas, etc., são calculadas de acordo com a exigência.

5. A validade dos escores do teste é estimada pela correlação dos escores do teste com algum outro critério. A validade de construto pode ser encontrada pela análise fatorial. Diferentes métodos de determinação da validade foram discutidos em unidades separadas.

6. Na avaliação do teste recém-construído, a confiabilidade também é estimada. No caso de duas formas paralelas, podemos calcular a confiabilidade correlacionando as pontuações nessas duas formas paralelas.

Se as formas paralelas não tiverem sido preparadas, a confiabilidade pode ser determinada pelo método da divisão parcial ou pelo método da equivalência racional. O teste pode ser lido e a confiabilidade pode ser estimada pelo método de teste-reteste.

7. Por fim, teremos que avaliar até que ponto um teste é utilizável do ponto de vista de administração, pontuação, tempo e economia. O teste deve fornecer normas percentuais, normas de pontuação padrão, normas de idade e normas de série que facilitarão a interpretação das pontuações.