Nel produrre un test che misuri realmente ciò che si vuole misurare è necessario:
- definire cosa si vuole misurare, es. attitudine alla professione medica, quindi vanno definite le caratteristiche attitudinali, oppure attitudine allo studio quindi vanno definite tali caratteristiche. Se questo passaggio viene ignorato non abbiamo un test ma un gioco, il gioco consiste nel produrre quiz che sono affini a chi li produce, chi ha ideato il test, e il risultato indica una maggiore o minore affinità allo stile cognitivo di chi ha fatto il test.
- definire le caratteristiche del gruppo di persone che sosterranno il test. Per esempio se l’accesso al test è possibile a tutti i diplomati il test dovrà tener conto di tutti gli argomenti accessibili a tutti i diplomati. Altro esempio, se si vuole fare un test che misuri lo sviluppo di abilità cognitive tipiche dei bambini di 5 anni il test dovrà misurare solo quelle abilità, se misura anche le abilità nei bambini di 8 anni il test non è valido, nella stessa misura un test rivolto a tutti i diplomati in cui sono presenti domande specifiche per esempio del programma per i licei scientifici, non è un test valido, ancor meno se sono presenti domande presenti nei corsi di laurea specifici. Se questo passaggio viene ignorato non abbiamo un test, ma una serie di domande che ci dice se i candidati sono un gruppo omogeneo (programmi per licei scientifici) o un gruppo eterogeneo, come è capitato per il test di medicina la cui distribuzione standard ci dice che la percentuale con preparazione universitaria o da liceo scientifico era molto bassa rispetto il campione. Il test è valido se il campione è omogeneo, quindi in questo caso per rendere il test valido bisognava permettere l’accesso al test ai soli studenti universitari di materie scientifiche specifiche.
- Definire le caratteristiche geografiche. La distribuzione standard afferma che il test è più affine ai programmi che vengono svolti nel nord Italia che a quelli che vengono svolti nel sud Italia. Attenzione il test non dice mai se sono più bravi quelli del nord o quelli del sud, dice solo l’affinità con un elemento e l’altro, ovvero che chi ha creato il test ha seguito per la maggior parte i programmi svolti al nord, infatti il CINECA si trova al centro nord. Se questo viene ignorato avremo nella distribuzione standard delle mediane differenti a secondo della zona geografica e questo significa che il test non è valido. Questo è quello che è capitato nel test per l’accesso a medicina 2015.
Queste sono le tre cose elementari e necessarie per un test di selezione.
La tipologia della domanda nel test di selezione deve avere alcune necessarie caratteristiche.
- nella domanda ci devono essere tutti i contenuti per dare la risposta e non devono essere deducibili da elementi esterni la domanda (numeri facilmente divisibili, alternative di risposte) Se voglio sapere se il candidato è in grado di formulare un ragionamento logico l’aiutino del numero facilmente divisibile o moltiplicabile, o l’aiutino dell’unica risposta possibile, invalida l’item. Questo ricorre molto spesso nei test d’ammissione a medicina, la dove la domanda non contiene tutti gli elementi utili e le risposte possibili lo indicano. Questo tipo di item non è valido, è un gioco di tipo enigmistico che non misura nulla.
- La domanda deve avere una risposta unica, e non deve essere deducibile dalle possibilità di risposta. In altre parole non deve indurre il candidato a leggere prima le risposte e poi la domanda, o a leggere ripetutamente l’item perché la sintassi non è corretta, questo tipo di item non è valido.
- L’item deve misurare ciò che vuole misurare, se vuole misurare la capacità di logica deduttiva, questa non può essere misurata in base a un tipo di logica paradossale (una logica corretta basata su premesse sbagliate )
- La risposta all’item deve essere sempre la stessa nel tempo (attendibilità) e dev’essere data in percentuale maggiore da almeno la metà dei candidati, quindi dev’essere interpretata in modo univoco.
Inoltre:
Il punteggio minimo in un test non può essere inferiore alla metà es 45 (non a 20)
La mediana non deve essere inferiore a 50 percentili (non a 18)
Nel caso il test di selezione preveda l’ingresso di un 10% dei candidati si sposta il punteggio utile per l’ammissione a 85 percentili (es 75/90) quindi si mette un punteggio alto, non si mette un punteggio valido basso, il punteggio valido basso indica che il test non è valido né attendibile.
Date queste premesse, il test di ammissione 2015 in realtà misura:
- La conformità del candidato ai programmi scolastici del nord Italia.
- Se il candidato ha conoscenze superiori a quelle che dovrebbe avere un diplomato, conoscenze maggiormente presenti in studenti universitari che stanno frequentando corsi specifici che prevedono conoscenze di chimica e biologia più avanzate di quelle richieste nella laurea in medicina.
- La propensione del candidato al gioco enigmistico. (non richiesta nella professione medica)
- La capacità del candidato a seguire stili cognitivi contorti e complessi non propri prevedendone i successivi sviluppi (questa sarebbe una buona qualità per gli psicologi più che per i medici)
- La motivazione del candidato al superamento del test (che non va confusa con la motivazione a fare il medico) e pertanto la determinazione e la costanza, per cui è disposto a prepararsi in vista della vittoria.
Ecco perchè diversi medici specializzati per esempio il cardiologo Michele Massimo Gulizia il 30 maggio 2015, (http://www.rai.tv/dl/RaiTV/programmi/media/ContentItem-79425f8b-a4eb-48f7-aa5e-3c8ecea7d450.html) in questa trasmissione vedi minuto 9,13, dice di aver ottenuto circa, il punteggio, di 9 una volta e 14 l’altra.
La cosa più evidente di questo test d’ammissione è che di certo non seleziona candidati che abbiano attitudine alla professione medica.