Normes
En réalité, que représente réellement le thêta?
C’est la manifestation d’une aptitude ou d’un trait censé être à la base de l’ensemble des items du test.
1. Liées à la correction du test
2. Liées au contenu du test
3. Liées aux conditions d'administration du test
4. Liées aux circonstances personnelles
Pour 100 points boni, donnez un exemple de ce qui peut se trouver dans chacune de ces erreurs.
Que veux-t-on dire par la "sous-représentation du construit" et la "variance non reliée au construit"
Sous-représentation du construit : c’est la partie du construit qui n’est pas couvert par le test
Variance non reliée au construit : c’est ce que le test mesure qui n’est pas en lien avec le construit
Quelles sont les 6 étapes de l'élaboration d'un test psychométrique?
1. Définition de l’objectif du test
2. Questions relatives à la conception préliminaire
3. Préparation des items
4. Analyse des items
5. Étalonnage et programmation de recherche connexes
6. Préparation du matériel définitif et publication
Complétez la phrase suivante et expliquez le sens de celle-ci :
Une mesure peut être (?) sans être (?), mais ne peut pas être (?) si elle n'est pas (?).
Une mesure peut être fidèle sans être valide, mais ne peut pas être valide si elle n'est pas fidèle.
Si la moyenne du groupe de référence est de 500, et que l'écart-type est de 100, quel sera le score Z de Jean s'il a obtenu un score brut de 750 au test?
Un score Z de 2.5
Qu'est-ce que l'erreur type de mesure permet d'obtenir comme information?
Permet d'établir l'intervalle de confiance de la mesure et ainsi, déterminer l'intervalle de score dans lequel le score vrai de l'individu se trouve.
Nous avons vu 4 types de validités sous-jacent à la validité critériée. Quelles sont-elles?
Prédictive
Concomitante
Convergente
Divergente
Expliquez quelles sont les 4 composantes d'un item.
Stimulus : "prémisse", c'est ce qui amorce la réponse.
Format de réponse : la façon de répondre (CDR ou dévelo.)
Conditions de réponse à l'item : facteurs indirects liés à la réponse
Procédures de cotation : éléments liés à la correction de la réponse
Quelles sont les deux raisons qui nous pousseraient à utiliser un test pour obtenir de l'information sur un critère externe, plutôt que de simplement mesurer le critère?
1) La mesure du critère possible seulement dans le futur
2) Le critère est complexe à mesurer, le test fournit une mesure plus simple
Dans le processus de standardisation, qu'est-ce qui permet d'établir qu'une norme est acceptable? Expliquez votre réponse.
Si la norme est stable ET représentative d'une population définie.
La stabilité est déterminée basée sur la taille de l’échantillon étalon relative à la norme.
La représentativité peut être déterminée de deux façons, selon l’intention du test. On doit comparer les caractéristiques importantes du groupe de référence à celles de la population cible.
Qui suis-je?
Je suis une méthode pour mesurer la fidélité qui nécessite une certaine expérience pour être appliquée correctement, notamment parce que mon "sweet-spot" est difficile à trouver...
La fidélité test-retest
Le sweet-spot réfère au choix du temps entre les deux passations - assez long pour diminuer l'effet de reprise, mais pas trop long que le trait puisse avoir changé.
Expliquez les trois étapes de la vérification de la validité de contenu pour les tests de rendement
1.Obtenir une définition rigoureuse du contenu à couvrir
2.Élaborer un tableau de spécification ou un modèle (thèmes du contenu et processus intellectuels)
3.Comparer le contenu du test au tableau de spécification (afin de révéler les domaines de contenus non-couverts par le test & les items qui ne reflètent pas les spécifications de contenu)
Quelles sont les trois méthodes de mise à l'essai des items?
Méthode de l'étude indépendante
Méthode des ajouts
Méthodes de l'analyse continue
Facteur 1 : compétences en langue anglaise et française
Facteur 2 : connaissances des mots français et anglais
Facteur 3 : irrelevant
Nommez et décrivez 4 types de groupes de références.
Les normes nationales : Fondées sur un groupe représentatif d’un segment de la population auquel le test est destiné
Les normes internationales :Fondées sur la combinaison d’échantillons de plusieurs pays
Normes de sous-groupe : Ce type de norme est tiré du groupe de référence global – on divise le grand groupe en catégorie basé sur une caractéristique (généralement, sociodémographique).
Normes locales : Ce type de norme s’ajoute généralement à une analyse des normes nationales – dans les normes locales, on utilise le groupe ayant passé le test pour générer une deuxième norme et les comparer entre eux.
Normes d’utilisateurs : Reposent sur les groupes qui ont passés le test, généralement à l’intérieur d’une période déterminée.
Pourquoi est-ce que la méthode de la bissection n'exprime pas la vraie fidélité d'un test?
Parce que cette méthode nécessite l'administration de deux versions du test alors qu'en réalité, on va administrer juste une version du test – donc un test qui sera la moitié de la longueur calculée. On utilisera alors la correction de Spearman-Brown.
Je vais vous montrer une distribution de données d'un test. Vous devrez me calculer la sensibilité et la spécifité du test pour un point de coupure du test à 5, et un point de coupure du critère à 5.
Sensibilité : 80%
Spécificité : 60%
Expliquez 2 avantages relatifs des items à choix de réponses et 2 avantages relatifs des items à développement. Votre explication doit inclure pourquoi l'avantage est relatif (ie. en quoi il s'agit d'un avantage par rapport à l'autre type d'item).
CDR : 1) Fidélité de la cotation; 2) Optimisation temporelle ; 3)Optimisation de la cotation
Dévelo : 1) Facilitent l’observation du comportement et des processus associés au test ; 2) Permet l’explorations de zones inexplorées par les choix de réponses ; 3) Dans le domaine des tests de rendement, les items à développement favorisent une approche plus globale et valide (contrairement à une approche atomistique).
Lequel des items suivants est impossible, et pourquoi? Considérez que le pouvoir discriminant (D) est calculé selon le standard des 27% meilleurs et des 27% moins bons.
item 1 - p : 0,2 D : 0,2
item 2 - p : 0,4 D : 1
item 3 - p : 0,75 D : 0,25
item 4 - p : 0,95 D : 0,95
item 5 - p : 0,54 D : 0,34
l'item 4, puisqu'un facteur discriminant D de 0.95 voudrait dire qu'au plus 5% des moins bon ont réussit l'item, par rapport aux meilleurs (par exemple 5/100 vs 100/100). Or dans ce cas, il est impossible que l'indice de difficulté soit de .95 puisqu'on sait déjà qu'au moins 26% des individus n'ont pas réussit.