À propos de l’évaluation automatique
Vous pouvez utiliser la notation automatique afin de vérifier automatiquement un devoir effectué par un étudiant sur GitHub Classroom. Vous configurez des tests pour une assignation, et les tests s’exécutent immédiatement chaque fois qu’un étudiant procède à un envoi (push) vers un référentiel d’assignations sur GitHub.com. L’étudiant peut consulter les résultats des tests, apporter des modifications et procéder à des envois (push) pour consulter de nouveaux résultats.
Dès qu’un étudiant accepte un devoir, chaque fois qu’il le pousse dans le dépôt de devoirs (ou selon un calendrier défini par l’enseignant), GitHub Actions exécute les commandes de votre test d’évaluation automatique dans un environnement Linux contenant le code le plus récent de l’étudiant. GitHub Classroom crée les workflows nécessaires pour GitHub Actions. Vous n’avez pas besoin d’expérience avec GitHub Actions pour utiliser l’évaluation automatique, mais vous pouvez éventuellement modifier les configurations de flux de travail en fonction de vos besoins. Pour plus d’informations sur les workflows et GitHub Actions, consultez « À propos de l’intégration continue avec GitHub Actions ».
Vous pouvez utiliser un framework de test, exécuter une commande personnalisée, écrire des tests d’entrée/sortie ou combiner différentes méthodes de test. L’environnement Linux pour l’évaluation automatique contient de nombreux outils logiciels populaires. Pour plus d’informations, consultez les détails de la dernière version d’Ubuntu dans « Utilisation des exécuteurs hébergés par GitHub ».
Vous pouvez obtenir une vue d’ensemble des étudiants qui réussissent les tests d’évaluation automatique en accédant au devoir dans GitHub Classroom. Une coche verte signifie que l’étudiant réussit tous les tests et un X rouge signifie qu’il échoue à une partie ou la totalité des tests. Si vous attribuez des points à un ou plusieurs tests, une bulle montre la note des tests sur la note maximale possible du devoir.
Méthodes d’évaluation
GitHub Classroom fournit différentes présélections de test d’évaluation automatique qui peuvent être utilisées si vous ne souhaitez pas configurer vous-même les flux de travail GitHub Actions. Vous pouvez également choisir d’utiliser des données YAML GitHub Actions personnalisées pour définir votre propre flux de travail d’évaluation automatique.
Utilisation des présélections de GitHub
Vous pouvez utiliser les présélections sans avoir de connaissances sur GitHub Actions. Vous pouvez saisir des informations sur vos tests d’évaluation automatique. GitHub Classroom ajoute alors automatiquement les fichiers requis aux dépôts de devoirs des étudiants.
Il existe trois types de présélections : tests d’entrée/sortie, tests Python et tests d’exécution de commande.
Test d’entrée/sortie
Un test d’entrée/sortie exécute éventuellement une commande d’installation, puis fournit une entrée standard à une commande de test. GitHub Classroom évalue la sortie de la commande de test par rapport à un résultat attendu.
| Paramètre | Description |
|---|---|
| Nom du test | Nom du test, pour identifier le test dans les journaux |
| Commande d’installation | Facultatif. Commande à exécuter avant les tests, comme la compilation ou l’installation |
| Commande d’exécution | Commande permettant d’exécuter le test et de générer une sortie standard pour l’évaluation |
| Entrées | Entrée standard pour la commande d’exécution |
| Sortie attendue | Sortie que vous voulez voir comme sortie standard de la commande d’exécution |
| Comparaison | Type de comparaison entre la sortie de la commande d’exécution et la sortie attendue
|
| Délai d'expiration | En minutes, durée d’exécution d’un test avant d’entraîner un échec |
| Points | Facultatif. Nombre de points du test sur une note totale |
Test Python
Un test Python exécute une commande d’installation, puis exécute pytest. Le nombre de points attribués dépend du nombre de tests dans la suite de tests pytest que l’étudiant réussit. Chaque test vaut le même nombre de points. Vous pouvez modifier le nombre de points que la suite de tests entière vaut en modifiant le paramètre Points.
| Setting | Description |
|---|---|
| Nom du test | Nom du test, pour identifier le test dans les journaux |
| Commande d’installation | Facultatif. Commande à exécuter avant les tests, comme la compilation ou l’installation. Certaines dépendances sont déjà installées, mais vous pouvez en installer davantage si nécessaire. Vous n’avez pas besoin d’utiliser sudo, et devriez utiliser pip au lieu de pip3. |
| Commande d’exécution | Commande permettant d’exécuter le test et de générer un code de sortie pour l’évaluation |
| Délai d'expiration | En minutes, durée d’exécution d’un test avant d’entraîner un échec |
| Points | Facultatif. Le nombre total de points que vaut la suite pytest entière. Chaque test vaut Points / number_of_tests |
Test de commande d’exécution
Un test de commande d’exécution exécute une commande d’installation, puis une commande de test. GitHub Classroom vérifie l’état de sortie de la commande de test. Le code de sortie 0 indique la réussite et tous les autres code de sortie indique l’échec.
GitHub Classroom fournit des présélections pour les tests de commande d’exécution en fonction des différents langages de programmation. Par exemple, le test Exécuter le nœud préremplit la commande d’installation avec npm install et la commande de test avec npm test.
| Paramètre | Description |
|---|---|
| Nom du test | Nom du test, pour identifier le test dans les journaux |
| Commande d’installation | Facultatif. Commande à exécuter avant les tests, comme la compilation ou l’installation |
| Commande d’exécution | Commande permettant d’exécuter le test et de générer un code de sortie pour l’évaluation |
| Délai d'expiration | En minutes, durée d’exécution d’un test avant d’entraîner un échec |
| Points | Facultatif. Nombre de points du test sur une note totale |
Utilisation d’un workflow GitHub Actions personnalisé
Au lieu d’utiliser des présélections, vous pouvez également ajouter n’importe quel flux de travail GitHub Actions au fichier .github/workflows/classroom.yml dans votre référentiel de code de démarrage.
Vous pouvez modifier le fichier .github/workflows/classroom.yml directement à partir de la page de modification de devoir en sélectionnant YAML personnalisé au lieu de Présélections GitHub. Si vous cliquez sur Convertir en fichier de flux de travail, vous êtes invité à commiter vos modifications dans votre référentiel de code de démarrage. Cette synchronisation fonctionne uniquement si votre référentiel de code de démarrage se trouve dans la même organisation que votre salle de classe. Si votre référentiel de code de démarrage se trouve dans une autre organisation, vous devez modifier manuellement le fichier .github/workflows/classroom.yml.
Configuration des tests d’évaluation automatique pour un devoir
Vous pouvez ajouter des tests d’évaluation automatique pendant la création d’un devoir. Pour plus d’informations, consultez « Créer un devoir individuel » ou « Créer un devoir de groupe ».
Vous pouvez ajouter, modifier ou supprimer des tests d’évaluation automatique pour un devoir existant. Comme tous les changements effectués dans l’interface utilisateur de Classroom sont envoyés aux dépôts existants de l’étudiant, faites attention quand vous modifiez vos tests.
-
Connectez-vous à GitHub Classroom.
-
Dans la liste des classes, cliquez sur la classe que vous souhaitez afficher.
-
À droite du devoir à modifier, cliquez sur .
-
Dans la barre latérale gauche, cliquez sur Évaluation et commentaires.
-
Ajoutez, modifiez ou supprimez un test d’évaluation automatique.
-
Pour ajouter un test, sous « Ajouter des tests d’évaluation automatique », sélectionnez le menu déroulant Ajouter un test, puis cliquez sur la méthode d’évaluation que vous voulez utiliser. Configurez le test, puis cliquez sur Enregistrer le cas de test.
-
Pour modifier un test, à droite du nom du test, cliquez sur . Configurez le test, puis cliquez sur Enregistrer le cas de test.
-
Pour supprimer un test, à droite du nom du test, cliquez sur .
-
-
En bas de la page, cliquez sur Mettre à jour le devoir.
Configuration de l’exécution des tests d’évaluation automatique
Par défaut, les tests d’évaluation automatique s’exécutent automatiquement chaque fois qu’un étudiant envoie (push) vers un dépôt de devoirs sur GitHub.com. Toutefois, si vous souhaitez gérer vos minutes GitHub Actions, vous pouvez modifier ce comportement.
- Connectez-vous à GitHub Classroom.
- Dans la liste des classes, cliquez sur la classe que vous souhaitez afficher.
- À droite du devoir à modifier, cliquez sur .
- Dans la barre latérale gauche, cliquez sur Évaluation et commentaires.
- Sous votre liste de tests d’évaluation automatique, vous pouvez configurer le moment où les tests d’évaluation automatique sont exécutés.
- Chaque fois qu’un étudiant envoie un devoir : il s’agit du comportement par défaut.
- Selon une planification : vous pouvez définir une heure chaque jour ou chaque semaine pour l’exécution des tests d’évaluation automatique.
- Manuellement : les tests d’évaluation automatique sont exécutés manuellement par vous à partir du tableau de bord de devoirs.
Consultation et téléchargement des résultats des tests d’évaluation automatique
Télécharger les résultats d’évaluation automatique
Vous pouvez télécharger un fichier CSV avec des détails sur les devoirs de vos étudiants à l’aide du bouton « Télécharger » sur la page de présentation. Cela génère et télécharge un CSV contenant un lien vers le dépôt de l’étudiant, son descripteur GitHub, l’identificateur dans la liste de classe, l’horodatage d’envoi et la note d’évaluation automatique.
Voir les journaux individuels
- Connectez-vous à GitHub Classroom.
- Dans la liste des classes, cliquez sur la classe que vous souhaitez afficher.
- Dans la liste des devoirs, cliquez sur le devoir à afficher.
- À droite d’un envoi, cliquez sur .
- Passez en revue la sortie du test. Pour plus d’informations, consultez « Using workflow run logs ».