Skip to main content

Utiliser l’évaluation automatique

Vous pouvez automatiquement fournir des commentaires sur les soumissions de code de vos étudiants en configurant des tests à exécuter dans le dépôt de devoirs.

Qui peut utiliser cette fonctionnalité ?

Organization owners who are admins for a classroom can set up and use autograding on assignments in a classroom. Pour plus d’informations sur les administrateurs de salle de classe, consultez Gérer les classes.

À propos de l’évaluation automatique

Vous pouvez utiliser la notation automatique afin de vérifier automatiquement un devoir effectué par un étudiant sur GitHub Classroom. Vous configurez des tests pour une assignation, et les tests s’exécutent immédiatement chaque fois qu’un étudiant procède à un envoi (push) vers un référentiel d’assignations sur GitHub.com. L’étudiant peut consulter les résultats des tests, apporter des modifications et procéder à des envois (push) pour consulter de nouveaux résultats.

Dès qu’un étudiant accepte un devoir, chaque fois qu’il le pousse dans le dépôt de devoirs (ou selon un calendrier défini par l’enseignant), GitHub Actions exécute les commandes de votre test d’évaluation automatique dans un environnement Linux contenant le code le plus récent de l’étudiant. GitHub Classroom crée les workflows nécessaires pour GitHub Actions. Vous n’avez pas besoin d’expérience avec GitHub Actions pour utiliser l’évaluation automatique, mais vous pouvez éventuellement modifier les configurations de flux de travail en fonction de vos besoins. Pour plus d’informations sur les workflows et GitHub Actions, consultez « À propos de l’intégration continue avec GitHub Actions ».

Vous pouvez utiliser un framework de test, exécuter une commande personnalisée, écrire des tests d’entrée/sortie ou combiner différentes méthodes de test. L’environnement Linux pour l’évaluation automatique contient de nombreux outils logiciels populaires. Pour plus d’informations, consultez les détails de la dernière version d’Ubuntu dans « Utilisation des exécuteurs hébergés par GitHub ».

Vous pouvez obtenir une vue d’ensemble des étudiants qui réussissent les tests d’évaluation automatique en accédant au devoir dans GitHub Classroom. Une coche verte signifie que l’étudiant réussit tous les tests et un X rouge signifie qu’il échoue à une partie ou la totalité des tests. Si vous attribuez des points à un ou plusieurs tests, une bulle montre la note des tests sur la note maximale possible du devoir.

Méthodes d’évaluation

GitHub Classroom fournit différentes présélections de test d’évaluation automatique qui peuvent être utilisées si vous ne souhaitez pas configurer vous-même les flux de travail GitHub Actions. Vous pouvez également choisir d’utiliser des données YAML GitHub Actions personnalisées pour définir votre propre flux de travail d’évaluation automatique.

Utilisation des présélections de GitHub

Vous pouvez utiliser les présélections sans avoir de connaissances sur GitHub Actions. Vous pouvez saisir des informations sur vos tests d’évaluation automatique. GitHub Classroom ajoute alors automatiquement les fichiers requis aux dépôts de devoirs des étudiants.

Il existe trois types de présélections : tests d’entrée/sortie, tests Python et tests d’exécution de commande.

Test d’entrée/sortie

Un test d’entrée/sortie exécute éventuellement une commande d’installation, puis fournit une entrée standard à une commande de test. GitHub Classroom évalue la sortie de la commande de test par rapport à un résultat attendu.

ParamètreDescription
Nom du testNom du test, pour identifier le test dans les journaux
Commande d’installationFacultatif. Commande à exécuter avant les tests, comme la compilation ou l’installation
Commande d’exécutionCommande permettant d’exécuter le test et de générer une sortie standard pour l’évaluation
EntréesEntrée standard pour la commande d’exécution
Sortie attendueSortie que vous voulez voir comme sortie standard de la commande d’exécution
ComparaisonType de comparaison entre la sortie de la commande d’exécution et la sortie attendue

  • Inclus : réussit quand la sortie attendue s’affiche
    n’importe où dans la sortie standard de la commande d’exécution
  • Exact : réussit quand la sortie attendue est complètement identique
    à la sortie standard de la commande d’exécution
  • Regex : réussit si l’expression régulière dans la sortie attendue
    correspond à la sortie standard de la commande d’exécution
Délai d'expirationEn minutes, durée d’exécution d’un test avant d’entraîner un échec
PointsFacultatif. Nombre de points du test sur une note totale

Test Python

Un test Python exécute une commande d’installation, puis exécute pytest. Le nombre de points attribués dépend du nombre de tests dans la suite de tests pytest que l’étudiant réussit. Chaque test vaut le même nombre de points. Vous pouvez modifier le nombre de points que la suite de tests entière vaut en modifiant le paramètre Points.

SettingDescription
Nom du testNom du test, pour identifier le test dans les journaux
Commande d’installationFacultatif. Commande à exécuter avant les tests, comme la compilation ou l’installation. Certaines dépendances sont déjà installées, mais vous pouvez en installer davantage si nécessaire. Vous n’avez pas besoin d’utiliser sudo, et devriez utiliser pip au lieu de pip3.
Commande d’exécutionCommande permettant d’exécuter le test et de générer un code de sortie pour l’évaluation
Délai d'expirationEn minutes, durée d’exécution d’un test avant d’entraîner un échec
PointsFacultatif. Le nombre total de points que vaut la suite pytest entière. Chaque test vaut Points / number_of_tests

Test de commande d’exécution

Un test de commande d’exécution exécute une commande d’installation, puis une commande de test. GitHub Classroom vérifie l’état de sortie de la commande de test. Le code de sortie 0 indique la réussite et tous les autres code de sortie indique l’échec.

GitHub Classroom fournit des présélections pour les tests de commande d’exécution en fonction des différents langages de programmation. Par exemple, le test Exécuter le nœud préremplit la commande d’installation avec npm install et la commande de test avec npm test.

ParamètreDescription
Nom du testNom du test, pour identifier le test dans les journaux
Commande d’installationFacultatif. Commande à exécuter avant les tests, comme la compilation ou l’installation
Commande d’exécutionCommande permettant d’exécuter le test et de générer un code de sortie pour l’évaluation
Délai d'expirationEn minutes, durée d’exécution d’un test avant d’entraîner un échec
PointsFacultatif. Nombre de points du test sur une note totale

Utilisation d’un workflow GitHub Actions personnalisé

Au lieu d’utiliser des présélections, vous pouvez également ajouter n’importe quel flux de travail GitHub Actions au fichier .github/workflows/classroom.yml dans votre référentiel de code de démarrage.

Vous pouvez modifier le fichier .github/workflows/classroom.yml directement à partir de la page de modification de devoir en sélectionnant YAML personnalisé au lieu de Présélections GitHub. Si vous cliquez sur Convertir en fichier de flux de travail, vous êtes invité à commiter vos modifications dans votre référentiel de code de démarrage. Cette synchronisation fonctionne uniquement si votre référentiel de code de démarrage se trouve dans la même organisation que votre salle de classe. Si votre référentiel de code de démarrage se trouve dans une autre organisation, vous devez modifier manuellement le fichier .github/workflows/classroom.yml.

Configuration des tests d’évaluation automatique pour un devoir

Vous pouvez ajouter des tests d’évaluation automatique pendant la création d’un devoir. Pour plus d’informations, consultez « Créer un devoir individuel » ou « Créer un devoir de groupe ».

Vous pouvez ajouter, modifier ou supprimer des tests d’évaluation automatique pour un devoir existant. Comme tous les changements effectués dans l’interface utilisateur de Classroom sont envoyés aux dépôts existants de l’étudiant, faites attention quand vous modifiez vos tests.

  1. Connectez-vous à GitHub Classroom.

  2. Dans la liste des classes, cliquez sur la classe que vous souhaitez afficher.

  3. À droite du devoir à modifier, cliquez sur .

  4. Dans la barre latérale gauche, cliquez sur Évaluation et commentaires.

  5. Ajoutez, modifiez ou supprimez un test d’évaluation automatique.

    • Pour ajouter un test, sous « Ajouter des tests d’évaluation automatique », sélectionnez le menu déroulant Ajouter un test, puis cliquez sur la méthode d’évaluation que vous voulez utiliser. Configurez le test, puis cliquez sur Enregistrer le cas de test.

    • Pour modifier un test, à droite du nom du test, cliquez sur . Configurez le test, puis cliquez sur Enregistrer le cas de test.

    • Pour supprimer un test, à droite du nom du test, cliquez sur .

  6. En bas de la page, cliquez sur Mettre à jour le devoir.

Configuration de l’exécution des tests d’évaluation automatique

Par défaut, les tests d’évaluation automatique s’exécutent automatiquement chaque fois qu’un étudiant envoie (push) vers un dépôt de devoirs sur GitHub.com. Toutefois, si vous souhaitez gérer vos minutes GitHub Actions, vous pouvez modifier ce comportement.

  1. Connectez-vous à GitHub Classroom.
  2. Dans la liste des classes, cliquez sur la classe que vous souhaitez afficher.
  3. À droite du devoir à modifier, cliquez sur .
  4. Dans la barre latérale gauche, cliquez sur Évaluation et commentaires.
  5. Sous votre liste de tests d’évaluation automatique, vous pouvez configurer le moment où les tests d’évaluation automatique sont exécutés.
    • Chaque fois qu’un étudiant envoie un devoir : il s’agit du comportement par défaut.
    • Selon une planification : vous pouvez définir une heure chaque jour ou chaque semaine pour l’exécution des tests d’évaluation automatique.
    • Manuellement : les tests d’évaluation automatique sont exécutés manuellement par vous à partir du tableau de bord de devoirs.

Consultation et téléchargement des résultats des tests d’évaluation automatique

Télécharger les résultats d’évaluation automatique

Vous pouvez télécharger un fichier CSV avec des détails sur les devoirs de vos étudiants à l’aide du bouton « Télécharger » sur la page de présentation. Cela génère et télécharge un CSV contenant un lien vers le dépôt de l’étudiant, son descripteur GitHub, l’identificateur dans la liste de classe, l’horodatage d’envoi et la note d’évaluation automatique.

Voir les journaux individuels

  1. Connectez-vous à GitHub Classroom.
  2. Dans la liste des classes, cliquez sur la classe que vous souhaitez afficher.
  3. Dans la liste des devoirs, cliquez sur le devoir à afficher.
  4. À droite d’un envoi, cliquez sur .
  5. Passez en revue la sortie du test. Pour plus d’informations, consultez « Using workflow run logs ».

Pour aller plus loin