Notre méthode scientifique

Quand nous affirmons quelque chose sur l'apprentissage, nous voulons pouvoir dire d'où cela vient : de la recherche, d'un choix de conception de notre part, ou d'une mesure que nous n'avons pas encore faite. Cette page explique comment nous faisons cette distinction, sur quoi nous nous appuyons et ce que nous ne savons pas encore.

01 · Niveaux de preuve

Établi, soutenu, choisi, mesuré

Pour chaque élément de L'Oreille Externe (une question, un rappel, un format d'épisode), nous tenons un registre interne qui précise d'où vient ce que nous en disons. Nous séparons toujours le principe général, étudié par la recherche, et la façon dont nous l'appliquons : un principe solide ne rend pas automatiquement notre version efficace.

Deux autres cas existent. Quand les études se contredisent, nous décrivons le désaccord sans trancher. Quand aucune étude n'existe, nous écrivons simplement que nous ne savons pas. L'absence de preuve n'est pas une preuve d'inefficacité : un choix non testé se garde, et se teste.

Établi par la recherche

Plusieurs méta-analyses ou essais répétés vont dans le même sens. Nous citons le principe, sa source et ses limites, sans prétendre que notre façon de l'appliquer en hérite automatiquement.

Soutenu, avec des limites

Il existe de vraies preuves, mais sur une population, un matériel ou une durée qui ne sont pas les vôtres. Nous donnons le résultat avec sa limite dans la même phrase.

Notre choix de conception

Un réglage, un seuil ou un format que nous avons choisi sans qu'une étude l'ait comparé à d'autres. Il s'inspire souvent d'un principe solide. Nous écrivons « nous avons fait ce choix », jamais « la science montre ».

Mesuré chez nous

Un résultat tiré de nos propres données d'apprentissage, avec l'effectif, la période et la méthode. À ce jour, aucune de nos analyses ne porte encore sur l'apprentissage lui-même : c'est ce que nous construisons.

02 · Sur quoi nous nous appuyons

Les principes les mieux soutenus par la recherche

Pour chaque principe : ce que l'on peut dire, la source principale, ses limites et l'endroit où vous le retrouvez dans L'Oreille Externe.

Établi par la recherche

Se tester plutôt que relire

Se tester sur des questions améliore en moyenne la rétention par rapport à relire, surtout au bout de plusieurs jours, et surtout si on regarde la correction ensuite.

Source : Yang et al., 2021, Psychological Bulletin : méta-analyse de 222 études menées en classe.

Limites : La plupart de ces études portent sur des étudiants hors médecine et sur un matériel plus simple que vos cours ; aucune ne porte sur les annales des EDN.

Chez nous : Annales, QCM et dossiers progressifs.

Établi par la recherche

Espacer ses révisions

Étaler ses révisions retient plus longtemps que tout concentrer, surtout quand l'examen est à plusieurs semaines ou mois. Les étudiants pensent souvent l'inverse. La forme exacte de l'espacement compte moins que le fait d'espacer.

Source : Cepeda et al., 2006, Psychological Bulletin (méta-analyse) ; Latimier, Peyre et Ramus, 2021, Educational Psychology Review (méta-analyse).

Limites : Les résultats varient beaucoup d'une étude à l'autre, et aucun essai ne porte sur la préparation des EDN.

Chez nous : Flashcards planifiées, révision espacée des QCM, planning de révision.

Soutenu, avec des limites

Une correction qui explique

Voir la bonne réponse est utile ; une explication du raisonnement l'est en général davantage que savoir seulement si on a juste.

Source : Van der Kleij et al., 2015, Review of Educational Research (méta-analyse).

Limites : Ces études portent surtout sur des tâches simples et des élèves hors médecine. Aucune n'a comparé une correction courte à une correction aussi détaillée que la nôtre : ce qui compte, c'est de vraiment la lire.

Chez nous : Correction détaillée après chaque question.

Soutenu, avec des limites

Écouter ou lire

En moyenne, lire et écouter donnent des résultats proches pour comprendre un contenu court ; l'audio est souvent préféré.

Source : Clinton-Lisell, 2022, Review of Educational Research : méta-analyse de 46 études.

Limites : Aucune étude n'a testé formellement si l'audio vaut l'écrit, et aucune ne porte sur les EDN. Écouter est une exposition au cours, pas un test : pour retenir, complétez par des questions.

Chez nous : Un podcast et une fiche pour chaque item.

Soutenu, avec des limites

Raconter et annoncer le plan

Les histoires sont en général mieux retenues que les explications abstraites ; annoncer le plan et résumer à la fin sont des pratiques recommandées par la recherche.

Source : Mar et al., 2021, Psychonomic Bulletin & Review : méta-analyse de 37 études.

Limites : Les résultats varient beaucoup d'une étude à l'autre, et ces études portent sur des textes, pas sur des cours de médecine.

Chez nous : Chaque épisode commence par une anecdote, annonce son plan et se termine par un résumé.

03 · Nos choix

Ce que nous avons choisi, et que nous testons

Beaucoup de réglages de L'Oreille Externe sont des choix de conception. Ils s'inspirent souvent d'un principe solide, mais aucune étude ne les a comparés à d'autres valeurs. Nous les présentons comme tels.

La durée des épisodes

Nos épisodes durent 15 à 20 minutes et sont découpés en chapitres, pour que vous gardiez le contrôle de votre écoute. Aucune étude ne compare des durées d'épisode : c'est un choix éditorial.

Le délai avant de retester une erreur

Les erreurs commises avec assurance sont, en laboratoire, corrigées plus facilement que les autres, mais elles reviennent au bout d'une semaine si on ne les retravaille pas. D'où l'idée de les retester. Quand vous vous trompez après avoir indiqué être sûr de vous, nous vous reposons la question au moins 20 heures plus tard : ce délai est notre choix, aucune étude ne l'a comparé à un autre.

Les réécoutes programmées

Espacer les révisions aide à retenir plus longtemps que tout réviser d'un coup. Les rendez-vous de réécoute à J+1, J+3 et J+7 sont en revanche notre choix, et l'effet d'une réécoute espacée d'un podcast n'a pas été étudié.

L'algorithme des flashcards

Nous planifions vos révisions avec FSRS-6, un algorithme open source de prédiction de l'oubli, évalué sur 350 millions de révisions Anki. Cela mesure la qualité de la prédiction, pas la réussite aux examens. Ses réglages sont les mêmes pour tous.

La difficulté des questions proposées

L'idée de choisir des questions ni trop faciles ni trop difficiles est intuitive et inspire des travaux théoriques ; nous comparons une cible de 70 % et une cible de 85 % de réussite dans un test en cours, encore trop petit pour conclure.

L'enchaînement écoute puis questions

Se tester améliore en moyenne la rétention, y compris pour un contenu entendu (Yang et al., 2021). Nous proposons quelques QCM après chaque épisode ; nous ne savons pas encore si cet enchaînement aide nos étudiants, car notre test actuel ne mesure que le fait de l'accepter.

Comment nous mesurons

Pour juger un choix, nous ne regardons que ce qui reflète l'apprentissage : ce que vous retenez plusieurs jours plus tard, votre réussite à des questions que vous n'avez encore jamais vues, et l'accord entre votre confiance et vos résultats.

Le temps passé, le nombre de séances ou d'épisodes écoutés ne prouvent pas que vous avez appris. Un épisode est marqué comme écouté quand vous en avez entendu au moins les trois quarts : écouté ne veut pas dire acquis. Nous suivons ces chiffres pour le confort d'usage, jamais comme preuve d'efficacité.

Notre effectif reste modeste : nos tests ne peuvent détecter que des effets assez nets. Quand un test ne permet pas de conclure, nous le disons, et le choix reste ce qu'il est : un choix de conception.

04 · Questions ouvertes

Ce que nous ne savons pas encore

Ces questions restent ouvertes, dans la recherche comme chez nous. Nous préférons le dire plutôt que de combler le vide par une promesse.

Si écouter un épisode vaut lire la fiche correspondante pour réussir des questions d'EDN : aucune étude ne l'a testé, et nous ne l'avons pas encore mesuré.
Si réécouter un podcast à intervalles espacés aide à retenir : les études sur l'espacement portent sur la relecture et le rappel, aucune sur la réécoute d'un podcast.
Quel taux de réussite aux questions fait le mieux progresser : c'est l'objet d'un de nos tests.
Si voir sa progression change les résultats : les recherches sur les tableaux de bord montrent surtout qu'ils augmentent la participation ; leur effet sur les notes n'est pas démontré.
Si la voix du patient simulé, dans nos stations d'ECOS, change les résultats d'apprentissage. Nous n'avons pas encore mesuré non plus l'accord de notre correcteur avec des examinateurs humains.
L'effet de nos outils, pris ensemble, sur votre note aux EDN.

Explorer

Pour aller plus loin

Toutes les études citées, avec leur type, leur population et leurs limites, sont sur la page des sources.

Sources scientifiques

Les études, leurs résultats et leurs limites

Notre méthode audio

Ce que la recherche dit de l'écoute

Mettre ces principes en pratique

Tout le programme officiel, inspiré de la recherche.

Commencer gratuitement