Losowy test to sprawdzian, a nie metoda nauki

Dwadzieścia losowych testów po czterdzieści pytań. Osiemset rozwiązanych zadań, wyniki między 70 a 80%, poczucie, że materiał jest opanowany. W kwalifikacji INF.02 znaczy to tyle: widziałeś niecałe jedną piątą puli, około osiemdziesięciu z tych 800 losowań było już powtórkami, a o kilku kategoriach wiesz tyle, ile mówią trzy pytania na test. Ten wpis jest o tym, dlaczego losowy test świetnie mierzy, ale słabo uczy – i co z tym zrobić.

Skończona pula zmienia zasady

Pytania w bazie pochodzą z arkuszy CKE z poprzednich sesji, więc zbiór jest skończony i policzalny. Pisałem o tym w pierwszym wpisie z serii o liczbach: Twoja kwalifikacja to nie sto kilkadziesiąt tysięcy pytań, tylko konkretna liczba – najczęściej kilkaset, w największych kwalifikacjach kilka tysięcy – a część zadań wraca w kolejnych sesjach.

Przy praktycznie nieograniczonej puli losowe próbkowanie byłoby naturalną strategią: nie da się „przerobić wszystkiego”, więc trzeba próbkować. Ze skończoną pulą jest odwrotnie. Da się przejść całość, a każde losowanie to ryzyko, że trafisz na to, co już znasz, zamiast na to, czego nie widziałeś.

Ile puli widzisz po dwudziestu testach

Poniżej rachunek dla trzech rozmiarów kwalifikacji. Założenie jest proste i warto je nazwać wprost: każdy test losuje 40 pytań z całej puli i nie pamięta, co już było. Tak działa zwykły egzamin próbny – i tak działa większość aplikacji z testami.

Ostatnia kolumna to średnia liczba testów, jakiej losowanie potrzebuje, żeby pokazać każde pytanie choć raz – nie gwarancja, bo pech potrafi ten czas wydłużyć, a szczęście skrócić. W INF.02 to ponad osiemset testów – trzydzieści trzy tysiące rozwiązanych zadań, żeby obejrzeć pulę, która ma ich niecałe cztery tysiące. Reszta to powtórki, i to nie te, które byś sam wybrał.

W małej kwalifikacji losowanie jest mniej kosztowne: po pięćdziesięciu testach widziałeś prawie wszystko. Ale nawet tam ostatnie kilka procent puli znika w długim ogonie losowania – to właśnie te pytania, których nigdy nie miałeś przed oczami, choć rozwiązałeś dwa tysiące zadań.

Losowanie kopiuje nierówności

Druga rzecz, którą losowanie robi po cichu: odtwarza proporcje puli. Każda kwalifikacja jest podzielona na kategorie tematyczne, a te mają bardzo różne rozmiary. W INF.02 wygląda to tak:

Po dwudziestu testach masz za sobą około czterystu pytań o sieci i około sześćdziesięciu o Linuksa. Jeżeli akurat Linux jest Twoją dziurą, losowy test tego nie pokaże – trzy pytania na test to za mało, żeby wynik drgnął. Możesz mieć 75% z każdego testu, a nadal bardzo słabo znać całą kategorię.

To jest istota problemu. Losowy wynik mówi, ile umiesz średnio. Nie mówi, czego nie umiesz. A do egzaminu przygotowuje odpowiedź na to drugie pytanie.

Dlaczego rozwiązywanie pytań w ogóle działa

Żeby było jasne: sam pomysł, żeby uczyć się przez rozwiązywanie pytań, jest bardzo dobry. Jest wręcz jedną z najlepiej udokumentowanych technik nauki w całej psychologii uczenia się.

W klasycznym eksperymencie Roedigera i Karpicke z 2006 roku studenci czytali tekst, a potem albo czytali go ponownie, albo próbowali odtworzyć z pamięci – bez podglądania i bez informacji zwrotnej. Sprawdzeni po pięciu minutach lepiej wypadali ci, którzy czytali ponownie: 81% wobec 75%. Po dwóch dniach było już odwrotnie: 68% u testowanych wobec 54% u czytających. Po tygodniu testowani pamiętali 56%, czytający 42%. W drugim eksperymencie, gdzie porównywano cztery czytania z jednym czytaniem i trzema próbami odtworzenia, po tygodniu wynik rósł wraz z liczbą testów, nie czytań.

Zwróć uwagę na pierwszą liczbę. Powtórne czytanie wygrywa na krótką metę – i dokładnie dlatego wydaje się skuteczne. Uczeń, który trzeci raz czyta notatki, czuje, że materiał „siedzi”, bo w tej chwili rzeczywiście siedzi. Tydzień później już nie.

Przegląd dziesięciu technik uczenia się, który w 2013 roku opublikował zespół Dunlosky'ego, dał tylko dwóm z nich najwyższą ocenę użyteczności: testowaniu się i rozkładaniu nauki w czasie. Najniższą dostały między innymi ponowne czytanie, podkreślanie i streszczanie – czyli to, co większość osób robi, gdy mówi, że „się uczy”.

Ma to jedną niewygodną konsekwencję dla popularnego sposobu pracy z bazami pytań: czytanie listy pytań z zaznaczoną poprawną odpowiedzią nie jest testowaniem się. Jest ponownym czytaniem. Wygląda jak nauka z pytań, ale mózg robi to samo, co przy trzeciej lekturze notatek. Test zaczyna się dopiero wtedy, gdy odpowiedź trzeba wybrać, zanim się ją zobaczy.

Jedno zastrzeżenie: to badania laboratoryjne na studentach uczelni, z tekstami i listami słów, a nie z zadaniami egzaminu zawodowego. Nie traktuj tych procentów jako gwarancji. Sam kierunek efektu był jednak wielokrotnie powtarzany w bardzo różnych warunkach i należy do najlepiej udokumentowanych zjawisk w badaniach nad uczeniem się.

Co losowy test robi dobrze

Byłoby nieuczciwie napisać, że losowanie jest bezwartościowe. Ma dwie realne zalety.

Pierwsza: miesza tematy. Pytanie o adresację IP obok pytania o licencje, potem o diagnostykę zasilacza. W przeglądzie Dunlosky'ego przeplatanie tematów dostało ocenę umiarkowaną, ale pozytywną – zmusza do rozpoznania, jakiego rodzaju jest problem, zanim zaczniesz go rozwiązywać, a na egzaminie nikt nie powie Ci, z którego działu jest zadanie numer 17.

Druga: odtwarza warunki egzaminu. Czterdzieści pytań, sześćdziesiąt minut, wynik na końcu, a nie po każdym pytaniu. Trening tempa i decyzji „zostawiam i wracam” wymaga właśnie takiej formy.

Obie zalety mówią to samo: losowy test jest dobrym sprawdzianem. Raz na jakiś czas, żeby zmierzyć, gdzie jesteś, i przećwiczyć sam egzamin. Jako codzienna metoda przerabiania materiału ma wady policzone w tabelach wyżej.

Powrót do błędów – i kiedy

Losowanie ma jeszcze jedną słabość, o której rzadko się mówi: nie wraca do tego, co pomyliłeś. Pytanie, na które odpowiedziałeś źle we wtorek, ma w czwartek dokładnie taką samą szansę na pojawienie się jak każde inne – w INF.02 około jednej na dziewięćdziesiąt.

A kiedy wracać? Tu badania są zaskakująco konkretne. W eksperymencie Cepedy i współpracowników z 2008 roku ponad 1350 osób uczyło się zestawu faktów, powtarzało go po przerwie od kilku minut do trzech i pół miesiąca, a sprawdzian dostawało po kolejnym opóźnieniu, nawet do roku. Przy każdym horyzoncie wydłużanie przerwy między nauką a powtórką najpierw poprawiało wynik, a potem go pogarszało – jest więc odstęp optymalny, i zależy on od tego, kiedy czeka Cię sprawdzian. Przy horyzoncie kilku tygodni najlepiej działała przerwa rzędu jednej piątej tego czasu; przy horyzoncie roku – rzędu jednej dwudziestej.

Dla kogoś, kto ma cztery miesiące do sesji, wychodzi z tego odstęp liczony w tygodniach, nie w dniach. Powtarzanie wszystkiego już następnego dnia wykorzystuje ten czas gorzej niż powrót po dłuższej przerwie, a zostawienie pierwszej powtórki na przeddzień egzaminu nie daje już miejsca na kolejne cykle. Krótki odstęp ma sens jako pierwszy krok po błędzie – pod warunkiem, że po nim przyjdą dłuższe.

Jak to ułożyć w praktyce

Wnioski z tabel i badań przekładają się na cztery proste zasady. Piszę je pod narzędzia, które mam w serwisie, ale zasady są ogólne.

1. Najpierw zapewnij pełne pokrycie puli. Najprościej zrobić to, przechodząc ją systematycznie po kolei: w trybie nauki pytania kwalifikacji idą jedno za drugim, z zapisem postępu i możliwością wznowienia tam, gdzie skończyłeś. Po przejściu całości wiesz, że nie ma pytania, którego nigdy nie widziałeś – czego losowanie nie zagwarantuje nawet po setce testów.
2. Kategoriami, z najmniejszymi na równi z największymi. Na liście pytań każdej kwalifikacji jest filtr kategorii; kategoria przerobiona do końca pokazuje dziurę, której średnia z losowego testu nie pokaże. Nie omijaj przy tym pytań z grafiką – to co piąte zadanie w bazie.
3. Do błędów wracaj po dniach i tygodniach, nie od razu. W trybie nauki jest filtr „błędne do powtórki”, a pytania z egzaminów online trafiają do powtórek planowanych algorytmem SM-2: błędne wracają po jednym dniu, poprawne po trzech, a każde kolejne trafienie wydłuża odstęp. To jest właśnie mechanizm, który losowanie pomija.
4. Losowy egzamin próbny traktuj jak sprawdzian. Na przykład raz w tygodniu, na czas, bez podglądania. Jego zadaniem jest zmierzyć postęp i oswoić Cię z formą – nie zastąpić naukę.

Kolejność ma znaczenie: przejście puli daje pokrycie, kategorie dają mapę dziur, powtórki utrwalają, a losowy test mierzy, czy to wszystko zadziałało. Zaczynanie od losowych testów odwraca ten porządek – mierzysz coś, czego jeszcze nie zbudowałeś.

Czego nie wiem

Nie mam danych, które pokazałyby, że użytkownicy uczący się liniowo zdają egzamin lepiej niż ci, którzy tylko losują. Takie porównanie da się kiedyś zrobić na wynikach egzaminów online w serwisie i jeśli je zrobię, napiszę o tym osobno – także wtedy, gdy wyjdzie inaczej, niż zakładam.

Rachunek pokrycia jest modelem: prawdziwe losowanie może mieć różne warianty, a uczeń, który losuje z jednej kategorii, ma inne liczby niż w tabeli. Kierunek jednak zostaje – im większa pula, tym drożej kosztuje zobaczenie jej losowaniem.

Dwa poprzednie wpisy z tej serii mówiły o części praktycznej i o tym, co na egzaminie scala się w jedno. Ten dotyczy pisemnej, a w kolejnym rozbiorę same powtórki rozłożone w czasie: skąd bierze się odstęp, co robi algorytm i gdzie jego granice. Swoją kwalifikację i liczbę jej pytań znajdziesz w dziale Kwalifikacje w zawodzie.