Błędna odpowiedź: co zrobić z wyjaśnieniem pod pytaniem

Kliknąłeś i jest czerwono. Pod pytaniem pojawia się wyjaśnienie: kilka zdań o tym, dlaczego poprawna odpowiedź jest poprawna, i drugie kilka o tym, dlaczego pozostałe nie. To, co zrobisz w następne pół minuty, decyduje, czy ten błąd zostanie naprawiony, czy utrwalony. Poprzednie wpisy z tej serii mówiły, co ćwiczyć, kiedy wracać i czym mierzyć część praktyczną. Ten jest o najkrótszym momencie nauki: tym zaraz po błędzie.

Co jest pod pytaniem

Najpierw fakty o samym materiale. W INF.02, największej kwalifikacji w bazie, każde z 3 767 pytań ma dwa wyjaśnienia: jedno tłumaczy, dlaczego poprawna odpowiedź jest poprawna (mediana 132 słowa), drugie – dlaczego błędne są błędne (mediana 166 słów). Widać je w trzech miejscach: w trybie nauki od razu po wybraniu odpowiedzi, w egzaminie próbnym w przeglądzie po zakończeniu – także bez konta – i na publicznej stronie każdego pytania.

Jedno zastrzeżenie od razu, bo należy się czytelnikowi: wyjaśnienia bywają błędne. Wzorcem jest klucz CKE i oryginalny arkusz, a nie tekst pod pytaniem, i jeśli wyjaśnienie kłóci się z tym, co wiesz z podręcznika, właściwą reakcją jest przycisk zgłoszenia błędu – dwa kliknięcia. O tym, co dzieje się dalej ze zgłoszeniem, napiszę osobno.

Test bez informacji zwrotnej uczy także błędów

Zacznę od badania, które zmienia sposób patrzenia na sam test wyboru. Butler i Roediger w 2008 roku dali studentom teksty do przeczytania, a potem test wielokrotnego wyboru – z dwiema, czterema albo sześcioma opcjami. Część pytań dostała od razu informację zwrotną, część po chwili, część wcale, a część materiału w ogóle nie była testowana. Tydzień później wszyscy odpowiadali na pytania otwarte z tego samego materiału.

Wyniki układają się w prostą drabinę. Materiał nietestowany: 14% poprawnych odpowiedzi. Testowany bez informacji zwrotnej: 31%. Testowany z natychmiastową informacją zwrotną: 45%. Z odroczoną: 56%. Sam test pomaga – to efekt testowania, o którym już pisałem – ale w tym eksperymencie wynik po tygodniu był przy odroczonej informacji zwrotnej prawie dwukrotnie wyższy niż bez niej.

Ważniejsza jest jednak druga tabela z tego badania: intruzje, czyli sytuacje, w których po tygodniu student jako odpowiedź podawał dystraktor z testu – błędną opcję, którą wtedy zobaczył albo wybrał. Bez testu takich odpowiedzi było 16%. Po teście bez informacji zwrotnej – 24%. Z informacją zwrotną – 15% i 14%.

Przeczytaj to jeszcze raz, bo to jest sedno wpisu. Test wyboru bez wyjaśnienia dał więcej utrwalonych błędów niż brak testu w ogóle. Każda błędna odpowiedź, którą wybrałeś i której nikt nie skorygował, ma szansę wrócić na egzaminie jako „coś, co kojarzę”. Wyjaśnienie pod pytaniem nie jest dodatkiem do testu – to właśnie informacja zwrotna ogranicza ryzyko utrwalenia błędnej odpowiedzi.

Samo „źle” to za mało, a „aż trafisz” nie musi dawać przewagi

Dwa kolejne wyniki mówią, jaka informacja zwrotna działa. Metaanaliza Bangert-Drownsa i współpracowników z 1991 roku, obejmująca 58 wielkości efektu z 40 badań, pokazała, że sama informacja „dobrze/źle” nie poprawia wyników – działa dopiero naprowadzenie na poprawną odpowiedź. Ta sama praca wskazuje, że efekt słabnie, gdy uczeń może podejrzeć odpowiedź, zanim jej udzieli – to znów ta sama rzecz, którą w poprzednich wpisach nazywałem czytaniem zamiast testowania.

Drugi wynik jest mniej intuicyjny. Butler, Karpicke i Roediger w 2007 roku porównali dwa rodzaje informacji zwrotnej po teście wyboru: pokazanie poprawnej odpowiedzi oraz „odpowiadaj dalej, aż trafisz”. Po jednym dniu wynik był identyczny: 71% i 71%. W tym badaniu klikanie do skutku nie dało żadnej przewagi nad pokazaniem poprawnej odpowiedzi – a w praktyce zamienia pytanie w zgadywankę, w której drugi klik jest już bez pokrycia w wiedzy.

W tym samym badaniu sprawdzono też czas: informacja zwrotna odroczona wypadła nieco lepiej niż natychmiastowa (73% wobec 68%), choć różnica nie była istotna statystycznie; w badaniu z 2008 roku odroczona wygrała wyraźniej. Te wyniki nie dają podstaw, żeby traktować odroczoną informację zwrotną jako gorszą od natychmiastowej. Dlatego przegląd błędów po egzaminie próbnym może być pełnowartościową częścią nauki – pod warunkiem, że faktycznie go zrobisz. Grzechem nie jest wybór trybu, tylko zamknięcie wyniku bez przeczytania wyjaśnień do błędnych odpowiedzi.

Najbardziej pewne błędy bywają najlepiej korygowane

Jest jeszcze jeden efekt, który przeczy intuicji. Wydawałoby się, że błąd popełniony z dużą pewnością jest najtrudniejszy do naprawienia – skoro tak mocno w coś wierzysz. Butterfield i Metcalfe pokazali w 2001 roku, że jest odwrotnie: błędy popełnione z dużą pewnością są po informacji zwrotnej poprawiane częściej niż błędy z małą pewnością. Zjawisko nazwano hiperkorekcją i od tamtej pory powtórzono je w wielu pracowniach. Najczęstsze wyjaśnienie: zaskoczenie. Poprawna odpowiedź, której się nie spodziewałeś, dostaje więcej uwagi niż ta, którą i tak podejrzewałeś.

Z jednym zastrzeżeniem, które ma znaczenie dla planu nauki: późniejsze badanie tej samej grupy pokazało, że efekt utrzymuje się po tygodniu, ale część błędów popełnionych z dużą pewnością wraca. Jedna korekta nie wystarcza. To dokładnie ten przypadek, w którym powtórka po dniu, potem po sześciu robi różnicę – dlatego szybki powrót błędnej odpowiedzi ma sens, a w serwisie pierwsza taka powtórka przypada po jednym dniu.

Jak czytać wyjaśnienie: pięć kroków na pół minuty

Na podstawie tych czterech badań można ułożyć prostą procedurę. Część kroków wynika z nich wprost, część to moje praktyczne przełożenie – zaznaczam, które. Jest krótka, bo moment po błędzie jest krótki.

1. Zanim odsłonisz wyjaśnienie, odpowiedz sobie na dwa pytania. Dlaczego wybrałem to, co wybrałem? Jak bardzo byłem pewny? To jedna sekunda, a robi dwie rzeczy: nazywa Twoje błędne przekonanie, żeby wyjaśnienie miało z czym się zderzyć, i pozwala zauważyć, czy był to błąd popełniony z dużą pewnością – a właśnie takie błędy w badaniach bywały szczególnie podatne na korektę.
2. Najpierw przeczytaj, dlaczego Twoja odpowiedź jest zła. To moja praktyczna propozycja kolejności, nie wynik badań: wybrany dystraktor jest tym, co ma szansę wrócić na egzaminie, więc jego proponuję rozbroić w pierwszej kolejności, a dopiero potem czytać, dlaczego poprawna jest poprawna. Wyjaśnienie „dlaczego błędne są błędne” jest pod pytaniem właśnie po to.
3. Wyciągnij regułę, nie fakt. Z pytania o urządzenie łączące sieci VLAN fakt brzmi „router”. Reguła brzmi: „ruch między różnymi sieciami IP wymaga routingu; koncentrator ani typowy punkt dostępowy nie pełnią funkcji routera”. Fakt odpowiada na to jedno pytanie. Reguła odpowiada na pytanie z innej sesji, sformułowane inaczej – a takich, jak pisałem w pierwszym wpisie o bazie, jest w każdej kwalifikacji sporo.
4. Nie klikaj drugi raz. Badanie z 2007 roku mówi wprost, że „aż trafisz” nie dodaje nic ponad zobaczenie poprawnej odpowiedzi. Jeśli tryb na to pozwala, i tak tego nie rób – drugi klik ma dużo mniejszą wartość diagnostyczną, bo nie wiadomo, czy wynika z wiedzy, z eliminacji czy z przypadku.
5. Zamknij i pozwól pytaniu wrócić. Nie czytaj wyjaśnienia trzy razy – to znów czytanie zamiast testowania. Jeśli pytanie trafiło do kolejki powtórek, w serwisie wróci następnego dnia – i wtedy okaże się, czy reguła z punktu trzeciego została.

I jeden krok poza procedurą: jeśli wyjaśnienie się nie zgadza z tym, co wiesz – z podręcznika, z lekcji, z klucza do arkusza – nie ucz się go na siłę. Zgłoś. Zgłoszenie trafia do weryfikacji z oryginalnym arkuszem CKE, a poprawione wyjaśnienie zobaczą wszyscy, którzy trafią na to pytanie po Tobie.

Czego nie wiem

Badania, na których stoi ten wpis, robiono na studentach uczelni, na tekstach ogólnych i z tygodniowym horyzontem – nie na zadaniach egzaminu zawodowego i nie na czteromiesięcznym cyklu nauki. Kierunek efektów jest zgodny między badaniami, ale konkretne procenty nie przenoszą się jeden do jednego.

Nie wiem, czy uczniowie, którzy czytają wyjaśnienia, zdają lepiej niż ci, którzy je pomijają – to da się kiedyś sprawdzić na danych serwisu i wtedy o tym napiszę, niezależnie od wyniku. Nie wiem też, jaka długość wyjaśnienia jest optymalna: nasze mają po sto kilkadziesiąt słów, a nie znam badania, które rozstrzygałoby, czy to za dużo, czy w sam raz. Wiem tylko z metaanalizy z 1991 roku, że samo „dobrze/źle” jest słabszą formą informacji zwrotnej niż podanie poprawnej odpowiedzi z naprowadzeniem.

To przedostatni odcinek tej serii. Ostatni złoży wszystkie poprzednie w jeden plan przygotowań: od deklaracji do dnia egzaminu, z liczbami z tych wpisów zamiast ogólnych rad. Pytania ze swojej kwalifikacji, razem z wyjaśnieniami, znajdziesz w dziale Kwalifikacje w zawodzie.