Umieszczenie w sekcji <head> metainformacji <meta name="robots" content="noindex"> powoduje, że
Cache-Control.noindex prosi roboty wyszukiwarek, by nie dodawały strony do indeksu.Metainformacja <meta name="robots" content="noindex"> to polecenie dla robotów wyszukiwarek: stronę można odwiedzić, ale nie należy jej dodawać do indeksu, więc nie pojawi się w wynikach wyszukiwania. Zwykły użytkownik nadal ją otworzy bez przeszkód.
Stosuje się ją na stronach, które nie mają trafiać do wyszukiwarki: koszyk, wyniki wewnętrznej wyszukiwarki, strony testowe. Wartość można łączyć z nofollow (content="noindex, nofollow"), które prosi dodatkowo o niepodążanie za odnośnikami. Do zapamiętania: robots steruje robotami, description zawiera opis strony, a keywords słowa kluczowe.
Wyszukiwarka musi najpierw odwiedzić stronę, żeby przeczytać tę metainformację, dlatego strony nie blokuje się jednocześnie w pliku robots.txt.
Wybór ograniczenia dostępu do zalogowanych bierze się z przekonania, że „ukrycie przed wyszukiwarką” chroni stronę. Metainformacja nie ma takiej mocy: to tylko prośba do robotów, a stronę nadal otworzy każdy, kto zna adres. Dostęp dla zalogowanych wymaga logiki po stronie serwera, na przykład sesji w PHP.
Pamięcią podręczną przeglądarki steruje się nagłówkami HTTP, przede wszystkim Cache-Control. Wartość noindex dotyczy indeksu wyszukiwarki, a nie przechowywania kopii strony na komputerze użytkownika.
Odnośniki działają dalej, bo metainformacje w <head> nie zmieniają zachowania elementów strony. Nawet wartość nofollow mówi tylko robotom, by nie podążały za linkami - człowiek kliknie je normalnie. Jedynym skutkiem noindex jest to, że roboty wyszukiwarek nie dodadzą strony do indeksu.
Metainformacje opisują stronę dla programów, które ją czytają, i nie zmieniają tego, co widzi oraz może zrobić człowiek w przeglądarce.