Meta robots
Meta robots to znacznik HTML umieszczany w sekcji <head> dokumentu, który przekazuje robotom wyszukiwarek instrukcje dotyczące danej podstrony: czy ma zostać zaindeksowana i czy robot powinien podążać za znajdującymi się na niej odnośnikami. To jedno z najważniejszych narzędzi precyzyjnej kontroli indeksowania w SEO.
Na czym polega meta robots?
Znacznik przyjmuje w atrybucie content jedną lub więcej dyrektyw. Najważniejsze to: index / noindex (czy strona ma pojawić się w wynikach wyszukiwania) oraz follow / nofollow (czy robot ma podążać za linkami i przekazywać im moc). Domyślnie, gdy znacznika brak, roboty zakładają index, follow. Dostępne są też dodatkowe wartości, jak noarchive (bez kopii w pamięci podręcznej), nosnippet czy max-snippet, sterujące sposobem prezentacji w SERP. Dyrektywy można też przekazać nagłówkiem HTTP X-Robots-Tag, co jest przydatne dla plików nie-HTML, na przykład PDF.
Zastosowanie w praktyce
Meta robots stosuje się, by wykluczyć z indeksu strony bez wartości dla wyszukiwarki: wyniki wewnętrznej wyszukiwarki, koszyk, strony logowania, wersje do druku, podziękowania po formularzu czy zduplikowane warianty. Kombinacja noindex, follow pozwala ukryć stronę w wynikach, jednocześnie zachowując przepływ mocy przez jej linki do reszty serwisu.
Ważne, by nie mylić meta robots z plikiem robots.txt: aby robot odczytał dyrektywę noindex, musi mieć możliwość wejścia na stronę, dlatego blokowanie tej samej ścieżki w robots.txt sprawia, że znacznik nigdy nie zostanie przeczytany. W tandemie z meta robots często wykorzystuje się też znacznik canonical do wskazywania preferowanej wersji strony.
Poprawne zarządzanie dyrektywami meta robots ma bezpośredni wpływ na tzw. crawl budget, czyli zasoby, jakie wyszukiwarka przeznacza na skanowanie serwisu. Wykluczając z indeksu strony bez wartości, kierujemy uwagę robotów na treści istotne dla pozycjonowania, co przyspiesza indeksację nowych podstron. W dużych serwisach i sklepach z tysiącami adresów świadome sterowanie indeksowaniem bywa jednym z kluczowych elementów technicznego SEO, a błędy w tym obszarze — jak przypadkowy noindex na całej witrynie — potrafią drastycznie obniżyć widoczność w wynikach wyszukiwania.
Powiązane pojęcia
Najczęstsze pytania
Czym różni się meta robots od pliku robots.txt?
Plik robots.txt kontroluje, czy robot ma prawo pobrać (zaindeksować crawlerem) daną ścieżkę, i działa na poziomie całego serwera. Znacznik meta robots działa na poziomie pojedynczej strony i steruje jej indeksowaniem oraz podążaniem za linkami — ale robot musi najpierw móc wejść na stronę, by go odczytać. Dlatego strony zablokowanej w robots.txt nie da się skutecznie oznaczyć noindex.