Google indeksuje dziennie setki tysięcy jeśli nie miliony nowych stron WWW. Jest wiele różnych sposobów, dzięki którym robot Google może znaleźć nowe strony w sieci. Jednym z nich jest zgłoszenie nowego adresu na stronie http://www.google.com/addurl/ [1]. Innym sposobem jest wejście na stronę poprzez link z innej witryny w sieci, jednak musi być ona już zaindeksowana. Takie rozwiązanie rzadko sprawdza się w przypadku nowych stron, gdyż rzadko kierują do nich linki z innych serwisów. Jeszcze inną metodą jest umieszczenie linku do strony w mapie serwisu i przesłanie takiej mapy do Google.

Wszystkie wymienione wyżej metody wymagają od użytkownika pewnego wysiłku a strony zaindeksowane w ten sposób pojawiają się zwykle w wynikach wyszukiwania z opóźnieniem. Co jeśli chcemy aby wszystkie podstrony naszego serwisu indeksowały się same i szybko znalazły się w wynikach wyszukiwania? Wystarczy posiadać kanał RSS/Atom agregujący nowe podstrony a roboty same do nich dotrą!

29-go października na oficjalnym blogu Google dla webmasterów (http://googlewebmastercentral.blogspot.com [2]) pojawiła się informacja, mówiąca o indeksowaniu nowych stron z kanałów RSS/Atom. Ten sposób indeksowania gwarantuje, że nowe podstrony znajdą się w indeksie szybciej niż używając innych metod oraz że żadna nowa strona w naszym serwisie nie umknie uwadze Google.

Kanały RSS/Atom stały się tak popularne na przestrzeni ostatnich paru lat, że większość systemów zarządzania (jak na przykład drupal czy joomla)treścią jest w nie wyposażona. Jest to znaczne ułatwienie dla webmasterów, gdyż nie muszą już się oni martwić o to czy i kiedy ich strona znajdzie się wśród wyników wyszukiwania. Ważne jest jednak aby nie blokować dostępu robotom Google do kanałów RSS/Atom w pliku robots.txt gdyż w tym przypadku nowe strony nie będą indeksowane. Można to sprawdzić logując się w Narzędziach dla Webmasterów Google na stronie http://www.google.com/webmasters/tools/ [3].

Autor: Łukasz Miernikiewicz★