K sepsání článku mě vedla čerstvá zkušenost s fungováním Seznam.cz fulltext vyhledávače.
Na začátku všeho stálo zjištění, že se náš web realitni-system.com propadl ve výsledcích vyhledávání na Seznam.cz o několik desítek pozic pod normální úroveň.
Teorií bylo několik:
- Seznam.cz nasadil nový algoritmus vyhledávání
- redesign webu a změna struktury odkazů
- nevhodný odkazový profil webu
- špatně volené klíčové slova a špatná struktura obsahu
Nic z výše uvedeného se nejeví, že má na pozice klíčový vliv. Při pátrání jsme si všimli, že Seznam.cz i přes zákaz indexace v robots.txt indexuje naše vývojové domény.
Ukázalo se, že web crawler Seznam.cz indexuje i hlavní stránku webu, která má v robots.txt indexaci zakázanou. Podrobnosti můžete najít na podpoře seznamu.cz .
Začali jsme se obávat duplicity obsahu a tím i penalizace celého webu. Postupovali jsme dle instrukcí Seznam.cz a doplnili robots.txt soubor o potřebné notace, čekali jsme na automatické vyřazení indexu z výsledku vyhledávání, které nepřicházelo.
Začal jsem komunikovat s online podporou Seznam.cz fulltextu a snažili jsme se určit příčinu tohoto stavu.
Nebudu Vás napínat, dozvěděl jsem se že výsledky se neodstraňovaly z vyhledávání, protože (komunikace s fulltext týmem Seznam.cz):
Na základě aktuálně zjištěných informací se podařilo na naší straně dohledat technické potíže, které v tomto případě způsobovaly neodstranění vámi zmíněných stránek. Tato chyba již byla odstraněna ..
Výborně, teď je vše v pořádku, jdeme analyzovat dál – ale co se nestalo, za týden byl index Seznam.cz v podobném stavu. Napsal jsem na tým fulltext Seznam.cz znovu a dostalo se mi znova podobné odpovědi (komunikace s fulltext týmem Seznam.cz):
situace se znovuobjevením stránek ve výsledcích byla dle kolegů způsobena řešením a opravou jiných, bohužel s tímto souvisejících, potíží. Stránky jsou ovšem automaticky znovu v procesu odstranění ..
Jinými slovy: snažíme se dělat webovou analytiku a optimalizace webů co nejlépe to jde. Snažíme se předcházet problémům a pracovat bezchybně. O to víc nás mrzí, že občas narazíme na problémy tam, kde bychom je ale opravdu nečekali..