Dauguma patyrusių tinklaraštininkų tikrai žino, kas yra robots.txt ir kam jums reikalingas šis failas. Tačiau nedaugelis autorių, įdiegę tinklaraštį „WordPress“, iškart puola kurti failą robots.txt.
„Robots.txt“yra tekstinis failas, įkeltas į jūsų svetainės šakninį katalogą ir jame pateikiamos instrukcijos tikrintuvams. Pagrindinis jo naudojimo tikslas yra uždrausti indeksuoti atskirus svetainės puslapius ir skyrius. Tačiau naudodami „robots.txt“taip pat galite nurodyti teisingą domeno veidrodį, nurodyti kelią į svetainės schemą ir panašiai.
Dauguma šiuolaikinių paieškos sistemų išmoko gerai naršyti populiariame TVS ir dažniausiai nemėgina indeksuoti turinio, kuris nėra tam skirtas. Pvz., „Google“neindeksuos jūsų „WordPress“tinklaraščio administratoriaus srities, net jei jos nenurodysite tiesiogiai robots.txt. Tačiau kai kuriais atvejais tiesioginių draudimų naudojimas vis tiek gali būti naudingas. Mes pirmiausia kalbame apie dublikato turinio draudimą.
Kai kurie žiniatinklio valdytojai draudžia kategorijų ir žymų puslapių indeksavimą, nes jų turinys iš dalies dubliuoja pagrindinio puslapio turinį. Tačiau dažniausiai apsiribojama „trackback“ir „feed“puslapių, kurie visiškai dubliuoja straipsnių turinį ir visai nėra skirti paieškos sistemoms, uždraudimu. Tokia atsargumo priemonė ne tik padarys „švaresnius“svetainės rezultatus, bet ir sutaupys jus nuo galimų paieškos filtrų, ypač įdiegus naują „Google Panda“algoritmą.
Čia yra rekomenduojamos robots.txt failo direktyvos (tai veiks beveik bet kuriame „WordPress“tinklaraštyje):
Vartotojo agentas: * Neleisti: /wp-login.php Neleisti: /wp-register.php Neleisti: /xmlrpc.php Neleisti: / wp-admin Neleisti: / wp-apima Neleisti: / wp-turinys / papildiniai Neleisti: / wp-content / cache Disallow: / wp-content / themes Neleisti: / trackback / Disallow: / feed / Disallow: * / trackback / Disallow: * / feed /
Atminkite, kad programoje robots.txt administraciniai aplankai wp-admin ir wp-include yra visiškai uždaryti indeksavimui. Aplankas wp-content yra uždarytas tik iš dalies, nes jame yra įkėlimų katalogas, kuriame yra visi jūsų tinklaraščio vaizdai, kurie turėtų būti indeksuojami.
Viskas, ką jums reikia padaryti, tai nukopijuoti direktyvas iš aukščiau nurodyto kodo (atkreipkite dėmesį, kad kiekviena direktyva turi būti parašyta naujoje eilutėje), išsaugokite jas tekstiniame faile, vadinamame robots.txt, ir įkelkite į savo svetainės šakninį katalogą.
Per „Google Webmaster Tools“ir „Yandex Webmaster“sąsajas visada galite patikrinti, ar robots.txt veikia tinkamai.
