fișier robots.txt - acesta este un fișier obișnuit cu extensia .txt, care pot fi create folosind un notebook-uri obișnuite pentru Windows. Acest fișier conține instrucțiuni despre indexare pentru motoarele de căutare. Plasați acest fișier în directorul rădăcină de pe hosting.
Atunci când se apropie de site-ul crawler în primul rând se va întoarce la fișierul robots.txt, în scopul de a obține instrucțiuni pentru acțiuni suplimentare și de a afla ce fișiere și directoare sunt interzise la indexare. Fișierul robots.txt este o recomandare pentru motoarele de căutare. Nu poți spune că absolut toate fișierele care sunt expuse la interzicerea de indexare nu va fi indexat în cele din urmă.
Luați în considerare exemplul simplu al unui fișier robots.txt. Acest fișier conține următoarele linii:
Prima linie indică ce căuta roboți acționează instrucțiuni. În acest exemplu, un asterisc - înseamnă că instrucțiunile se aplică tuturor crawlerele web. Dacă este necesar, instrucțiunile de depunere pentru un crawler web specific, este necesar să se înregistreze numele său. A doua și a treia linii de a interzice directorul de indexare «wp-admin» și «imagini».
Crawler Yandex prescrie, de asemenea, directorul Host topic pentru a specifica site-ul oglinzii principale:
Exemple de fișier robots.txt scris pentru sarcini specifice
1. Nu interzice nici roboți de motoare de căutare să indexeze site-ul:
2. Interzice întregul site pentru indexarea de către toate motoarele de căutare:
3. Interzice tot site-ul care urmează să fie indexat de robot de căutare (de exemplu, Googlebot):
4. Nu interzice indexarea doar un singur robot de (de exemplu, Googlebot) și blochează toate celelalte crawler de indexare:
5. Interzice pentru indexarea de către toate motoarele de căutare din toate fișierele din directoarele:
7. Interzice pentru indexarea de către toate fișierele motoare de căutare:
Regulile de bază ale scris robots.txt
Când scrieți fișierul robots.txt de multe ori face greșeli. Pentru a le evita, să ne uităm la regulile de bază:
P.S. fișier robots.txt Gata pentru WordPress poate fi descărcat. făcând clic pe link-ul.