De ce ai nevoie de un robots.txt?
fișier robots.txt localizat în directorul rădăcină al site-ului. Este necesar să se indice crawler care pagini pot include sau nu includ în index.
Practic, este necesar, în cazul în care există informații confidențiale ale utilizatorilor de pe site-ul dvs., care nu ar trebui să fie indexate în căutare. Cu robots.txt puteți închide cu ușurință indexarea oricărei pagini. De asemenea, acest fișier este destinat pentru a rezolva alte probleme. După motor WordPress poate crea o pagină cu arhive, tag-uri, titluri, în cazul în care conținutul este în mod tipic repetă în mod regulat. Și în admin a blogului nu are nimic de-a face robotul în mod obișnuit, motorul de căutare permite duplicat pagini, dar poate face acest lucru în mod corespunzător. Pentru a remedia această situație, este necesar să se folosească de robots.txt. După utilizarea acestuia, puteți preveni indexarea coloanelor duplicat, arhive sau tag-uri.
Dacă site-ul are un forum, puteți utiliza acest fișier, puteți preveni, de asemenea, profilurile de indexare pentru a le proteja de posibile spam. Astfel, robots.txt poate oferi cu ușurință site-ul corect indexat de motoarele de căutare și de protecție a informațiilor clasificate.
toate fișierul robots.txt ar trebui să fie luate în considerare în detaliu.
În linia User-agent trebuie să aibă numele unui robot de căutare.
Un asterisc indică faptul că directiva se poate aplica la orice motor de căutare de locuri de muncă. Iar pentru Yandex trebuie să fie manipulate în mod individual.
Disallow directivă la punctele rândul său, la secțiunile și paginile care nu doresc să indice.
Harta site-ului este folosit pentru a indica un fișier care are o harta site-ului.
Pentru a crea un robots.txt puteți folosi plug-in special PC robots.txt, care trebuie mai întâi să instaleze și să activeze. În setările plugin-ul de fișiere este tipic. Acesta conține un număr mare de directive care sunt proiectate pentru o varietate de roboți. Astfel, puteți preveni roboți nesolicitate de a se angaja indexarea site-ului dvs., dar ei nu vor să acorde o atenție la liniile directoare care sunt incluse în robots.txt. Deci, vă puteți lăsa în fișierul doar secțiunile pe care doriți să le dezactivați.
Dar plug-in-uri încă mai bine să nu zloupotreblyat.Vmesto acest plugin mai bine decât orice alt set. fișier robots.txt. Puteți fi setată manual.
Robots.txt.v marcaje convenționale create. Deschideți Notepad, scrie sau copiați textul (de mai jos) Mentine „save as ...“. În „File name“: Prescrie format roboți .txt va fi înlocuit avtomaticheski.Zatem această încărcare fișier pe server în directorul rădăcină al blogului. Pentru cei care nu știu cum să facă o robots.txt corectă., Puteți copia robots.txt.
Nu uitați să schimbați ultimele două strochki.Vmesto rootfront.com introduceți domeniul.
Fișier fără nici o bibelouri și echipe speciale. În standardul general. Principalul lucru pe care a fost testat și funcționează.