Pe Internet, în fiecare zi, există soluții gata făcute pentru o anumită problemă. Nu sunt bani pentru proiectantul? Utilizați una dintre miile de template-uri gratuite. Nu doriți să angajeze un specialist SEO? Utilizați serviciile unui serviciu gratuit bine-cunoscut, citit câteva articole în sine.
Acesta a fost mult timp nu este nevoie să scrie de la zero același robots.txt. Apropo, este un fișier special, care se află pe aproape orice site, și conține instrucțiuni pentru roboți de căutare. Sintaxa comenzii este foarte simplu, dar încă va avea nevoie de timp pentru a întocmi propriul dosar. Este mai bine să se uite la un alt site. Există câteva limitări:
Site-ul ar trebui să fie pe același motor ca și cea a ta. De fapt, astăzi internetul o grămadă de servicii, în cazul în care puteți afla numele CMS practic orice proprietate web.
Ar trebui să fie site-ul mai mult sau mai puțin succes, ceea ce este bine cu traficul de căutare. Acest lucru indică faptul că robots.txt se face în mod normal.
În principiu, chiar și o persoană care nu versat în special în codul pentru a înțelege rapid ceea ce este scris aici. permite comanda permite ceva indexa și Disallow - interzice. User-agent - este o indicație a crawlerele, care sa instrucțiuni. Acest lucru este necesar dacă doriți să specificați comenzi pentru un anumit motor de căutare.
Ce să faci în continuare?
Copiați toate, o schimbare pentru site-ul. Cum se schimba? V-am spus că motoarele trebuie să se potrivească, sau să schimbe ceva inutil - este necesar să se rescrie totul.
Deci, va trebui să treacă prin liniile și de a determina care sunt prezente pe site-ul dvs., și ce părți ale celor de mai sus - nr. În captura de ecran de mai sus puteți vedea un exemplu pentru site-ul WordPress robots.txt, și într-un director separat, are un forum. Concluzia? Dacă nu aveți un forum, tot ce trebuie să eliminați aceste linii, deoarece aceste secțiuni și paginile pe care pur și simplu nu există, atunci de ce le închide?
Cel mai simplu robots.txt ar putea arata astfel:
Toți știți probabil structura de directoare standard in wordpress, dacă cel puțin 1 ori motorul instalat. Acest dosar wp-admin, wp-content și wp-include. De obicei, toate cele 3 închisă de la indexare, deoarece conțin fișiere pur tehnice necesare pentru a rula motorul, plug-in-uri și template-uri.
încărcările Open Directory, deoarece conținea imagini și indexul lor obyno.
Este setări importante robots.txt?
Desigur, trebuie să aveți acest fișier, și cel puțin directoarele principale sunt închise prin ea. Dar critică dacă este important să elaborarea acestuia? După cum arată practica, nr. Eu personal nu văd site-urile de pe unele motoare cu un complet diferit robots.txt, care fac la fel de progrese în motoarele de căutare.
Nu mă cert că poți face o greșeală. De exemplu, închideți sau lăsați deschide catalogul de imagine inutile, dar se va întâmpla ceva foarte rău. În primul rând, pentru că motoarele de căutare de azi sunt mai inteligente și pot ignora orice indiciu din dosar. În al doilea rând, în scris sute de articole despre modul de configurare robots.txt și cu siguranță ceva care poate fi înțeles de la ei.
Am văzut fișiere care au fost 6-7 linii care interzic cuplu indexarea directoare. Am văzut, de asemenea, fișiere cu câteva sute de linii de cod, care au fost închise tot ceea ce este posibil. Ambele site-uri în același timp avansează în mod normal.
WordPress este așa-numitele camere duble. Acest lucru este rău. Mulți se luptă cu acest lucru prin închiderea acestor duplicate după cum urmează:
Acestea sunt doar câteva dintre duplicatele create de WordPress. Pot spune că acest lucru se poate face, dar ar trebui să fie de așteptat, protecția de 100%. Aș spune că, în general, nu este necesar să se aștepte problema este doar faptul că, așa cum am spus mai devreme:
Roboții pot lua în continuare în index astfel de lucruri.
Există deja o necesitate de a lupta în mod diferit. De exemplu, folosind redirecționări sau plug-in-uri, care va distruge duplicate. Cu toate acestea, acest lucru este un subiect pentru un alt articol.
Unde este robots.txt?
În general, astăzi am discutat despre cum să vizualizați conținutul fișierului robots.txt, copiați-l și modificați pentru a se potrivi nevoilor dumneavoastră. Despre Tuning, eu, de asemenea, va scrie 1-2 articole în viitorul apropiat, pentru că în acest articol nu sunt toate. Apropo, de asemenea, o mulțime de informații cu privire la promovarea site-urilor, blog-uri pot fi găsite în cursul nostru. Și eu sunt în acest până nu spun la revedere de la tine.
Cele mai multe știri IT si dezvoltare web pe canalul nostru-Telegram
