Pentru dl

În legătură cu o mulțime de întrebări privind indexarea corectă a site-urilor bazate pe DLE, stabiliți regulile pentru crearea robots.txt pentru DLE.

Crearea robotx.txt pentru dle.

situație:
Yandex indexează paginile pentru imprimare (tipărire.) Și, în timp util, aruncă știri, pentru care paginile de imprimare corespund.

rezultat:
În timp, site-ul din indexul de căutare este aproape o colecție continuă de pagini pentru imprimare.

problemă:
Pentru schimburile de link-uri, este dificil de a vinde link-uri din aceste pagini.

soluţie:
Interzicem paginile pentru imprimare:
User-agent: *
Nu permiteți: / * imprimare

situație:
Paginile / utilizatorul / sunt indexate. Spamatorii "împing" paginile pe profilurile lor. acestea din urmă conțin legături externe (spam).

soluţie:
Interzicere / utilizator /:
Nu permiteți: / * imprimare

situație:
Pagini indexate care nu conțin conținut.

rezultat:
Oricum, în timp, încărcarea inutilă a robotului de căutare, directive inutile.

soluţie:
Interzicem astfel de directoare:
Dezactivați: / backup /
Nu permiteți: / motor /
Nu permiteți: / language /
Dezactivați: / șabloane /
Dezactivați: / upgrade /
Nu permiteți: / încărcări /
Nu permiteți: /autobackup.php
Dezactivați: /admin.php


PS: în funcție de dosarele implicite, care sunt prezente în diferite panouri de găzduire (de exemplu, cgi-bin dosar) și dosarele care urmează să fie adăugate pe cont propriu nevoie, nu uitați să le introduceți.
Lipiți în fiecare dintre site-urile dvs., nu fi leneși și totul va fi bine.

Versiunea 2.0.101. Chiar mai rău, chiar mai misantrop.

Articole similare