Pe măsură ce paginile site-ului apar în rezultatele căutării, toată lumea înțelege. Crawlerul trece paginile și le adaugă în index. Cele mai multe pagini din index, cu atât mai bine. Dar pe site-ul magazinului online există numeroase pagini și chiar secțiuni care nu ar trebui indexate - altfel va duce la pesimizarea magazinului dvs. online în această problemă.
În acest articol Labrika.ru amintește că trebuie să închideți indexarea pe site-ul magazinului online, de ce și cum să faceți acest lucru.
Site-ul web al unui magazin online închide, de obicei, datele administrative, paginile cu date personale ale utilizatorilor, conținutul duplicat, cloud-ul tagului, paginile de comandă, coșul de cumpărături, RSS, rezultatele căutării etc.
De ce să ascundeți aceste pagini?
Datele administrative sunt pagina de conectare la panoul de administrare. Aceasta presupune numai utilizarea oficială, aceste date nu sunt importante pentru motorul de căutare.
Datele personale ale utilizatorilor. Este logic ca, prin faptul că aveți încredere în datele dvs. personale, utilizatorul nu dorește distribuirea și apariția acestora în emisiune. Mai ales dacă nu este vorba doar de un nume și de un nume de familie, de exemplu un număr de card de credit.
Duplicați conținutul. Acesta este un flagel real al magazinelor online. Chiar și duplicarea parțială poate foarte mult să vă imprime site-ul în emisiune. În magazinele online, această problemă este deosebit de acută.
Iată cele mai frecvente tipuri de conținut duplicat din IE:
În mod ideal, această problemă ar trebui rezolvată în prealabil, proiectând doar arhitectura site-ului. Dar dacă nu există această posibilitate și "ceea ce avem, avem", atunci trebuie să scriem 301 redirecționări de la pagini sigure la cele obișnuite.
Noul tag. Sistem de căutare foarte convenabil pentru utilizatori. Dar este mai bine să ascundeți astfel de lucruri de la motorul de căutare. Motivul este același - conținutul non-unic (duplicate).
Comandarea paginilor și coșul de cumpărături. Aceste pagini sunt utile numai pentru utilizatori. Motoarele de căutare nu trebuie să le acorde atenție. Nu există informații utile și importante pe care aceste pagini nu le conțin.
Cum să ascundeți datele de indexare?
Cea mai ușoară cale este să utilizați fișierul robots.txt. Fișierul Robots.txt este localizat în directorul rădăcină al site-ului (de exemplu, site.ru/robots.txt).
Există o mulțime de directive în ea, dar două lucruri se pot distinge în ceea ce privește indexarea: Dezactivați și Permiteți.
Codul standard care utilizează aceste directive arată astfel:
# întregul site este închis de la indexare
# toate paginile sunt închise de la indexare, cu excepția secțiunii de știri
Pentru a închide indexarea pentru Google, trebuie mai întâi să scrieți: User-Agent: Googlebot.
Și pentru a ține cont de ambele roboți de căutare, trebuie să scrieți în codul următor:
Utilizați cu atenție acest fișier, deoarece puteți închide accidental pagini importante. Dacă specificați un dosar întreg în directiva Disallow, trebuie să fiți 100% sigur că nu există nimic util în acest dosar.
Aș dori să rețin că fișierul robots.txt este perceput de Yandex și Google în moduri diferite. Dacă închideți paginile pentru Yandex, el nu le va acorda atenție. Dar pentru Google robots.txt - este doar o recomandare. Adică, nu există garanții că pagina nu va intra în index, nu.
De asemenea, nu merită transferat toate lucrările la robots.txt. Există cazuri în care fișierul nu va fi disponibil din motive tehnice. Apoi, toate ascunse vor deveni evidente, iar acest lucru se poate transforma într-un adevărat coșmar.
Se pare că singura modalitate de a configura indexarea este incorectă?
De ce am nevoie de filerobots.txt și cum pot închide paginile în mod diferit?
În fișierul robots.txt puteți bloca accesul la întregul site în momentul efectuării modificărilor, ajustărilor sau procesării paginilor. Este necesar ca motorul de căutare să nu aducă paginile care nu sunt procesate în index.
Paginile cu datele personale ale utilizatorului, formularele de înscriere, sortarea și căutarea pot fi închise în robots.txt. Dar este mai bine să interziceți indexarea acestor pagini la nivelul CMS. Deci, va fi mai fiabil.
Pentru paginile duplicat, puteți configura 301 redirecționări sau utilizați rel = canonical tag - acesta este scopul său direct
De asemenea, puteți utiliza meta-etichete pentru a împiedica indexarea. Are 4 parametri: Index-Noindex și Follow-Nofollow. Pentru a închide pagina din indexare, trebuie să specificați:
Utilizarea meta tag-ului are avantajele sale. De exemplu, puteți închide conținut numai dacă este duplicat, lăsând linkuri deschise.
Codul se va schimba în consecință:
În ceea ce privește închiderea fluxului RSS, este dificil să oferiți sfaturi fără echivoc. Când promovați în Yandex, este mai bine să eliminați aceste informații din index. Și Google percepe RSS mai adecvat, și apariția unei benzi în index, cel mai probabil, nu va face rău.