Bine ai venit! Spune-mi cum să fac mai bine.
Am stabilit astăzi Netpak Spider și el mi-a dat prezența gramada ia pe site-ul. Vreau să scap de ei să se gândească la acest lucru se adaugă următoarele linii robots.tht aici
Disallow: / * SECTION_ID = *
Disallow: / * / căutare / *
Disallow: / * PAGEN_17 *
Disallow: / * back_url_admin = *
Nu este bun la programare, mai mult în site-ul subiect să înțeleagă. Cu logica si sintaxa, atunci totul va fi bine, dacă acest lucru prescrie roboți, acest lucru se va rezolva problema duplicatelor? Sau încă ceva mai serios (sau mai corect)? Multumesc pentru sfat.
Luați în considerare opțiunea „Dezactivați indexarea de nimic, dar.“. Acest lucru se întâmplă, de asemenea, este utilizat în robots.txt :-)
La primul punct.
Pentru Yandex poate fi aplicat Directiva Clean-param variabile care nu sunt necesare în GET
User-agent: Yandex
Clean-param: SECTION_ID / sphrase_id
În scanare pentru webmasteri Google -> parametri URL pentru a interzice aceste variabile la indexare.
Multumesc pentru pont, dar încă cu un link.
1). Ajutor a dat seama că în cazul în registru
User-agent: Yandex
Clean-param: SECTION_ID
Clean-param: sphrase_id
Aceasta va fi șters (ignorate de motoarele de căutare noi și vechi sunt excluse din baza de date), toate URL-urile care conțin aceste variabile suplimentare, împreună cu multe valorile lor.
Ceea ce ați scris Clean-param: SECTION_ID / sphrase_id - este doar unirea a două rânduri dintr-una sau mai multe poarta ce valoare?
Și dacă voi adăuga la fel?
Clean-param: PAGEN_17
Clean-param: PAGEN_1 (uneori, acest lucru este, de asemenea, creat, cu toate că indicele nu le-a găsit)
Clean-param: back_url_admin
3). Recomandările de pe bloguri este adesea constatat că directivele pentru Yandex trebuie să se înregistreze separat, nu în coloana User-agent: * și anume User-agent: Yandex, acest lucru atât de grav?