Configurarea corectă a fișierului robots.txt și sitemap.xml va elimina posibilele probleme care apar în timpul indexării.
§ 1. fișierul robots.txt
robots.txt - acesta este un fișier obișnuit, care ar trebui să fie la rădăcina site-ului dvs., în cazul în care există o validă și htaccess, iar acest fișier spune motorul de căutare păianjeni cum să indexeze proiectul dvs., ce pagini nu merită atenție, și care să acorde o atenție deosebită
Fișierul conține instrucțiuni pentru motoarele de căutare. Acesta este localizat neapărat în directorul rădăcină, astfel încât indexarea paginilor bot va începe cu citirea condițiilor aflate în fișierul robots.txt.
Luați în considerare avantajele robots.txt, pe care le oferă resursei.
Instrucțiunile pentru fișierul robots.txt pot:
- redirecționarea către o altă pagină în cazul unei erori 404;
- să indice locația hărții site-ului;
- specificați timpul de încărcare a paginilor pentru indexare.
1.1. Configurați robots.txt
Ce ar trebui să scriu în dosar?
Este obligatoriu să folosiți două directive: User-agent și Disallow.
Lista de nume de bot de cele mai populare motoare de căutare:
1.2. Testați robots.txt și etichetele meta
Unii webmasteri nu indexează chiar întregul site sau o parte din acesta și orice faceți, roboții nu indexează site-ul. Motivul poate fi un fișier robots.txt. Poate că este o greșeală sau nu este făcută corect. Verificați fișierul robots.txt pentru erori (de exemplu, linia Disallow: / închide site-ul de la indexare în întregime sau Dezactivați: / news / închide secțiunea de știri pentru indexare.) Sau directoarele importante închise. Dacă directorul este închis, care trebuie indexat, deschideți-l.
Un exemplu de fișier robots.txt corect pe acest site.
Este mai bine să specificați instrucțiuni pentru fiecare motor de căutare care vă interesează separat și să specificați o instrucțiune pentru toate celelalte motoare de căutare.
User-agen t - indică motorul de căutare pentru care este scris instrucțiunea.
Permite - permite indexarea.
Dezactivare - dezactivează indexarea.
Gazdă - arată spre gazda primară.
Sitemap - indică motorul de căutare pe harta site-ului xml.
Un alt site nu poate fi indexat datorită etichetei meta pentru Google și
Pe baza datelor de mai sus, puteți afișa un fișier robot complet.
Acum, că știți punctele principale ale fișierului analizat, puteți gestiona indexarea site-ului dvs.: interziceți și deschideți indexării fișierele, folderele și paginile pe care le doriți.
§ 2. fișier sitemap.xml
Sitemap este un fișier cu informații despre paginile site-ului care urmează să fie indexate. Utilizând fișierul sitemap.xml, webmasterii pot indica motoarelor de căutare despre paginile web disponibile pentru scanare.
Cerințe de bază pentru Sitemap:
- Fișierul trebuie să fie amplasat pe același domeniu ca și site-ul pentru care este compilat.
- Când accesați fișierul, serverul trebuie să returneze starea HTTP cu codul 200 OK.
- Fișierul nu poate conține mai mult de 50 000 de adrese URL, iar dimensiunea necomprimată nu trebuie să depășească 10 MB. Dacă sitemap-ul dvs. nu îndeplinește aceste cerințe, împărțiți-l în mai multe fișiere separate și specificați-le în fișierul index de sitemap.
- Fișierul trebuie să utilizeze codarea UTF-8.
- Fișierul poate descrie numai paginile domeniului pe care se află.
Puteți crea un Sitemap pentru site-ul dvs. în mai multe moduri:
folosind plug-in-uri și generatoare online, și făcându-l și manual.
Cum să faceți acest lucru, ce generator de sitemap să utilizați și cum să adăugați o hartă la motoarele de căutare Yandex și Google, veți învăța din acest articol.
Sitemap Sitemap Sitemap.html (pentru vizitatori)
Harta site-ului (pentru vizitatori) este o formă de navigare suplimentară pe site. Cu ajutorul acestuia, utilizatorul poate naviga pe site fără a utiliza navigarea pe site.
Când creați o hartă a site-ului pentru vizitatori, acordați atenție punctelor importante:
1. Locul de amplasare într-un loc vizibil. Harta ar trebui să fie localizată acolo unde va fi vizibilă imediat (de exemplu, în meniul principal al site-ului sau al blogului).
2. Structura și formatarea corectă. Harta calitativă a sitului conține în mod necesar titluri, subpoziții și alte elemente de formatare. Acest lucru face ca informațiile să fie mai convenabile pentru a fi percepute, iar vizitatorii vor găsi mai ușor acele materiale care le interesează.
2.1.1. Căutați pe site prin Yandex
- Cu setările de căutare Yandex, oricine nu cunoaște limbile de programare HTML și PHP va înțelege și nu este familiarizat cu CSS.
- Rezultatele căutării Yandex sunt mai bune decât rezultatele standard de căutare. Ele sunt cele mai relevante pentru cuvântul sau propoziția dorită. Vizitatorii stau atât de mult pe site-ul dvs., chiar dacă nu găsesc un răspuns absolut relevant la întrebarea lor;
Sitemap Sitemap.xml (pentru motoarele de căutare)
Limitări și caracteristici
Motoarele de căutare se referă favorabil la site-uri care au un sitemap.xml. Faptul este că, prin prezența sa, roboții motoarelor de căutare indexează paginile site-ului mai repede și mai bine (probabilitatea ca unele pagini să fie pierdute în mod accidental). Evident, harta site-ului contribuie la o creștere mai rapidă a traficului pe site. Cu toate acestea, motoarele de căutare impun anumite restricții asupra hărții site-ului Sitemap.xml.
Sitemap-ul nu trebuie să conțină mai mult de 50 de mii de linkuri și să aibă o dimensiune de maximum 10 MB (puteți utiliza arhivarea pentru a reduce dimensiunea fișierului).
Ce trebuie să faceți dacă site-ul dvs. este atât de mare încât harta site-ului depășește valorile de mai sus. În acest caz, puteți proceda după cum urmează:
2. creați mai multe hărți ale site-ului (de exemplu, cea mai importantă care conține legături către toate celelalte hărți și câteva altele secundare).
Și chiar dacă aceste cerințe sunt îndeplinite, nu există nicio garanție că motoarele de căutare vor adera la fișierul Sitemap.xml la indexare.
2.3. Site-uri generatoare harta site-ului online
Generatoarele online (generatorul Sitemap) vă permit să creați o hartă a site-ului ca fișier separat. Când adăugați pagini noi (sau ștergeți cele vechi), va trebui să creați o hartă a site-ului utilizând generatorul și să o adăugați din nou pe site-ul dvs.
Un generator simplu și convenabil al hărții site-ului, care are câteva dezavantaje serioase:
- numărul de link-uri din hartă nu poate depăși 500;
- nu este posibil să specificați rata de reîmprospătare pentru grupurile individuale de pagini;
Accesați site-ul generatorului aici. Veți vedea o formă pe care trebuie să o completați.
2. Alegeți frecvența "aproximativă" a actualizării site-ului.
3. Configurați data actualizării paginilor site-ului (Nici una - nu utilizați; Utilizați răspunsul serverului - definiți automat; Utilizați această dată / oră - utilizați data și ora curente).
4. Configurați prioritatea paginilor pentru motoarele de căutare (None - do not use; Automatically Calculated Priority - calculați automat).
Butonul "Start" pornește generatorul.
După un timp, se va forma cardul. Va apărea o pagină unde puteți descărca Sitemap.xml din link și îl puteți adăuga în directorul rădăcină al site-ului (de regulă, acest director este "public_html").
Calea spre hartă poate fi setată în fișierul robots.txt cu următorul operator:
1. În primul rând, mergeți la site mysitemapgenerator.com Acest serviciu vă permite să generați o hartă gratuită a site-ului XML, de până la 500 de pagini. Mai mult decât suficient.
2. Apoi, în secțiunea "Generați sitemap gratuit", faceți clic pe butonul "creați".
.jpg "Web master, configurație și (elemente de interfață)")
4. Introduceți codul de verificare și apăsați butonul de pornire.
.jpg "Web master, configurarea (creați un site de la zero)")
5. După terminarea scanării, dați clic pe linkul "descărcați Sitemap".
.jpg "Web master, configurare și (html șabloane)")
6. Apoi descărcați harta site-ului gata.
2.4. Cum se adaugă o hartă site-ului la motoarele de căutare
Pentru a adăuga un sitemap la site-ul dvs., trebuie să faceți următoarele:
1. Orice client FTP este necesar să se conecteze la server. Exemplul va folosi FileZilla. Deschideți programul și introduceți datele necesare pentru conectarea la server prin FTP:
Aceste informații pot fi obținute de la furnizorul de servicii de găzduire.
1. Mergeți la dosarul rădăcină al site-ului dvs. (dosarul în care sunt localizate toate fișierele de resurse) și adăugați sitemap.xml acolo. Acest lucru se poate face prin dublu-clic pe un mouse sau pur și simplu prin transferarea unui fișier într-o fereastră adiacentă. În ceea ce privește înlocuirea unui fișier existent, alegeți înlocuirea.
2.5. Adăugarea unui sitemap la Yandex
Pentru a le spune motorului de căutare Yandex că există un fișier sitemap.xml pe site-ul dvs., există două moduri cele mai eficiente:
1. Adăugați harta site-ului prin robots.txt. Pentru a face acest lucru, trebuie să faceți o modificare a acestui fișier prin adăugarea unei directive:
2.Adăugați sitemap-ul prin Yandex. Webmaster. Pentru această metodă, drepturile de administrare a site-ului trebuie să fie confirmate.
Mergem la panoul webmasterului Yandex. accesați site-ul dorit și selectați "Sitemap" din fila "Setări de indexare".
Pentru atingerea cea mai rapidă a efectului, se recomandă efectuarea ambelor acțiuni.
2.6. Adăugați harta site-ului la Google
Pentru a face acest lucru, puteți face acest lucru după cum urmează, mergeți la "Scanare", faceți clic pe "Sitemap":
În colțul din dreapta sus, faceți clic pe butonul roșu "Adăugați / confirmați sitemap". În fereastra deschisă intrăm sitemap.xml. Apoi, înainte de a trimite harta blogului, este mai bine să o verificați pentru erori, așa că faceți clic pe butonul Verificați sitemap-ul:
Apoi, puteți adăuga fișierul xml al hărții site-ului la indexarea pe Google. Și va trebui să așteptați puțin, până când toate articolele dvs. vor fi indexate:
Aici, dragi prieteni și întregul proces. Și îți spun la revedere, nu pentru mult timp. Sper că instrucțiunile pentru dvs. vor fi utile. Mult noroc și toate cele bune.