În timpul site-ul de indexare Crawler reglează cantitatea solicitată pentru una documentelor de ocolire cote în funcție, care depinde de mai mulți parametri de site-ul. În acest caz, pentru site-uri suficient de mari, în care mărimea acestei cote este mult mai mic decât numărul total de documente disponibile pentru indexare, este foarte importantă cotă de cheltuieli raționale pentru indexare. Și anume, descărcări de robot numai noi, nu documente indexate încă și documentele sa schimbat de fapt de la ultima accesare cu crawlere, iar cota nu ar trebui să fie irosite re-indexare a conținutului nemodificat. trebuie să se înțeleagă pentru gestionarea competentă indexare, care procesează au loc în același timp, și modul în care puteți să le influențeze.
Recent, a trebuit să se confrunte în mod repetat faptul că unele SEO-experți, este poziționat ca nu cele mai slabe profesioniști din industrie, nu a arătat o înțelegere destul de completă a modului de a gestiona indexarea paginilor site-ului și au vorbit doar despre a da antetul Last-Modified, pierde vederea prelucrării cererii de If-Modified-Since antet. Prin urmare, aș dori să mă opresc asupra acestei chestiuni mai detaliat.
Deci, ce este antetul Last-Modified, și ce rol joacă în indexarea?
antet Last-Modified dă timpul de modificare a documentului. Aceste informații, desigur, într-o anumită măsură utilă, iar dacă titlul nu dă, apoi, de exemplu, în Yandex în fragmente nu vor fi afișate data documentului, și va fi, de asemenea, absentă în rezultatele căutării, sortate după dată. Cu toate acestea, controlul efectiv indexate cu acest antet nu este posibil.
Și acum, pentru a răspunde la cererea de If-Modified-Since antetul conține următoarele opțiuni conform protocolului RFC2616.
a) În cazul în care cererea ar duce în mod normal, în orice altceva decât un statut de 200 (OK), sau în cazul în care a trecut If-Modified-Since data nu este validă, răspunsul este exact la fel ca și pentru o prezentare normală. O dată care este mai târziu de ora curentă a serverului este nevalid. (În cazul în care rezultatul unui răspuns la cererea normală trebuie să fie altul decât 200 (OK), sau dacă data în cazul în care-Modified-Since incorectă, atunci răspunsul trebuie să se potrivească exact cu răspunsul la o solicitare normală GET. Data este mai târziu decât ora curentă a serverului este incorecte).
b) În cazul în care varianta a fost modificat de If-Modified-Since data, răspunsul este exact la fel ca și pentru o prezentare normală. (În cazul în care documentul este schimbat de la data specificată în If-Modified-Since, răspunsul trebuie să se potrivească exact cu răspunsul la o solicitare normală GET).
c) În cazul în care varianta nu a fost modificat de un valid If-Modified-Since data, serverul ar trebui să returneze un răspuns 304 (modificat). (În cazul în care documentul nu este modificat de la data specificată în If-Modified-Since, serverul ar trebui să returneze un răspuns 304 Nu a fost modificat.)
Astfel, documentul nu este modificat de la data de indexare anterioară, ceea ce indică crawler în antetul If-Modified-Since, el are pentru a obține răspunsul 304, și nu pentru a descărca conținutul lor, cheltuielile de cotă schimbat doar într-adevăr de la indexarea anterioară sau noile documente că, așa cum sa menționat mai sus, este deosebit de important pentru site-urile cu mai multe pagini. Cu toate acestea, rețineți că, în acest caz, conținutul dat în antet Last-Modified nu este important, important este rezultatul unui răspuns la solicitarea cu un antet If-Modified-Since, și că acesta trebuie să fie configurat corect, în primul rând. Și, de altfel, nu sunt mai puțin frecvente în cazul în care situația webmasterii sunt limitate la setarea revine doar ultimul antet-modifed, uitând despre configurarea prelucrarea corectă a răspunsului la o solicitare din If-Modified-Since antet. Și, în cele din urmă sarcina de a gestiona indexare rămâne nerezolvată.
Ei bine, în concluzie, aș dori să dea un exemplu de eroare de la care aș dori să avertizeze în acest articol, și anume, în cazul în care dezvoltatorul a fost limitat la antet retur numai Last-Modified, fără a stabili în același timp o tratare corectă a cererii If-Modified-Since:
