Api pentru fiecare și toată lumea să creeze un parser puternic de site web fără o singură linie de cod

Nu vom merge departe să urmăm exemplul și să scriem parserul de conținut din "Hacker". După cum știți, site-ul revistei noastre nu oferă acum niciun API pentru a primi în mod programatic articole, altele decât RSS. Cu toate acestea RSS nu este întotdeauna convenabil și nu oferă toate informațiile necesare. Să rezolvăm asta!

Formularea problemei

Răspunsul ar trebui să fie:

Cadrul pentru web

WrapAPI este un serviciu destul de nou (un vechi de câteva luni) pentru construirea de parseri web personalizați și furnizarea de acces API la ele. Nu vă speriați, dacă nu înțelegeți nimic, acum voi explica pe degetele mele. Funcționează astfel:

Puțin despre confidențialitatea cererilor

Probabil că v-ați gândit deja cât de sigur este să folosiți serviciul altcuiva și să îi transmiteți parametrii cererilor lor cu date private. În plus, în mod implicit, pentru fiecare nou proiect API, va fi creat un depozit public și oricine va putea lansa API-ul din acesta. Nu totul este atât de rău:

gătire

Câțiva pași simpli înainte de a începe.

  1. Mergem la site-ul WrapAPI. creați un nou cont și conectați-l.
  2. Instalați extensia pentru Chrome (orice browser bazat pe Chrome este potrivit), deschideți Consola pentru dezvoltatori și vedeți noua filă WrapAPI.
  3. Trecem la el și suntem conectați.

Vom avea nevoie de această extensie pentru a intercepta cererile pe care le vom emula și le vom transmite rapid la WrapAPI pentru o muncă ulterioară. În mod logic, această extensie este foarte asemănătoare cu Burp Proxy + Burp Intruder.

Ne prindem cererile

Acum trebuie să specificați WrapAPI ce solicitare HTTP vom folosi pentru a construi API-ul nostru. Mergem la site-ul "Hacker" și deschideți Consola pentru dezvoltatori trecând la fila WrapAPI.

Api pentru fiecare și toată lumea să creeze un parser puternic de site web fără o singură linie de cod
Solicitările care sunt generate prin clic pe link-urile paginatorului vor fi folosite ca eșantion

Api pentru fiecare și toată lumea să creeze un parser puternic de site web fără o singură linie de cod
Cereți prins, salvați-l pe serverul WrapAPI

Configurați WrapAPI

Api pentru fiecare și toată lumea să creeze un parser puternic de site web fără o singură linie de cod
Prezentare generală a viitorului nostru API

Accesați fila Intrări și solicitare. Aici trebuie să specificăm care parametri WrapAPI ar trebui să parseze pagina solicitată pentru ca serverul să îi dea un răspuns valid.

Api pentru fiecare și toată lumea să creeze un parser puternic de site web fără o singură linie de cod
Configurați parametrii de intrare ai interogării

Antetele de cerere de mai jos nu pot fi atinse, am folosit standardul de la Chromium. Dacă parsarea nu este "Hacker", ci date de la un server închis, puteți înlocui modulele cookie necesare, anteturile, basic-auth și tot ce este necesar. Într-un cuvânt, puteți configura cererea dvs. astfel încât serverul să vă ofere conținut fără suspiciune.

Api pentru fiecare și toată lumea să creeze un parser puternic de site web fără o singură linie de cod
Expunem parametrii POST necesari în formatul de format / urlencoded, astfel încât interogarea noastră a funcționat corect

Aflați WrapAPI pentru funcții lipsă

Acum trebuie să specificați WrapAPI, cum să procesați rezultatul și cum să îl reprezentați. Accesați fila următoare - Ieșiri și răspuns.

Continuarea articolului este disponibilă numai pentru abonați

Opțiunea 2. Cumpărați un articol