Roomav emotikonipaketi projekt

Crawling Emoji Package Project



Roomav emotikonipaketi projekt
Mul on sageli sõpru, kes ütlevad mulle, et emotikonipakkidest ei piisa. Siis leidsin emotikonipaki veebisaidi, analüüsisin seda lühidalt ja kirjutasin selle roomamiseks pythoni skripti. Tutvustame seda allpool:

Esimene on funktsiooniämblik, et saada veebilehe lähtekood:

Funktsiooni nõutav parameeter on ainult üks URL-i aadress, tagastage veebilehe lähtekood



url = 'https://www.fabiaoqing.com/biaoqing/lists/page/1'
Selle veebisaidi pildileht on 200, iga kord, kui sisenete järgmisele lehele, on lehe järel olev parameeter +1, seejärel kasutage mis tahes pildi koodiosa vaatamiseks veebi kontrollimise funktsiooni
pilt
Näete, et img-sildi klass on laisk. Selle eesmärk on võimaldada pilti kuvada veebisaidil vastavalt võrgu kiirusele ja kiirema reageerimiskiiruse saavutamiseks kasutada laiskat laadimist, nii et src taga olev URL pole pildi aadress, mida me tahame saada, tegelik URL peaks olema andmete taga algne



pilt
Pilditüüpide klassifitseerimise eesmärgi saavutamiseks kirjutatakse kaks tavalist vastet, mis sobivad JPG- ja GIF-piltidega. Muidugi saab kolmandat koodirida kasutada ka mis tahes vormingus piltide sobitamiseks (näiteks png, Jpg, gif, tif jne), roomatavatel veebilehtedel on ainult need kaks vormingut, nii et kasutage lihtsalt esimest kaks
Sel ajal määrasime url = 'https://www.fabiaoqing.com/biaoqing/lists/page/{}.html' ja 200 lehe läbimiseks kasutame a for loop. See, muide, laadisin alla ainult JPG-pilte. Vajadusel saate gif_url-i allalaadimiseks kasutada sama meetodit, kuid selleks, et vältida sagedaste veebilehtede külastuste põhjustamist teie ip-i blokeerimisel, võite kasutada time.sleep (), et seada iga paari lehekülje jaoks unerežiim iga kümne lehekülje kõrvalt võtan 20 sekundi pikkuse pausi



pilt