Tīmekļa skrāpēšana, datu iegūšanas process no vietnēm, ir kļuvusi par spēcīgu paņēmienu informācijas vākšanai no plašā interneta plašuma. Šajā apmācībā mēs izpētīsim dažādas Python bibliotēkas un moduļus, ko parasti izmanto tīmekļa skrāpēšanai, un izpētīsim, kāpēc Python 3 ir vēlamā izvēle šim uzdevumam.

Būtiskas pakotnes un rīki Python tīmekļa skrāpēšanai

Jaunākā versija Python , piedāvā bagātīgu rīku un bibliotēku kopumu, kas īpaši izstrādāts tīmekļa kopšanai, padarot efektīvāku un produktīvu datu izgūšanu no tīmekļa vienkāršāk nekā jebkad agrāk.

Satura rādītājs

• Pieprasījumu modulis
• Skaistās zupas bibliotēka
• Selēns
• Lxml
• Urllib modulis
• PyautoGUI
• Grafiks
• Kāpēc Python tīmekļa skrāpēšana?

Pieprasījumu modulis

Pieprasījumu bibliotēka tiek izmantota, lai veiktu HTTP pieprasījumus uz noteiktu URL, un tā atgriež atbildi. Python pieprasījumi nodrošina iebūvētas funkcijas gan pieprasījuma, gan atbildes pārvaldībai.

pip install requests>

Piemērs: Pieprasījuma iesniegšana

Python pieprasījumu modulim ir vairākas iebūvētas metodes, lai veiktu HTTP pieprasījumus uz norādīto URI, izmantojot GET, POST, PUT, PATCH vai HEAD pieprasījumus. HTTP pieprasījums ir paredzēts datu izgūšanai no norādītā URI vai datu nosūtīšanai uz serveri. Tas darbojas kā pieprasījuma-atbildes protokols starp klientu un serveri. Šeit mēs izmantosim GET pieprasījumu. The GET metode tiek izmantots, lai izgūtu informāciju no dotā servera, izmantojot doto URI. GET metode nosūta kodētu lietotāja informāciju, kas pievienota lapas pieprasījumam.

import requests # Making a GET request r = requests.get('https://www.techcodeview.com) # check status code for response received # success code - 200 print(r) # print content of request print(r.content)>

Izvade

masīvs Java valodā

Lai iegūtu papildinformāciju, skatiet mūsu Python pieprasījumu apmācība .

Skaistās zupas bibliotēka

Skaistā zupa piedāvā dažas vienkāršas metodes un pitoniskās frāzes, lai vadītu, meklētu un mainītu parsēšanas koku: rīku komplekts dokumenta izpētei un vajadzīgā noņemšanai. Lai dokumentētu pieteikumu, nav nepieciešams daudz koda.

Beautiful Soup automātiski pārvērš ienākošos ierakstus par Unicode un izejošās veidlapas uz UTF-8. Jums nav jādomā par kodējumiem, ja vien dokumentā nav noteikts kodējums un Beautiful Soup nevar to uztvert. Tad jums vienkārši jāizvēlas oriģinālais kodējums. Skaista zupa atrodas virs slavenajiem Python parsētājiem, piemēram, LXML un HTML, ļaujot jums izmēģināt dažādas parsēšanas stratēģijas vai mainīt ātrumu, lai nodrošinātu elastību.

pip install beautifulsoup4>

Piemērs

1. Bibliotēku importēšana: Kods importē pieprasījumu bibliotēku HTTP pieprasījumu veikšanai un BeautifulSoup klasi no bs4 bibliotēkas HTML parsēšanai.
2. GET pieprasījuma noformēšana: Tas nosūta GET pieprasījumu uz “https://www.techcodeview.com”.
3. Pārbauda statusa kodu: Tas izdrukā atbildes statusa kodu, parasti 200, lai gūtu panākumus.
4. HTML parsēšana : atbildes HTML saturs tiek parsēts, izmantojot BeautifulSoup, un saglabāts mainīgajā zupā.
5. Pretified HTML drukāšana: Tas izdrukā parsētā HTML satura izsmalcinātu versiju lasāmībai un analīzei.

import requests from bs4 import BeautifulSoup # Making a GET request r = requests.get('https://www.techcodeview.com) # check status code for response received # success code - 200 print(r) # Parsing the HTML soup = BeautifulSoup(r.content, 'html.parser') print(soup.prettify())>

Izvade

Elementu atrašana pēc klases

Tagad mēs vēlamies iegūt dažus noderīgus datus no HTML satura. Zupas objekts satur visus ligzdotās struktūras datus, kurus var programmatiski izvilkt. Vietnē, kuru vēlamies nokasīt, ir daudz teksta, tāpēc tagad nokasīsim visu šo saturu. Vispirms apskatīsim tīmekļa lapu, kuru vēlamies nokasīt.

Iepriekš redzamajā attēlā redzams, ka viss lapas saturs atrodas zem div ar klases ieraksta saturu. Mēs izmantosim atrašanas klasi. Šī klase atradīs norādīto tagu ar doto atribūtu. Mūsu gadījumā tas atradīs visu div, kam ir klase kā ieraksta saturs.

Mēs redzam, ka lapas saturs atrodas zem

tagu. Tagad mums ir jāatrod visi šajā klasē esošie p tagi. Mēs varam izmantotatrast_visu Skaistās zupas klase.

import requests from bs4 import BeautifulSoup # Making a GET request r = requests.get('https://www.techcodeview.com) # Parsing the HTML soup = BeautifulSoup(r.content, 'html.parser') s = soup.find('div', class_='entry-content') content = s.find_all('p') print(content)>

Izvade:

Lai iegūtu papildinformāciju, skatiet mūsu Python Skaistā zupa .

Selēns

Selēns ir populārs Python modulis, ko izmanto tīmekļa pārlūkprogrammu automatizēšanai. Tas ļauj izstrādātājiem programmatiski kontrolēt tīmekļa pārlūkprogrammas, ļaujot veikt tādus uzdevumus kā tīmekļa skrāpēšana, automatizēta testēšana un tīmekļa lietojumprogrammu mijiedarbība. Selēns atbalsta dažādas tīmekļa pārlūkprogrammas, tostarp Chrome, Firefox, Safari un Edge, padarot to par daudzpusīgu pārlūkprogrammas automatizācijas rīku.

Piemērs 1: Firefox

Šajā konkrētajā piemērā pārlūkprogramma tiek novirzīta uz Google meklēšanas lapu ar vaicājuma parametru geeksforgeeks. Pārlūkprogramma ielādēs šo lapu, un pēc tam mēs varēsim ar to programmatiski mijiedarboties, izmantojot Selenium. Šī mijiedarbība var ietvert tādus uzdevumus kā meklēšanas rezultātu izvilkšana, noklikšķināšana uz saitēm vai noteikta satura izņemšana no lapas.

# import webdriver  from selenium import webdriver # create webdriver object  driver = webdriver.Firefox() # get google.co.in  driver.get('https://google.co.in / search?q = geeksforgeeks')>

Izvade

2. piemērs: pārlūkam Chrome

1. Mēs importējam tīmekļa draivera moduli no Selenium bibliotēkas.
2. Mēs norādām ceļu uz tīmekļa draivera izpildāmo failu. Jums ir jālejupielādē savai pārlūkprogrammai atbilstošais draiveris un jānorāda ceļš uz to. Šajā piemērā mēs izmantojam Chrome draiveri.
3. Mēs izveidojam jaunu tīmekļa pārlūkprogrammas gadījumu, izmantojot webdriver.Chrome(), un kā argumentu nododam ceļu uz Chrome draivera izpildāmo failu.
4. Mēs pārejam uz tīmekļa lapu, pārlūkprogrammas objektā izsaucot metodi get() un nododot tīmekļa lapas URL.
5. Mēs iegūstam informāciju no tīmekļa lapas, izmantojot dažādas Selenium nodrošinātās metodes. Šajā piemērā mēs izgūstam lapas nosaukumu, izmantojot pārlūkprogrammas objekta virsraksta atribūtu.
6. Visbeidzot, mēs aizveram pārlūkprogrammu, izmantojot quit() metodi.

# importing necessary packages from selenium import webdriver from selenium.webdriver.common.by import By from webdriver_manager.chrome import ChromeDriverManager # for holding the resultant list element_list = [] for page in range(1, 3, 1): page_url = 'https://webscraper.io/test-sites/e-commerce/static/computers/laptops?page=' + str(page) driver = webdriver.Chrome(ChromeDriverManager().install()) driver.get(page_url) title = driver.find_elements(By.CLASS_NAME, 'title') price = driver.find_elements(By.CLASS_NAME, 'price') description = driver.find_elements(By.CLASS_NAME, 'description') rating = driver.find_elements(By.CLASS_NAME, 'ratings') for i in range(len(title)): element_list.append([title[i].text, price[i].text, description[i].text, rating[i].text]) print(element_list) #closing the driver driver.close()>

Izvade

Lai iegūtu papildinformāciju, skatiet mūsu Python selēns .

Lxml

Python lxml modulis ir jaudīga bibliotēka XML un HTML dokumentu apstrādei. Tas nodrošina augstas veiktspējas XML un HTML parsēšanas iespējas, kā arī vienkāršu un Pythonic API. lxml tiek plaši izmantots Python tīmekļa skrāpēšanā tā ātruma, elastības un lietošanas vienkāršības dēļ.

pip install lxml>

Piemērs

Šeit ir vienkāršs piemērs, kas parāda, kā izmantot lxml moduli Python tīmekļa skrāpēšanai:

1. Mēs importējam html moduli no lxml kopā ar pieprasījumu moduli HTTP pieprasījumu nosūtīšanai.
2. Mēs definējam tās vietnes URL, kuru vēlamies nokasīt.
3. Mēs nosūtām HTTP GET pieprasījumu vietnei, izmantojot funkciju requests.get() un izgūstam lapas HTML saturu.
4. Mēs parsējam HTML saturu, izmantojot lxml funkciju html.fromstring(), kas atgriež HTML elementu koku.
5. Mēs izmantojam XPath izteiksmes, lai no HTML koka iegūtu konkrētus elementus. Šajā gadījumā mēs izņemam visu teksta saturu (enkura) elementi lapā.
6. Mēs atkārtojam izvilkto saišu nosaukumus un izdrukājam tos.

from lxml import html import requests # Define the URL of the website to scrape url = 'https://example.com' # Send an HTTP request to the website and retrieve the HTML content response = requests.get(url) # Parse the HTML content using lxml tree = html.fromstring(response.content) # Extract specific elements from the HTML tree using XPath # For example, let's extract the titles of all the links on the page link_titles = tree.xpath('//a/text()') # Print the extracted link titles for title in link_titles: print(title)>

More information...>

pip install urllib3>

import urllib.request # URL of the web page to fetch url = 'https://www.example.com' try: # Open the URL and read its content response = urllib.request.urlopen(url) # Read the content of the response data = response.read() # Decode the data (if it's in bytes) to a string html_content = data.decode('utf-8') # Print the HTML content of the web page print(html_content) except Exception as e: print('Error fetching URL:', e)>

pip3 install pyautogui>

import pyautogui # moves to (519,1060) in 1 sec pyautogui.moveTo(519, 1060, duration = 1) # simulates a click at the present  # mouse position  pyautogui.click() # moves to (1717,352) in 1 sec pyautogui.moveTo(1717, 352, duration = 1) # simulates a click at the present  # mouse position pyautogui.click()>

import schedule import time def func(): print('Geeksforgeeks') schedule.every(1).minutes.do(func) while True: schedule.run_pending() time.sleep(1)>