Böngéssz Pythonban!

Ideje elvinni kicsit más irányba is a blog tartalmát, mivel az utóbbi időben jóformán csak front-end téma került elő. Mindig is foglalkoztatott az, hogy programozottan tudjam böngészni az világhálót. Ne gondoljunk rögtön a teljes internetet bejáró robotra, ezt a feladatot hagyjuk meg a Google-nek. Mi csak egy oldalra koncentrálunk erről szeretnénk lekérni, kiolvasni a tartalmát, megnézni a linkeket, letölteni róla egy-két fájlt, esetleg formokat kitölteni és elküldeni. A segítségünkre lesz a Python mint script nyelv és két modulja; a mechanize, és a BeautifulSoup. Előbbivel egy böngészőt tudunk szimulálni, utóbbival pedig a HTML oldal elemeit tudjuk feldolgozni.

mechanize

Programozott webböngészést tesz lehetővé és képes a böngésző állapotainak a megvalósítására is: navigációs előzmények, HTML form állapotok, cookie-k stb. A mechanize Andy Lester Perlben írt WWW::Mechanize moduljának Python átirata.

Lássuk azt a böngészőt!

Kifejezetten egyszerű használni a modult, nincs is más dolgunk mint importálni és meghívni a megfelelő függvényeket, amelyek mondhatni önmagukért beszélnek.

import mechanize
import cookielib

br = mechanize.Browser()
cj = cookielib.LWPCookieJar()
br.set_cookiejar(cj)

Kész is a böngészőnk! Nem is olyan nehéz, és a következőkben ennél csak könnyebb lesz. Mielőtt tovább mennénk, nézzük meg mi történik. Gyakorlatilag létrejön egy Browser objektumunk és a cookielib lesz a felelős a Browser által tárolt cookiek (sütik) kezeléséért. Ez az objektum olyan, mint egy grafikus felület nélküli böngésző. Megvannak a szükséges metódusai, amiket ha kivezetnénk egy felhasználói felületre, akkor egy kész böngészőt kapnánk. Mielőtt még elmerülünk a programozott böngészés világában, nézzük meg milyen beállítási lehetőségei vannak az objektumunknak:

# Browser beállítások
br.set_handle_equiv(True)
br.set_handle_gzip(True)
br.set_handle_redirect(True)
br.set_handle_referer(True)
br.set_handle_robots(False)

# Frissítések
br.set_handle_refresh(mechanize._http.HTTPRefreshProcessor(), max_time=1)

# Debug üzenetek
#br.set_debug_http(True)
#br.set_debug_redirects(True)
#br.set_debug_responses(True)

# User-Agent (egy kis csalás :])
br.addheaders = [('User-agent', 'Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.1) Gecko/2008071615 Fedora/3.0.1-1.fc9 Firefox/3.0.1')]

A legtöbb egyértelmű, de az utolsó érdekes. A User-Agent gyakorlatilag egy szoftver, ami a felhasználó nevében tevékenykedik. A böngészőkben, az e-mail kliensekben mind megtalálható. Nagyon sok esetben a User-Agent kliensként viselkedik egy hálózati protokollban a kommunikáció során - például a kliens-szerver architektúrában.

A fentieket ismerve elkezdhetünk játszani a böngészőnkkel. Van egy open(url) metódusa, amivel oldalakat tudsz megnyitni majd a response() függvényéből kapjuk meg a választ. Az open() után közvetlenül meghívva a response().read() függvényeket láthatjuk a letöltött oldal forrását. A title() függvénnyel ki tudjuk írni az oldal címét, az info() függvénnyel a header tartalmát tudjuk megnézni és így tovább. Az oldalon található formokat a forms() függvénnyel tudjuk lekérni ami egy listát szolgáltat a formok neveivel. Nézzük meg mennyire egyszerű kiválasztani egy formot!

# egy oldal letöltése
url = "http://kir-dev.sch.bme.hu"
response = br.open(url)
html = br.response().read()
print html

# Listázza a formokat
for f in br.forms():
    print f

# Kiválasztjuk az első formot
br.select_form(nr=0)

# A form egy mezőjébe beleírunk valamit majd submitoljuk
br.form['q']='random stuff'
br.submit()

# koilvassuk a kapott választ
print br.response().read()

Remek, de azért egy weboldal több dologból áll, mint puszta formok tömkelegéből. Mindenre van megoldás, követni tudjuk a linkeket, le tudunk tölteni fájlokat, a lehetőségeknek csak a képzeleted szab határt. A letöltésnél vigyázzunk, mert sok helyen a direkt linkeknél ha nincs beállítva a cookie kezelése, akkor feldobhat captchat a cél oldal (ellenőrző mezők, hogy nem robot vagy-e, itt az a baj, hogy lényegében az vagy). Ezeket a linkeket nem a retrive() függvénnyel kell letölteni hanem ténylegesen rá is kell kattintani a click_link() függvénnyel. Ilyenkor ellenőrzésre kerül a már említett cookie tartalma, és máris hozzá tudunk férni a letöltendő fájlhoz (elképzelhető, hogy nem cookie-val van megoldva, ez csak egy megoldás a sok lehetséges közül). A linkeket is lehetőségünk van ugyanúgy kilistázni akárcsak a formokat: for link in br.links(regex)!

# A link létezésének a vizsgálata
br.find_link(text='kir-dev')

# Ténylegesen rákattintunk a linkre
req = br.click_link(text='kir-dev')
br.open(req)
print br.response().read()
print br.geturl()

# Vissza
br.back()
print br.response().read()
print br.geturl()

# Letöltés
f = br.retrieve('kir-dev.sch.bme.hu/eznemletezik.gif')[0]
print f
fh = open(f)

Arra is képes, hogy proxy-t állítsunk be a böngészőnek!

# Proxy és felhasználónév/jelszó
br.set_proxies({"http": "joe:password@myproxy.example.com:3128"})

# Proxy
br.set_proxies({"http": "myproxy.example.com:3128"})
# Proxy jelszó
br.add_proxy_password("joe", "password")

A mechanize egy nagyon hasznos eszköz tud lenni a megfelelő ember kezében, képes automatizáltan böngészni a weboldalt, magára az oldalra tekinthetünk egy nagy gráfként, ahol az oldalak a csomópontok, és az élek az oldalon található linkek. Innentől az egésznek a bejárása gyerekjáték a már tanult módszerekkel (segítség: BFS, DFS).

BeautifulSoup

Képes parse-olni a HTML és XML fájlokat, beleértve az aszimmetrikus tageket is. A segítségével képesek vagyunk feldolgozni a HTML oldalt, keresni benne különböző elemeket (figyelembe véve az attribútumokat is), ezeknek a tartalmát kiszedni, linkeket keresni stb. Érdemes együtt használni a mechanize modullal. Miután a mechanize-zal megnyitottunk egy weboldalt a forrását át kell adjuk a BeautifulSoupnak:

response = br.open(url)
html = br.response().read()
soup = BeautifulSoup.BeautifulSoup(html)

Innentől kereshetünk az oldalon bármire:

soup.findAll('td', attrs={"class": "prodSpecAtribute"})

# linkek megkeresése az oldalon
links = soup.findAll("a")

for link in links:
	print link.contents[0], link.get("href")

Összességében két nagyon jól elkészített modulról van szó, amelyek képesek megkönnyíteni az életünket, ha már ilyen dolgokba kell belevágnunk. Magára a böngészésre a mechanize modult érdemes használni és az egyéb információk kinyerésére pedig a BeautifulSoupot. Böngésszetek programozottan!