Manejando la paginación en lxml

Intento reflejar un raspador de Ruby que escribí, pero solo para un entorno de python. Decidí usar lxml y solicitudes para hacer esto. Mi problema es la paginación:

base_url = "http://example.com/something/?page=%s" for url in [base_url % i for i in xrange(10)]: r = requests.get(url) 

Soy nuevo en python y en esta biblioteca, así que no estoy seguro de la mejor manera de realizar el código ruby ​​equivalente:

 last_pg = (page.xpath("//div[contains(@class, 'b-tabs-utility')]").text.split('of ')[-1].split(' Results')[0].to_f / 60).ceil puts "Current Index: #{last_pg}" for pg_number in 1..last_pg do puts "Getting links on page #{pg_number}" 

Obtenga la cantidad de resultados dividiendo b-tabs-utility div en espacios y obteniendo elemento antes del último:

 base_url = "http://example.com/something/?page=%d" results_per_page = 60 div = page.xpath("//div[contains(@class, 'b-tabs-utility')]")[0].text last_pg = int(div.split()[-2]) / results_per_page for i in xrange(last_pg): r = requests.get(base_url % i) 

Supongo que el texto div está en el siguiente formato, por ejemplo: ... of 642 Results