Ruby On Rails in UA/SEO, веб тюнинг на rails/Получаем колличество проинтексированых страниц Яндексом

Стало интересно посмотреть что может Hpricot, и решил сделать парсинг страницы для получения количества проиндексированых ссылок ботом. Для этого надо получить и распарсить страницу с яндекса.
http://www.yandex.ru/yandsearch?serverurl=http://fotolife.com.ua&lr=187

Для этого сначала ставим джем
gem install --remote hpricot

По мимо парсинга страницы нам понадобиться еще и получить страницу, для этого будем использовать стандартные библиотеки.
#link.rb
require 'rubygems' require 'hpricot' require 'net/http' require 'uri' require 'pp' require 'iconv' $KCODE = "utf8" class Link def initialize(site = nil) parse_site_name(site) end def set_page(site) @site = site @ext_link = [] @int_link = [] parse_site_name(site) end def parse_site_name(site) return if site.nil? @host = URI.parse(site).host #'http://www.example.com/index.html' @host = site if @host.nil? && !site.nil? @port = '80' if @port.nil? @path = '/' if @path.nil? end def get_page(host = @host, path = @path, port = @port) port ||= 80 begin req = Net::HTTP::Get.new(path) puts "Request HOST #{host}" puts "Request Path #{path}" res = Net::HTTP.start(host, port) {|http| http.request(req) } rescue Exception => e puts e.inspect nil ensure return res end end def ya_indexed_pages #http://www.yandex.ru/yandsearch?serverurl=http://fotolife.com.ua&lr=187 page = get_page('www.yandex.ru', "/yandsearch?serverurl=http://#{@host}&lr=187") doc = Hpricot.parse(page.body) info = doc.search("div[@class='refblock']") #Результат поиска: #страниц — <b>39 354</b><br> #Область поиска: #сайт — <b>fotolife.com.ua</b> info.html.split('<br/>').first.scan(/\<b\>(.*)\<\/b\>/).first end end links = Link.new links.set_page('http://fotolife.com.ua') puts links.ya_indexed_pages

После чего можно запустить файлик и в результате увидим количество проиндексированых страниц.


Hpricot позволяет искать в html, xml даже с использованием XPath
doc = Hpricot.parse(page.body) info = doc.search("div[@class='refblock']") rubrika = doc.search('/html/body/table[2]/tbody/tr/td/ol/li/div[2]')