Ruby On Rails in UA/Ruby /Подключение к динамическому html-документу

Возникла проблема! Имеем библиотеку net/http и гору всяческих библиотек для парсинга и эмулирования браузера, из которых 90% построены на net/http (остальные 10% я просто не нашёл). Open-uri не берём, это производная от net/http. Вся эта хренотень имеет одну и ту же проблему. Они все скачивают ПЕРВУЮ, статическую версию html страницы, на которую сделан запрос. На большинстве сайтов это никаких проблем не вызывает (ну, подумаешь, будут какие-то кнопочки disabled). Но вот я встретил один сайт, парсинг с которого мне Очень нужно написать, и на нём катастрофический косяк. Весь основной контент в нём загружается *динамически*. Т.е. как и обычный "просмотр html-кода" Руби выдаёт мне пустой див. Если использовать плагины к браузеру и надстройки, можно скачать "настоящую", последнюю версию страницы, которая и отображается сейчас в браузере, из чего я делаю вывод, что на программном уровне это возможно, но я абсолютно без понятия, как такое можно сделать на Руби. Поэтому очень прошу помощи.

Платформа Винда XP (но могу и под uwin запускать, абсолютно без разницы), Руби 1.8.6, браузер Макстон. Ссылка на злополучный сайт, а именно на страницу поиска, на которой и пустует тот самый див "сёрчРезультс":
http://www.zarplata.ru/businessman/result.aspx?keywords=&locationid1=&rubricid=



И есть ещё проблема номер два. Необходимо аунтефиироваться на сайте Ruby-роботом (т.е. получить сессию и все связанные с этим привелегии и доступ к закрытой части сайта). Аккаунт имеется, но если просто посылать логин и пароль в качестве параметров к запросу на страницу, допустим (сейчас точно не помню), login.php, он (сайт) выдаёт кучу ошибок, и я примерно понимаю, что делаю что-то не то. Наверное, нужно импользовать https или что-то подобное, я без понятия. Сайт job.ru. Расскажите, как аунтефицировать бота?



Заранее благодарен за потенциальные ответы!! Спасибо!!! ЗЫ: классный форум, просто-таки русское РоР-коммьюнити. :)

Для начала если ты разрабатываешь на рельсах то рекомендую тебе установить Firebug - это плагин по Firefox он тебя просветит во многом а тем более поможет посмотреть как работают чужие сайты потому что на explorere ты нифига не увидишь и не отладишь.
И так вернемся к твоему сайту номер один
http://www.zarplata.ru/businessman/result.aspx?keywords=&locationid1=&rubricid=
Что бы получить данные с него тебе надо просто посмотреть как он работает.

Опять берем линейку зарплат крутим ее
смотрим что происходит на сайте
1- это отсылка данных в формате json

Host www.zarplata.ru User-Agent Mozilla/5.0 (X11; U; Linux i686 (x86_64); ru; rv:1.9.0.1) Gecko/2008070206 Firefox/3.0.1 Accept text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8 Accept-Language ru,en-us;q=0.7,en;q=0.3 Accept-Encoding gzip,deflate Accept-Charset windows-1251,utf-8;q=0.7,*;q=0.7 Keep-Alive 300 Connection keep-alive Content-Type application/json; charset=utf-8 Referer http://www.zarplata.ru/businessman/result.aspx?type=&PageSize=&ViewMode=&Period=&SortField=&PriceFrom=&PriceTo=&Keywords=%u043F%u0440%u043E%u0433%u0440%u0430%u043C%u0438%u0441%u0442
Во первых тебе надо будет установить реферер
и Content-Type application/json; charset=utf-8
постом передать

{"query":"type=resume&PageSize=30&ViewMode=Short&Keywords=%d0%bf%d1%80%d0%be%d0%b3%d1%80%d0%b0%d0%bc%d0%b8%d1%81%d1%82&Period=7&SortField=savedate&PriceFrom=26000"}

диапазон зарплат

В результате ты полуичшь ответ в диже JSON

{"d":{"__type":"Zarplata4.WebServices.AnnouncementResultSearch","IDs":[8579644,9407126],"Message":null}}

Гдето стоит обратить внимание на
"IDs":[8579644,9407126]

Далее яваскрипт формирует из этой последовательности
GET запрос на сайт
С такими параметрами
type resume rc 2 ps 30 pn 1 id 8579644,9407126 keywords програмист order savedate nodekey /businessman/result.aspx rnd 0.28567401374093526
Где ключ id и соответствует тому диапазону который дываст тебе сайт в результате поиска
и так после GET запросы ты получишь ответ примерно с таким содержанием
<div class="posresblock"> <div class="inner1 colored_0"> <div class="amount"><span style="white-space:nowrap;"> от 35 000</span>р.</div> <div class="description"><a onclick="GoToOne(this);" class="descrhead" href="/businessman/100/1/5820 /9407126/one.aspx">Первые лица предприятий</a><div class="clear"></div> <p><strong>Соискатель</strong> ; <strong>Гражданство: </strong>Россия; Башкортостан респ. / Уфа; </p> <p><strong>Образование: </strong>Неполное высшее; <strong>Опыт работы: </strong>более 5 лет; Муж; Полная занятость</p><a href="javascript:void(0);" class="reqs_sw"><span>просмотреть</span ><span style="display:none;">скрыть</span> проф. навыки </a><div class="reqs py20"><strong>Профессиональные навыки:</strong>переговоры<div class="py20" ><strong>Опыт работы:</strong></div> <div class="cont1"> <div style="padding: 5px 5px 5px 0pt; width: 110px;" class="fll r"><strong>04.2006 - 05.2008 </strong></div> <div style="padding: 5px 0pt 5px 5px; width: 380px;" class="fll"><strong>специалист в сети баров, ресторанов, гостиниц (HoReCa)</strong><span style="font-style: italic;">Уфа, ООО «САБМиллер РУС»(ТрансМарк)</span><br>Анализ и увеличение базы активных торговых точек, контроль торговых представителей, проведение промо мероприятий, переговоры с дистрибьютором, выполн ение плана продаж</div> </div> <p><a onclick="GoToOne(this);" class="showvisited" href="/businessman/100/1/5820/9407126/one .aspx">Посмотреть полное резюме</a> | <a href="javascript:void(0);" class="showvisited" onclick="checkAuthorization('ToFavorite(\'resume \',9407126);', 'JavaScript'); return false;">Сохранить</a></p> </div> <p class="published"> id: 9407126 , дата размещения: 19.08.2008 09:54:00</p> </div> </div> </div>
Думаю это то что тебе нужно

Спасибо огромное за оперативный и полный ответ! Поставил себе Firebug (кстати, в Макстоне есть нечто подобное: плагин ViewPage, но он мне такой информации не предоставил), теперь разбираюсь со всем этим и пытаюсь понять, как это релизовать на Руби. Думаю, осилю, это оказалось действительно то, что мне нужно.

Думаю, с аунтефикацией тоже теперь сам разберусь! Ну, если нет, напишу сюда снова. :)

Ещё раз спасибо!