Помочь с парсингом сайта

Привет всем! У меня вышла засада с одним сайтом. Прошу помощи

Скрытое содержимое:

**Скрытое содержимое: доступно при наличии 5 постов.**

Если можно, то напишите цену, за сколько вы возьметесь этот сайт парсить

 

А что спарсить нужно?

 

Тех. Задание есть?

 

О! Привет! Товары

 

Ну да. Сайт так себе.. Много времени потребуется. И не факт что получится. У меня нет времени на это сейчас.

 

Огромное спасибо, за ответ, потому что я закопалась в нем намертво! Еще раз большое спасибо, мне было важно услышать мнение со стороны, а то совсем упала духом

 

а что не получается спарсить ?
судя по html страниц - ничего сложного
Да и товаров там 10 шт - вполне руками быстрее собрать

 

Не 10, а 32. Там на каждый товар таблица с модификациями (до 1000 позиций), по каждому своя цена, которая меняется в зависимости от характеристик. Я тоже думала что ничего сложного. Товаров немного, прокликивает нормально. Но когда запустила парсер сайт стал виснуть - получаются "пустые" а точнее одинаковые слепки страницы. То есть там где цена должна меняется - она получает одинаковая, потому что данные по параметрам не обновились. Стала увеличивать задержку и вот тут началось... Задача стала превращаться в какую-то тягомотную слежку за сайтом Оставила парсер на ночь с большой задержкой и сайт лег, все ушло в брак. В общем намучалась.

А сейчас да, пошла руками - надо как-то заканчивать эту эпопею ))

Но совет руками делать..., нет вы не подумайте, я рада вашему участию, и готовности помочь, но просто мне то хотелось разобраться именно с точки зрения настроек что с этим со всем делать. Правда если честно, то хотелось вчера, сегодня я чувствую такую усталость от этой задачи, после ночи ручного сбора, что главное уже просто отвязаться от нее.

 

Какие-то параметры нужно менять при сборе данных ?


Вся проблема данного сайта в то, что он с задержками отдает данные,
Нужно делать проверки на то что данные вернулись/прогрузились

 

Да, нужно пройти проверить все параметры (там бывают отличия внутри списка модификаций - чего то может не быть, если 3 секции или если межцентровое расстояние от 1500)
Я пробовала - но там есть хитрость фактически то данные есть на странице, только от предыдущего состояния. Так что не смогла настроить такую проверку Возможно я как-то базово не понимаю как тут ее нужно делать, отдохну чуток и вернусь еще раз попробую

 

К примеру у этого товара
Ссылки недоступны для гостей
при указании параметра "Температурный напор:" с 70 на 50 - меняются значения в таблице

 

Я в код не лез. Может кстати там есть что-то, или в запросах есть. Можно попробовать отснивать. Может inotoxic, или другой кто-то из коллег сможет глянуть, и помочь.

 

Если честно я вот это даже не трогала, так как задача звучала прокликать все внизу под таблицей и собрать изменения цены. И даже с этим небольшим набором сбор не пошел.

 

Если поможет, могу предложить сохранение каждого товара в отдельный html файл, а вы уже потом сами распарсите

Пример получаемого файла - на вкладке "расчитать стоимость" - вся таблица

 

Так мне надо это обдумать! Поправьте меня, если неправильно понимаю (вырубает - туго идет соображалка): значит мы выкачиваем каждую модификацию товара в html, а потом их парсим, а не будет той же проблемы - зависание на прокликавании, и одинаковых html?

 

Одинаковых html - не будет, товары - то разные (единственно если нужно, товары парсить группами, т.к. столбцы и названия столбцов разные в зависимости от категории товара)
Прокликивать ничего не нужно все данные УЖЕ собраны, внимательно посмотрите вложение из моего предыдущего сообщения

 

Хм, надо будет разобраться как вы такую штуку сделали

 

31 html - с полными таблицами

 

Огромное спасибо! :* :* :*

 

Подскажите, подалуйста, а вы

чтобы таблицу полностью развернуть прокликивали "загрузить еще"?