Восстановить ссылки

Тема в разделе "Решение проблем с использованием программы", создана пользователем Siroff, 15 май 2015.

  1. Siroff

    Siroff New Member Пользователи

    Регистрация:
    17 апр 2015
    Сообщения:
    117
    Парсил сайт 220 тыс.товаров два дня(скрость маленькая 0,6 док/сек, спарсил половину, а сейчас неожиданно ноутбук заглючил перезагрузка, перезапуск программы, запускаю и ссылки не сохранилось на том месте где парсилось, снова загрузился весь список ссылок.
    Можно ли сейчас как то восстановить с того места где оборвалось? Чтобы заново все не парсить?
     
    Siroff, 15 май 2015
    #1
  2. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.442
    Адрес:
    Latvia
    Чтобы впредь так безвозвратно не терять порядочность парсинга, надо следовать рекомендациям.
    ---
    С таким "нестабильным" парсингом используйте в настройке пару важных моментов.
    1. В сканере перед началом процесса, укажите внизу через сколько ссылок автобекапить список (справо от нижней кнопки "сохранить ссылки" есть поле ввода цифры)
    2. В настройке фильтрации (сочетание клавишь ctrl+t) укажите путь дотекстового файла в поле "файл с загруженными ранее ссылками"
    3. Сохраните прооект!

    Удачи!)
     
    kagorec, 15 май 2015
    #2
  3. Siroff

    Siroff New Member Пользователи

    Регистрация:
    17 апр 2015
    Сообщения:
    117
    Значит сейчас уже не восстановить никак? Есть файл с уже спарсенными товарами (там есть столбец ссылка на товар) и есть все ссылки может можно как то отфильтровать? Имею ввиду исключить из из списка всех ссылок уже спарсенные по столбцу ссылка на товар.
     
    Последнее редактирование: 15 май 2015
    Siroff, 15 май 2015
    #3
  4. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.442
    Адрес:
    Latvia
    Если не указывали описанного выше в настройках, то ссылки утеряны изза рестарта компьютера.
     
    Последнее редактирование: 15 май 2015
    kagorec, 15 май 2015
    #4
  5. Siroff

    Siroff New Member Пользователи

    Регистрация:
    17 апр 2015
    Сообщения:
    117
    Отредактировал сообщение, все таки мне кажется каким то макросом или формулой можно справиться с данной задачей в ексель.
     
    Siroff, 15 май 2015
    #5
  6. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.442
    Адрес:
    Latvia
    С этого стоило начинать)
    Второй пункт как писал ранее
    В подключенный текстовик перед парсингом добавьте список ссылок из документа. Далее как обычно начнется парсинг но сначало проверит список ссылок в парсере и список ссылок в подключенном текстовике, совпадающие пропадут из списка ссылок программы и приступит к парсингу по незадействованным ранее ссылкам
     
    Последнее редактирование: 15 май 2015
    kagorec, 15 май 2015
    #6
  7. Siroff

    Siroff New Member Пользователи

    Регистрация:
    17 апр 2015
    Сообщения:
    117
    Насчет этого не понял, в фильтрация документов задал документ со списком ссылок которые уже спарсились, на парсинг стоит все 220.000 тыс.товаров так?
     
    Siroff, 15 май 2015
    #7
Similar Threads
  1. ААА

    Как спарсить ссылки, если имеется только часть ссылки?

    ААА, 24 янв 2013, в разделе: Парсинг конкретных сайтов по запросу (ПЛАТНО)
    Ответов:
    0
    Просмотров:
    1.963
    ААА
    24 янв 2013
  2. yuzi

    Как сканить ссылки категорий сайта fotos.ua?

    yuzi, 19 сен 2013, в разделе: Парсинг конкретных сайтов по запросу (ПЛАТНО)
    Ответов:
    4
    Просмотров:
    2.914
    Liooon
    21 авг 2015
  3. coolbratan

    Парсить ссылки, подгружаемые скриптом

    coolbratan, 6 янв 2015, в разделе: Парсинг конкретных сайтов по запросу (ПЛАТНО)
    Ответов:
    6
    Просмотров:
    1.946
    coolbratan
    9 янв 2015
  4. emkub

    Генерация ссылки из предыдущей спарсенной ссылки

    emkub, 20 мар 2015, в разделе: Парсинг конкретных сайтов по запросу (ПЛАТНО)
    Ответов:
    26
    Просмотров:
    3.319
    emkub
    3 апр 2015
  5. esif22

    Собрать ссылки с топиков

    esif22, 14 апр 2015, в разделе: Парсинг во вкладке "Ссылки"
    Ответов:
    2
    Просмотров:
    1.641
    esif22
    15 апр 2015
Загрузка...

Поделиться этой страницей