Восстановить ссылки

Discussion in 'Решение проблем с использованием программы' started by Siroff, May 15, 2015.

  1. Siroff

    Siroff New Member Пользователи

    Joined:
    Apr 17, 2015
    Messages:
    117
    Парсил сайт 220 тыс.товаров два дня(скрость маленькая 0,6 док/сек, спарсил половину, а сейчас неожиданно ноутбук заглючил перезагрузка, перезапуск программы, запускаю и ссылки не сохранилось на том месте где парсилось, снова загрузился весь список ссылок.
    Можно ли сейчас как то восстановить с того места где оборвалось? Чтобы заново все не парсить?
     
    Siroff, May 15, 2015
    #1
  2. kagorec

    kagorec Администратор Staff Member Администратор

    Joined:
    Jan 3, 2011
    Messages:
    4,442
    Location:
    Latvia
    Чтобы впредь так безвозвратно не терять порядочность парсинга, надо следовать рекомендациям.
    ---
    С таким "нестабильным" парсингом используйте в настройке пару важных моментов.
    1. В сканере перед началом процесса, укажите внизу через сколько ссылок автобекапить список (справо от нижней кнопки "сохранить ссылки" есть поле ввода цифры)
    2. В настройке фильтрации (сочетание клавишь ctrl+t) укажите путь дотекстового файла в поле "файл с загруженными ранее ссылками"
    3. Сохраните прооект!

    Удачи!)
     
    kagorec, May 15, 2015
    #2
  3. Siroff

    Siroff New Member Пользователи

    Joined:
    Apr 17, 2015
    Messages:
    117
    Значит сейчас уже не восстановить никак? Есть файл с уже спарсенными товарами (там есть столбец ссылка на товар) и есть все ссылки может можно как то отфильтровать? Имею ввиду исключить из из списка всех ссылок уже спарсенные по столбцу ссылка на товар.
     
    Last edited: May 15, 2015
    Siroff, May 15, 2015
    #3
  4. kagorec

    kagorec Администратор Staff Member Администратор

    Joined:
    Jan 3, 2011
    Messages:
    4,442
    Location:
    Latvia
    Если не указывали описанного выше в настройках, то ссылки утеряны изза рестарта компьютера.
     
    Last edited: May 15, 2015
    kagorec, May 15, 2015
    #4
  5. Siroff

    Siroff New Member Пользователи

    Joined:
    Apr 17, 2015
    Messages:
    117
    Отредактировал сообщение, все таки мне кажется каким то макросом или формулой можно справиться с данной задачей в ексель.
     
    Siroff, May 15, 2015
    #5
  6. kagorec

    kagorec Администратор Staff Member Администратор

    Joined:
    Jan 3, 2011
    Messages:
    4,442
    Location:
    Latvia
    С этого стоило начинать)
    Второй пункт как писал ранее
    В подключенный текстовик перед парсингом добавьте список ссылок из документа. Далее как обычно начнется парсинг но сначало проверит список ссылок в парсере и список ссылок в подключенном текстовике, совпадающие пропадут из списка ссылок программы и приступит к парсингу по незадействованным ранее ссылкам
     
    Last edited: May 15, 2015
    kagorec, May 15, 2015
    #6
  7. Siroff

    Siroff New Member Пользователи

    Joined:
    Apr 17, 2015
    Messages:
    117
    Насчет этого не понял, в фильтрация документов задал документ со списком ссылок которые уже спарсились, на парсинг стоит все 220.000 тыс.товаров так?
     
    Siroff, May 15, 2015
    #7
Similar Threads
  1. ААА

    Как спарсить ссылки, если имеется только часть ссылки?

    ААА, Jan 24, 2013, in forum: Парсинг конкретных сайтов по запросу (ПЛАТНО)
    Replies:
    0
    Views:
    1,963
    ААА
    Jan 24, 2013
  2. yuzi

    Как сканить ссылки категорий сайта fotos.ua?

    yuzi, Sep 19, 2013, in forum: Парсинг конкретных сайтов по запросу (ПЛАТНО)
    Replies:
    4
    Views:
    2,914
    Liooon
    Aug 21, 2015
  3. coolbratan

    Парсить ссылки, подгружаемые скриптом

    coolbratan, Jan 6, 2015, in forum: Парсинг конкретных сайтов по запросу (ПЛАТНО)
    Replies:
    6
    Views:
    1,946
    coolbratan
    Jan 9, 2015
  4. emkub

    Генерация ссылки из предыдущей спарсенной ссылки

    emkub, Mar 20, 2015, in forum: Парсинг конкретных сайтов по запросу (ПЛАТНО)
    Replies:
    26
    Views:
    3,319
    emkub
    Apr 3, 2015
  5. esif22

    Собрать ссылки с топиков

    esif22, Apr 14, 2015, in forum: Парсинг во вкладке "Ссылки"
    Replies:
    2
    Views:
    1,641
    esif22
    Apr 15, 2015
Loading...

Share This Page