Генерация большого списка ссылок

Тема в разделе "Парсинг во вкладке "Ссылки"", создана пользователем Stan, 27 янв 2017.

  1. Stan

    Stan Active Member Пользователи

    Регистрация:
    15 июн 2011
    Сообщения:
    499
    Есть ссылки пагинации такого вида

    Ссылки недоступны для гостей
    Ссылки недоступны для гостей
    Ссылки недоступны для гостей и т.д. их очень много, и вручную составлять для каждой ссылки генерацию типа Ссылки недоступны для гостей списка не реально.

    Есть ли решение как это автоматом сделать?
     
  2. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    ну root ответит что это можно настраивать сканером, а я не люблю сканер, я это делаю руками)
     
  3. Stan

    Stan Active Member Пользователи

    Регистрация:
    15 июн 2011
    Сообщения:
    499
    сканером долго очень
     
  4. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.432
    Адрес:
    Latvia
    Сканер долго работать будет в том случае если вы не настроите правильно и тогда конечно пока по страницам будет ходить заблудиться на сайте.
    А так сканером в десятки раз быстрее чем вкладкой ССЫЛКИ.

    Из описанного в первом посте следует предполагать что для очереди ссылок в сканере не хватает условия:
    Код:
    re:http\://site\.ru/[^\/]+/[0-9]+/
     
    Stan и Root нравится это.
  5. Stan

    Stan Active Member Пользователи

    Регистрация:
    15 июн 2011
    Сообщения:
    499
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 5 постов.**
     
  6. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.432
    Адрес:
    Latvia
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
     
    Stan и Root нравится это.
  7. Moonwalker

    Moonwalker New Member Пользователи

    Регистрация:
    29 дек 2014
    Сообщения:
    29
    Не совсем подобная задача, но список тоже очень большой. Может, кто подкинет идею, как решить ))
    В общем, условно, нужно сгенерить около миллиарда ссылок с нумерацией по порядку (типа Ссылки недоступны для гостей, где номер меняется) .
    В лоб через внутренний генератор ради интереса попробовал, но где-то на 2% начались проблемы с out of memory и так далее )))

    Вопрос... Чем сперва можно сгенерить подобное количество ссылок по порядку? И, наверное, стоит на какое-то большое количество файлов раздробить (по сколько строк в файл пихать, чтобы потом программа не захлебнулась?).
    Уже подумал на Зеннке шаб нарисовать под это дело, даже моих знаний, наверное, должно хватить ))
     
  8. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    до 800к вполне сносно обрабатывать.
     
    Moonwalker нравится это.
  9. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Я думаю, чем "вхолостую" парсить потом миллиард ссылок, проще и правильнее собрать актуальные ссылки с сайта.
     
    Moonwalker нравится это.
  10. Moonwalker

    Moonwalker New Member Пользователи

    Регистрация:
    29 дек 2014
    Сообщения:
    29
    В общем, по ряду причин собрать актуальные ссылки не получится (вернее, возможно, только займет очень большое количество времени, ибо страниц на сайте несколько миллионов). Ну это бог с ним, придумаю что-нибудь
    Вопрос такой: вижу возможность подгружать ссылки из txt файла. А не планируется ввести возможность подгружать их из нескольких файлов? Условно, в папке лежат 10 файлов, в каждом из которых большое количество ссылок. Указываешь все файлы и он с ними по очереди работает. А то слишком "толстые" файлы тоже не хочется делать, с ними и работать сложнее, и памяти жрать будут )) Но это так, просто предложение. Просто механизм уже есть, можно было бы немного расширить ))
     
  11. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Здравствуйте, могу сделать на заказ (не контентом), если интересно пишите в скайп. На выходе только конечный результат.
     
  12. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Обратите внимание на команду SCANDIR Ссылки недоступны для гостей, доступную во вкладке "Ссылки"

    Надеюсь, решит ваш вопрос.
     
    Moonwalker нравится это.
  13. Moonwalker

    Moonwalker New Member Пользователи

    Регистрация:
    29 дек 2014
    Сообщения:
    29
    То, что доктор прописал! Но подумайте насчет того, чтобы оно как-то очевиднее было изначально. Может, пару кнопок добавить в окно "Добавление ссылок".
    Еще раз огромное спасибо и за инструмент, и за решения, которые облегчают жизнь ))
     
    Root нравится это.
  14. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Отлично!

    Спасибо! Пожелание учтено!
     
  15. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Скачайте и установите доработанную версию программы (в программе: главное меню - файл - центр обновлений -> кнопка "обновить программу/скачать обновленную сборку").

    2017-02-09_13-31-49.png
     

Поделиться этой страницей