Kyl-parser - модуль парсера контента для DLE





Версия модуля: 1.0
Версия DLE: 10.x - 11.x отличная совместимость. В версиях выше пока есть проблемы с оформлением интерфейса.
Вообще модуль не зависим и работает со всеми версиями DLE, проблема может быть только в отображении модуля.
Требования: IonCube Loader на хостинге, PHP не ниже 5.6
Инструкция внутри архива.

Модуль Kylparser предназначен для парсинга контента с других сайтов.

Возможности модуля

1. Создание шаблонов для парсинга. То есть можно создать несколько шаблонов для парсинга нескольких сайтов одновременно.
2. Возможность отключать и включать шаблоны.
3. Ведение логов. Каждый лог достигая 3 Мб, стирается и перезаписывается заново.
4. Парсинг через прокси.
5. Возможность парсить новости / статьи с мгновенной публикацией их на сайт или добавлением их на модерацию.
6. Можно указывать промежуток (в секундах) между обходом страниц на сайте доноре.
7. Распределение категорий сайта донора с категориями на сайте с установленным модулем, то есть с вашим.
8. Выбор селекторов в парсере: заголовка, постов, навигации, тегов, ключевых слов, описание, тегов, изображений, главное изображения поста...
9. Указание, на какой странице парсинга следует останавливать парсер и переходить к следующей категории на сайте или ледующему шаблону.
10. Поиск и замена в теле поста по регулярному выражению.
11. Поиск и замена или удаление атрибутов элементов в теле поста.
12. Удаление элементов.

 
 

Особенности парсера

Парсер работает по крону. Крон задается как по протоколу HTTP, так и простым вызовом PHP-скрипта. Разница в том, что php-скрипт может вызвать любой посетитель, зная адрес скрипта, а вызов по протоколу сопровождается добавлением hash параметра, который указывается к конфигурационном файле модуля.
Парсер загружает все изображения в папку uploads в папку с датой.
При повторном обходе новостей, парсер проверяет новости по заголовку. Если заголовок найден в базе, то загрузка изображений и замена статей не происходит. Планирую в следующей версии добавить возможность включить перезапись постов, думаю эта штука будет полезной.

Обращаю ваше внимание на то, что модуль закодирован с помощью IonCube, поэтому уточните на своем хостинге, установлен ли на нем IonCube Loader. Как правило он стоит почти на каждом хостинге.

Так как модуль закодирован, что бы исправить какой-то баг, мне нужно тратить деньги на повторное кодирование. Поэтому все баги я исправляю в свободное время, когда планирую выпускать обновление.
Если Вам срочно нужно исправить какой-то баг или добавить какой-то функционал, договаривайтесь со мной лично. Если я найду время, и мы сойдемся в цене, то нет проблем.

Поэтому я ещё раз настоятельно рекомендую тестировать модуль перед покупкой.

Свои идеи и пожелания по улучшению можете писать как в комментариях, так и на странице поддержки.
В скайпе я поддержку не веду!



Скачать файл: kyl-parser-1.0.rar [138,68 Kb] (cкачиваний: 24)

Новая версия
Скачать файл: kyl-parser-1_1.rar [138,79 Kb] (cкачиваний: 76)

Куда вставлять ключ?
Открываете файл engine/inc/kylparser/config.php и значение key заменяете ключ на тот, который Вы получили в скайпе.

Как запустить парсер?
Запускается как по крону (HTTP запрос), так и в ручном режиме по адресу ваш_сайт.com/kylparser_init.php?hash=*
В место * указываете hash из конфигурационного файла. Его можете поменять на свой.

На хостинге лучше увеличить время работы скрипта, так как парсер не обновляет страницу а обрабатывает все за один раз.
Написан на быструю руку, поэтому если что не работает, обращайтесь в поддержку. Бесплатная поддержка есть, но отвечаю по возможности.

Один ключ предоставляется бесплатно (для одного сайта). Если Вам понравился парсер и Вы хотите получить ключ для другого сайта, 1 лицензия стоит 3700 р. Если Вы готовы купить парсер, значит вы полностью согласны с его работой и согласны, что деньги не возвращаются. За ключом обращайтесь в скайп (внизу).

Новость отредактировал: Kylaksizov - 2018-09-16
Причина: Добавил небольшую инструкцию

Автор: Kylaksizov

Комментарии ( 11 )

  1. 0

    gorod

    вот делаю селектор постов указываю .item но ссылки не идут что сделать?

    12 июля 2018 22:04 Ответить
    1. 0

      Kylaksizov

      Потому что Ваш элемент не является ссылкой. Парсер пытается найти в указанном элементе атрибут href, а его там нет. Либо ищите ссылку на новость либо вариантов нет. Наверняка сайт написали специально для защиты от парсеров))) Под некоторые сайты нужно писать индивидуальный парсер.
      12 июля 2018 22:07 Ответить
      1. 0

        gorod

        так ссылка же там идет на пост <article class="item" data-permalink="сайт-скрыт/zhurnal/sovety/653-kak-profil-v-sotsse
        ti-mozhet-snizit-protsentnuyu-stavku-po-kreditu">
        12 июля 2018 22:08 Ответить
        1. 0

          Kylaksizov

          Ещё раз объясняю, в указанном Вами элементе должен быть атрибут href, а не data-permalink. Если ссылку не найдете нормальную, то можете забить на сайт.
          12 июля 2018 22:09 Ответить
          1. 0

            gorod

            Как не странно но это подошло, так же можно? по заголовку .title > a

            <h1 class="title">
                                        <a href="/zhurnal/sovety/653-kak-profil-v-sotsseti-mozhet-snizit-protsentnuyu-sta
            vku-po-kreditu" title="Как профиль в соцсети может снизить процентную ставку по кредиту?">Как профиль в соцсети может снизить процентную ставку по кредиту?</a>                    </h1>
            12 июля 2018 22:11 Ответить
            1. 0

              Kylaksizov

              Вам нужно написать .title a
              и всего делов.
              12 июля 2018 22:14 Ответить
  2. 0

    gorod

    Kylaksizov,
    ок

    Kylaksizov,
    скажите а как запустить тест парсера?
    12 июля 2018 22:40 Ответить
    1. 0

      Kylaksizov

      Что бы запустить парсер вручную, перейдите по адресу адрес-сайта.com/kylparser_init.php?hash=353db8bf9cb2be6da1054e51f9b7d9a2ffcfa129
      hash - это строка символов, которая прописана у Вас в конфигурационном файле.
      13 июля 2018 10:17 Ответить
      1. 0

        gorod

        так там строка с такими же данными указана hash= не менялся после установки ключа
        13 июля 2018 10:21 Ответить
        1. 0

          Kylaksizov

          И что в итоге? Если парсер не хочет запускаться, то или Вы не правильно указали адрес либо парсер настройки указали не верно.
          13 июля 2018 10:27 Ответить
  3. 0

    Гость Андрей

    Парсер работает?
    21 сентября 2018 23:05 Ответить

Отправить

В корзине: 0 шт.

на сумму: 0

Всего: 0

Оформить заказ Очистить корзину