SelfParser - универсальный парсер контента


SelfParser - универсальный парсер новостей, товаров. Сам парсер не требует базу данных, полученные данные Вы можете сохранять в любой формат. Что бы понять принцип работы парсера, читайте эту статью до конца.

Версия парсера: 1.3
Кодировка: UTF-8

Требования
PHP 7.1, 7.2 и IonCube Loader



Особенности и работа парсера

Как я уже сказал, парсер работает сам по себе и не требует подключение базы данных. Он получает контент и отдает его обработчику, который может написать любой знающий PHP программист. Но не пугайтесь. На данный момент в комплекте уже есть один обработчик, который забивает базу DLE. Одним словом, сейчас парсер может наполнять сайты на DLE. В дальнейших обновлениях я буду добавлять обработчики для wordpress и т.д. (по запросу), а так же улучшать саму работу парсера, добавлять настройки и возможности. Если Вы желаете написать свой обработчик, я подскажу как и куда положить, хотя профи итак догадается :D.
Парсер отдает полученный результат в кодировке UTF-8, далее в обработчике Вы можете конвертировать если нужно в любую другую кодировку.

Возможности

  • Независимая админка.
  • Парсер работает не зависимо, то есть сам по себе и не зависит от того, какая CMS установлена.
  • Возможность создавать неограниченное количество шаблонов (сайтов для парсинга).
  • Может получать данные как с сайтов кодировка которых windows-1251 так и UTF-8, а так же конвертировать все полученные данные или отдельный контент в UTF-8.
  • Может получать картинки и файлы из контента. Обработчик DLE их сохраняет вам на сервер и заменяет пути картинок в контенте на ваши, и файлы сохраняет к вам на сервер в папку uploads/files/... как положено и добавляет вложения в конец полной новости.
  • При создании шаблона, можно проверить его работу, как он получает контент.
  • Парсить контент как с HTML тегами, так и без них.
  • Включение / выключение шаблонов.
  • Ведение логов.
  • Статус активности.
  • Возможность парсить данные через прокси SOCKS5 типа.
  • Возможность удалять скрипты или не удалять.
  • Возможность удалять ненужные элементы из полученного контента.
  • Возможность заменять или вырезать слова, фразы, код из полученного контента как по точному совпадению, так и по регулярному выражению.
  • Парсер обходит каждый созданный Вами шаблон по очереди и проходится по всем новостям или товарам донора. Обработчик DLE сохраняет новость если такой ещё нет (сверяется по заголовку). Если новость уже есть, он переходит к парсингу нового шаблона и так по кругу.
  • Работа по крону через простой HTTP запрос.
  • Адаптивная панель управления.
  • Для DLE:
    - возможность добавлять полученные данные в доп поля (текст, картинки, галерею и т.д.)
    - добавлять данные как в одну, так и сразу в несколько категорий на сайт.
    - добавлять новые посты сразу или ставить на модерацию.

Для идеальной работы парсера по крону, необходимо установить запуск не менее 1 - 2 раза в минуту.

Цены

1 лицензия = 1 домен.
  • 2 т.р. - бесплатное обновление до тех пор, пока не будет выпущена сборка с реализацией страниц (настройки и логи). Когда настройки и логи будут функционировать, бесплатное обновление заканчивается.
    - 1 лицензия. Каждая последующая со скидкой 20%.
  • 10 т.р. - 10 лицензий + 2 бесплатных обновлений не включая обновления из первого пункта.
  • 20 т.р. - неограниченное кол-во лицензий + бесплатное обновление до момента реализации страниц настроек и логов (включая).
  • 50 т.р. - полный без лимит. Бесплатные обновления и поддержка.
Дополнительно:
    200 р. за настройку одного шаблона, если не получается настроить самому.

Скриншоты SelfParser










Обновление SelfParser 1.3

Новые функции и возможности парсера:
  • Добавлена возможность парсить сайты через прокси.
    Список прокси указывается в файле selfparser/data/proxy.txt в формате (IP:port). Каждый новые прокси с новой строки. Не оставляйте пустых строк.
    Если файл пустой, то парсер работает в обычном режиме.
  • Добавлен функционал, который умеет заменять или вырезать слова, фразы или код из полученных данных.
    Есть как простая замена так и с регулярными выражениями, что позволяет очень гибко настроить получение нужных данных.
  • Реализованы все страницы: логи, процессы, настройки, прямая ссылка на запуск, faq.
    Логи показывают такие данные как:
    - старт парсера;
    - запуск, остановка парсера;
    - прокси и время получения данных в секундах;
    - ссылка на источник, ID новости с ссылкой на новость, которая уже есть на сайте (информация о том, что новость не была добавлена);
    - информация о переключении шаблона или о невозможности получить контент;
    - размер файла логов на первой строке. При достижении 1Mb удаляется первая строка и добавляется новая, что позволяет предотвратить нагрузку. Файл обновляется автоматически (через AJAX). Есть кнопка пауза, что бы остановить обновление и просмотреть нужную строчку в логов.
  • Добавлена возможность сохранения картинок на сайт в дополнительные поля как одного изображения, так и галереи, читайте далее.
Добавление и загрузка картинок на сайт раньше работала только из полученного контента, см. видео. Теперь есть возможность загружать изображения через опцию (картинки). Как это делается читайте далее.
  1. Выбираете получить элемент -> картинки.
  2. В поле название поля если указать XF-fieldname | свое название, то полученные изображения будут добавляться в доп поле fieldname. При этом в поле код должен быть указан путь к картинке, например .sidebar img:eq(0) - найдет первую картинку из элемента с классом sidebar.
Если вы хотите загружать изображения в поле с одним изображением, то в поле код должно быть указан код для получения только одного изображения, иначе в доп.поле ничего не запишется.
Если вы хотите загружать в галерею изображений, то в поле код должно быть указано получение несколько изображений.
Если приставку XF-... не указывать, то полученные изображения, просто будут загружены на ваш сайт, но нигде не будут присутствовать в базе DLE.
Эта функция ещё в тестовом режиме, но все работает пока хорошо. Все ваши пожелания пишите в комментариях.

Новые скриншоты:
 


 

 


Все Ваши вопросы и пожелания пишите в комментариях или в поддержку.

За получением ключа обращайтесь в поддержку, указав адрес сайта, где будет установлен парсер.
Установка парсера бесплатна.

Цена: 2000

Купить В корзину
Автор: Kylaksizov

Похожие товары:


Комментарии ( 37 )

  1. 0

    Александр Генералов

    За комментарий? Для теста!
    6 октября 2018 21:53 Ответить
    1. 0

      Dali

      конечно гитлер!
      7 октября 2018 04:08 Ответить
  2. -1

    Sergejus

    Требования: IonCube Loader
    Дальше читать не стал...
    7 октября 2018 10:58 Ответить
    1. +1

      Kylaksizov

      Не читайте дальше ещё хуже  laughing 
      7 октября 2018 11:32 Ответить
    2. +1

      Doznet

      IonCube Loader устанавливается автоматически из админки, ispmanager точно
      7 октября 2018 12:13 Ответить
      1. 0

        Kylaksizov

        По умолчанию он везде установлен, человек просто либо думает что я закодировал там какой-то грязный код или просто не хочет покупать потому что его нельзя поломать, вот и все.
        7 октября 2018 12:22 Ответить
        1. -1

          Sergey

          Сломать можно все. Если Вас еще не сломали, значит Вы просто не интересны.
          8 октября 2018 09:08 Ответить
          1. 0

            Kylaksizov

            Не сломали, потому что раскодировщика под версию 7 ещё не выпустили, какие Вы наивные)
            8 октября 2018 09:13 Ответить
            1. 0

              molohakeru

              То что его нет в паблике не значит что его не выпустили...
              15 октября 2018 01:53 Ответить
  3. 0

    Kylaksizov

    molohakeru,
    ну что, скачал парсер за 1 р. ?  laughing  laughing  laughing 
    15 октября 2018 07:43 Ответить
    1. +1

      molohakeru

      Ну попытался мало ли)smile  smile
      15 октября 2018 12:03 Ответить
      1. 0

        Kylaksizov

        Молодец, мне как раз надо знать где у меня дыры  smiley 
        15 октября 2018 13:48 Ответить
  4. +1

    LMakc

    Парсер отличный , но еще сыроват. 
    1. Можно  ли парсить  торренты и постер в  доп поля?
    2. Есть  ли возможность  заполнение СЕО ? Метатег title: (description)  (метатеги keywords)
    23 октября 2018 17:39 Ответить
    1. 0

      Kylaksizov

      Спасибо.
      В доп поля можно парсить что угодно.
      Содержимое для SEO сейчас нет, но реализовать можно просто дописав в dle обработчик нужный код, не составит труда.
      23 октября 2018 17:45 Ответить
  5. 0

    Geralt

    Подходит для dle 10.2?
    23 октября 2018 22:35 Ответить
    1. 0

      Kylaksizov

      Подходит для любой версии dle, хоть для 7.1
      24 октября 2018 06:28 Ответить
      1. 0

        Yandexbot

        Поддержку php 7.1 ввели только в 11 версии dle.
        24 октября 2018 20:05 Ответить
        1. 0

          Kylaksizov

          Ваш вопрос меня убил))) Можно я не буду отвечать?
          24 октября 2018 21:17 Ответить
          1. 0

            Yandexbot

            Это не вопрос :) В требованиях к парсеру стоит версия php 7.2 минимум. DLE ниже 11 не заведётся на ней. 
            24 октября 2018 21:46 Ответить
            1. 0

              Kylaksizov

              Модуль работает на PHP 7.1 и 7.2. Значит, когда выпустят DLE под версию PHP 7.2, мой модуль будет работать.
              24 октября 2018 21:50 Ответить
  6. 0

    F

    Между переходом с выбора системы оплаты на сайт яндекс денег прослойка из сайта sportcabino.ru. При переходе на оплату через киви прослойка из другого палевного сайта. Я никогда не покупал через free-kassa, меня это напрягает. Можно купить другим способом?
    26 октября 2018 09:16 Ответить
    1. 0

      Kylaksizov

      Можете напрямую на Яндекс. Скайп внизу сайта.
      26 октября 2018 09:58 Ответить
  7. 0

    smngr

    Парсит картинки, но при этом не вставляет их в новость, в редактор поста вставляет ссылки с ссылкой на img на сайте-доноре. Можно было бы убрать автоматическую пропись ссылки в посте, а сделать добавление ссылок на загруженные картинки в доп. полях или лучше использовать поля типа "загружаемая картинка". Мне кажется, сейчас мало кто публикует постеры и скрины через редактор.
    29 октября 2018 10:15 Ответить
    1. -1

      Kylaksizov

      Если у Вас не получается настроить замену путей в посте на ваш сайт, то можете парсить картинки в доп поля, на видео показано как парсить в доп поля нужное. И в Вашем случае Вы получите то что хотели.
      29 октября 2018 10:21 Ответить
      1. 0

        smngr

        XF-year | Постеер 
        Воу, это круто,  но тогда картинка не загружается на сервер и эта ссылка ведёт на сайт-донор. А как нужно настраивать замену путей? Я тестирую на том же сайте, что на видео, настройки идентичные.  А если парсить в поле именно картинку, то тоже не загружается.
        29 октября 2018 10:37 Ответить
        1. 0

          Kylaksizov

          Замены пока нет. Реализую в следующем обновлении.
          29 октября 2018 11:32 Ответить
          1. 0

            smngr

            И замены при добавлении по методу с видео - когда картинка парсится в содержимое? Как тогда парсить
            29 октября 2018 12:38 Ответить
  8. 0

    Иван

    Добрый день!

    А имеется возможность, например, проверять данные на каком-то сайте, если они изменились, то парсить новые данные. Если остались прежними (как были после прошлой попытке парсинга), то ничего не делать?
    7 ноября 2018 18:06 Ответить
  9. 0

    smngr

    А можно узнать по поводу даты выхода новой версии?
    13 ноября 2018 23:38 Ответить
    1. 0

      Kylaksizov

      Как время будет, пока не знаю. Недели две точно занят. Может появится окно и сделаю обновления.
      В Вашем случае, я не помню что Вы там просили. Пишите заявку в поддержку. Заявок нет по улучшению, поэтому и обновлять пока не планирую по скорости.
      14 ноября 2018 09:11 Ответить
      1. 0

        smngr

        Плагин не публикует картинки на сайт, вы об этом замечательно знаете, ссылки имеют вид adres-donora/uploads/posts/. 
        15 ноября 2018 10:31 Ответить
        1. -1

          Kylaksizov

          Значит вы что-то не так делаете. Парсер загружает картинки на сайт, смотрите внимательно видео.
          Не стоит писать и в поддержку и в комментариях.
          15 ноября 2018 11:16 Ответить
          1. -1

            smngr

            Посмотрите код элемента картинки на сайте, там будет ссылка на чужой сайт, не смотря на то, что на сам сервер картинка заливается. В видео как раз таки просто показаны картинки в редакторе, у себя в редакторе статьи тоже вижу якобы картинки, но они подгружены с чужого сайта. 
            15 ноября 2018 19:22 Ответить
            1. 0

              Kylaksizov

              Время в видео 16:10 вы не внимательно смотрели значит. Если у Вас не получается это сделать, напишите в поддержку, я не веду поддержку на сайте. Следующие комментарии подобного рода буду удалять.
              15 ноября 2018 20:23 Ответить
  10. +1

    smngr

    Шикарное обновление, новая функция с картинками работает идеально, настройки тоже, прокси порадовал, удобная авторизация на закрытых ресурсах очень полезна. Раньше он, вроде, не запоминал новости, которые спарсил, а просто проводил проверку(?), а теперь работа продолжается с определённого места, что круто. Только функция с галереей изображений немного огорчила: на большинстве сайтов по тегу img доступны только превьюшки, полноценные изображение содержатся по ссылке в <a class без специальных тегов. Их, получается, нельзя заполучить.
    3 декабря 2018 21:29 Ответить
    1. 0

      Kylaksizov

      Если сайт-донор на DLE, то он автоматически обрезает thumbs/ что позволяет загружать на сайт оригинальное изображение.
      3 декабря 2018 21:34 Ответить
  11. 0

    gmail

    Кто может настраивать шаблоны, нужно настроить несколько шаблонов, пишите в скайп vik_pc по цене договоримся
    Вчера, 22:54 Ответить

Отправить

В корзине: 0 шт.

на сумму: 0

Всего: 0

Оформить заказ Очистить корзину