Доступ к демо:

  • Админка сайта: перейти
  • Логин / пароль: dev / dev
  • Админка парсера: перейти
  • Логин / пароль: selfparser / selfparser

Описание

Требования:

Версия PHP 7.1
Dle 14.X (за доплату можно настроить под любую) IonCube Loader
SelfParser - универсальный парсер новостей, товаров. Сам парсер не требует базу данных, полученные данные Вы можете сохранять в любой формат. Что бы понять принцип работы парсера, читайте эту статью до конца. На днях выложу новое видео, так как то что сейчас, это по старой версии.



Особенности и работа парсера

Как я уже сказал, парсер работает сам по себе и не требует подключение базы данных. Он получает контент и отдает его обработчику, который может написать любой знающий PHP программист. Но не пугайтесь. На данный момент в комплекте уже есть один обработчик, который работает конкретно с DLE. Сейчас парсер может собирать данные, такие как текст, картинки, файлы, при этом все заливает на Ваш сервер Подходит для парсинга торрентов, игр и т.д. всего что есть на сайте. Так же есть авторизация, но работает пока с DLE сайтами.

Если у меня другая CMS

Ещё раз обращаю внимание, что если у Вас другая CMS, и вы владеете PHP, Вам всего лишь останется взять полученные данные и залить их в базу или куда нужно, хоть в файл сохранять. Парсер за один проход выполняет сбор по одной странице.

Если Вы желаете написать свой обработчик, я подскажу как и куда положить, хотя профи итак догадается :D.
Парсер отдает полученный результат в кодировке UTF-8, далее в обработчике Вы можете конвертировать если нужно в любую другую кодировку. Вы можете посмотреть обработчик для DLE и все поймете.

Возможности

  • Независимая админка.
  • Парсер работает не зависимо от того, какая CMS установлена и установлена ли вообще.
  • Возможность создавать неограниченное количество шаблонов (сайтов для парсинга).
  • Может получать данные как с сайтов кодировка которых windows-1251 так и UTF-8, а так же конвертировать все полученные данные или отдельный контент в UTF-8.
  • Может получать картинки и файлы из контента. Обработчик DLE их сохраняет вам на сервер и заменяет пути картинок в контенте на ваши, и файлы сохраняет к вам на сервер в папку uploads/files/... как положено и добавляет их в дополнительные поля или просто в файловый менеджер, если нет соответствующего дополнительного поля.
  • При создании шаблона, можно проверить его работу, как он получает контент.
  • Парсить контент как с HTML тегами, так и без них.
  • Включение / выключение шаблонов.
  • Удобная группировка шаблонов.
  • Ведение логов.
  • Просмотр процессов.
  • Статус активности.
  • Возможность парсить данные через прокси SOCKS5, в формате IP:PORT.
  • Возможность удалять скрипты или не удалять.
  • Возможность удалять ненужные элементы из полученного контента.
  • Возможность заменять или вырезать слова, фразы, код из полученного контента как по точному совпадению, так и по регулярному выражению.
  • Парсер обходит каждый созданный Вами шаблон по очереди и проходится по всем новостям или товарам донора. Обработчик DLE сохраняет новость если такой ещё нет (сверяется по заголовку). Если новость уже есть, он переходит к парсингу нового шаблона и так по кругу.
  • Работа по крону через простой HTTP запрос.
  • Адаптивная панель управления.
  • Для DLE:
    - возможность добавлять полученные данные в доп поля (текст, картинки, галерею и т.д.)
    - добавлять данные как в одну, так и сразу в несколько категорий на сайт.
    - добавлять новые посты сразу или ставить на модерацию.

Для идеальной работы парсера по крону, необходимо установить запуск не менее 1 - 2 раза в минуту.

Демо даю по запросу. Деньги после покупки не возвращаются, поэтому тестируйте в демке, если нравится, покупайте.
Парсер не работает с AJAX сайтами, которые не имеют пагинацию.

Цены

1 лицензия = 1 домен.
  • 10 т.р. - 10 лицензий + 2 бесплатных обновлений не включая обновления из первого пункта.
  • 20 т.р. - неограниченное кол-во лицензий + бесплатное обновление до момента реализации страниц настроек и логов (включая).
  • 50 т.р. - полный без лимит. Бесплатные обновления и поддержка.
Дополнительно:
    от 200 р. за настройку одного шаблона, если не получается настроить самому. Цена зависит от кол-во доп. полей и сложности их получения.

Обновление SelfParser 1.3

Новые функции и возможности парсера:
  • Добавлена возможность парсить сайты через прокси.
    Список прокси указывается в файле selfparser/data/proxy.txt в формате (IP:port). Каждый новые прокси с новой строки. Не оставляйте пустых строк.
    Если файл пустой, то парсер работает в обычном режиме.
  • Добавлен функционал, который умеет заменять или вырезать слова, фразы или код из полученных данных.
    Есть как простая замена так и с регулярными выражениями, что позволяет очень гибко настроить получение нужных данных.
  • Реализованы все страницы: логи, процессы, настройки, прямая ссылка на запуск, faq.
    Логи показывают такие данные как:
    - старт парсера;
    - запуск, остановка парсера;
    - прокси и время получения данных в секундах;
    - ссылка на источник, ID новости с ссылкой на новость, которая уже есть на сайте (информация о том, что новость не была добавлена);
    - информация о переключении шаблона или о невозможности получить контент;
    - размер файла логов на первой строке. При достижении 1Mb удаляется первая строка и добавляется новая, что позволяет предотвратить нагрузку. Файл обновляется автоматически (через AJAX). Есть кнопка пауза, что бы остановить обновление и просмотреть нужную строчку в логов.
  • Добавлена возможность сохранения картинок на сайт в дополнительные поля как одного изображения, так и галереи, читайте далее.
Добавление и загрузка картинок на сайт раньше работала только из полученного контента, см. видео. Теперь есть возможность загружать изображения через опцию (картинки). Как это делается читайте далее.
  1. Выбираете получить элемент -> картинки.
  2. В поле название поля если указать XF-fieldname | свое название, то полученные изображения будут добавляться в доп поле fieldname. При этом в поле код должен быть указан путь к картинке, например .sidebar img:eq(0) - найдет первую картинку из элемента с классом sidebar.
Если вы хотите загружать изображения в поле с одним изображением, то в поле код должно быть указан код для получения только одного изображения, иначе в доп.поле ничего не запишется.
Если вы хотите загружать в галерею изображений, то в поле код должно быть указано получение несколько изображений.
Если приставку XF-... не указывать, то полученные изображения, просто будут загружены на ваш сайт, но нигде не будут присутствовать в базе DLE.
Эта функция ещё в тестовом режиме, но все работает пока хорошо. Все ваши пожелания пишите в комментариях.

Все Ваши вопросы и пожелания пишите в комментариях или в поддержку.

За получением ключа обращайтесь в поддержку, указав адрес сайта, где будет установлен парсер.
Установка парсера бесплатна.

Обновление SelfParser 1.5

  1. Добавлена возможность включать / выключать шаблон на странице списка шаблонов.
  2. Добавлена функция копирования шаблонов.
  3. Изменена логика обработки шаблонов. Выключенные шаблоны теперь не обрабатываются, тем самым не тратя 1 минуту за просмотр одного шаблона.
  4. В обработчике можно указать теперь префикс базы, а так же добавлена возможность получать ссылку на источник в доп поле. По умолчанию дополнительное поле должно называться source. Его можно изменить так же в обработчике.



Обновлен обработчик. Теперь можно при парсинге файлов, например торрентов или подобных, загружать его в дополнительное поле.
Просто замените обработчик.
Не забудьте изменить доступы в этом файле, к базе и $dle_config.
что бы файл загружался в доп поле, укажите его в элементе files_fields.

Обновление SelfParser 2.1

Смотрите скриншоты во вкладке выше...

Полностью переделан обработчик.
Добавлены настройки в шаблон.
Исправлены баги с загрузкой файлов.
Добавлены стандартные функции от DLE, для обработки данных.

Обновление SelfParser 3.2

1. Добавлена настройка продолжения обработки постов на уровне шаблона. Т.е. когда парсер дошел до новости, которая у вас уже имеется, он будет дальше идти по постам данного шаблона находя новости, которых ещё нет в базе и добавляя их и пропуская те которые есть.
2.Усовершенствован функционал по простой замене и по регулярному выражению. Добавлено поле, которое принимает значение (название поля) по которому производить замену, не затрагивая весь контент. Т.е. Вы можете произвести замену в конкретном поле.
3. Для поля файл, добавлена возможность указать тип ссылки. Это только для сайтов-доноров, которые на DLE. Когда ссылка скрыта, смотрите пример.
Находите ссылку, ставите чекбокс и видите, что ссылка воспринимается правильно.

Обновление SelfParser 2.1

Смотрите скриншоты во вкладке выше...

Полностью переделан обработчик.
Добавлены настройки в шаблон.
Исправлены баги с загрузкой файлов.
Добавлены стандартные функции от DLE, для обработки данных.

Скриншоты

Жалоба

Комментарии 109

  1. 0

    ZzzBep

    Я возможно туплю.
    Но вопрос такой, сайт с которого хочу парсить на другой CMS, а на который хочу на DLE.
    Я так понимаю это возможно?
    То есть парсю как надо по шаблону и добавляю в базу на сайте DLE ?
    1.10.2021 15:14 Ответить
    1. 0

      Kylaksizov

      Да, так и есть.
      Что бы убедится, что парсер будет парсить донора, протестируйте в демо версии, которую можно найти в начале статьи.
      1.10.2021 15:15 Ответить
      1. 0

        ZzzBep

        А с rss парсить есть возможность?
        1.10.2021 15:29 Ответить
        1. 0

          Kylaksizov

          Нету. Можно сделать за доплату.
          1.10.2021 15:36 Ответить
          1. 0

            ZzzBep

            Какова цена доплаты?
            1.10.2021 15:51 Ответить
            1. 0

              Kylaksizov

              Отписал в личку.
              1.10.2021 17:01 Ответить
  2. 0

    Don4anin

    Купил парсер, пришло письмо но без ссылки на скачивание
    25.07.2021 19:29 Ответить
    1. 0

      Kylaksizov

      Вы купили как зарегистрированный пользователь, поэтому ссылка на скачивание появится на этой странице после оплаты, то есть уже она должна быть видна Вам.
      И советую всем регистрироваться и покупать под своим аккаунтом, что бы иметь возможность скачивать обновления.
      25.07.2021 21:34 Ответить
  3. 0

    https

    Здравствуйте неподскажите тв прграму тоже можно парсить ,видио с ютуба + рутуба ,море ,иви .
    19.07.2021 06:36 Ответить
    1. 0

      Kylaksizov

      Видео нет, нужно писать обработчик...
      19.07.2021 14:23 Ответить
      1. 0

        https

        Ачерез доп поле будет вставлять ссылки на видио
        19.07.2021 17:02 Ответить
        1. 0

          Kylaksizov

          Да, будет.
          19.07.2021 17:12 Ответить
  4. 0

    Александр

    Здравствуйте. Подскажите вы все сайты можете спарсить? Или может быть такого что нет сайта? Так-же вопрос по поводу прокси. Имеется возможность работы через прокси?
    18.07.2021 16:04 Ответить
    1. +1

      Kylaksizov

      Добрый день. Я ничего не парсю, парсит сам парсер.
      Проверить можно самому в демо версии, ссылка и доступы в начале статьи.
      И советую посмотреть видео, сразу отпадет куча вопросов.


      18.07.2021 19:16 Ответить
  5. -1

    Andrey

    Здравствуйте. Есть ли обновление новости?
    Например есть новость Google Chrome v1, чтобы каждый раз обновлял одну и ту же новость по её ID. Или он только добавляет новые новости?
    18.05.2021 14:41 Ответить
    1. 0

      Kylaksizov

      Только добавляет.
      Что бы обновлял, нужно переписать обработчик.
      18.07.2021 19:16 Ответить
  6. 0

    travelearn

    Как обновить парсер?
    10.02.2021 18:03 Ответить
    1. -1

      Kylaksizov

      Скачиваете и обновляете, ничего сложного.
      10.02.2021 18:28 Ответить
      1. 0

        travelearn

        Как скачать парсер,сылка где находится для скачивания и обновления?

        чтобы скачать необходимо заново оплачивать???
        10.02.2021 20:37 Ответить
        1. -1

          Kylaksizov

          Если Вы покупали парсер, то Вам должна быть видна ссылка на скачивание вверху возле кнопки DEMO. Обновление до версии 3.0 платное (300р.)
          10.02.2021 20:43 Ответить
          1. 0

            travelearn

            я покупала парсер 1,5 версии но никакой сылки на скачивание файла я не наблюдаю,может из за того что не была зарегистрирована на вашем сайте, как быть в данной ситуации?
            10.02.2021 21:45 Ответить
            1. 0

              Kylaksizov

              Регистрируйтесь на сайте, и напишите через обратную связь номер заказа предыдущий и адрес установки.
              11.02.2021 08:32 Ответить
          2. 0

            Granta

            вы же говорили что бесплатное обновление, на ходу придумываете, за что еще платить придется при приобретении парсера можете сразу огласить и желательно написать в описании, а не по ходу придумывать???
            18.02.2021 05:12 Ответить
            1. -3

              Kylaksizov

              Я ничего не придумываю. В группе согласовали и сложились командой на это обновление что бы я написал, поэтому конкретно это обновление платное.
              18.02.2021 08:09 Ответить
  7. 0

    Granta

    Здравствуйте,скажите оплату парсера необходимо при каждом обновлении производить, или обновление бесплатное как и в большинстве программ? Что то не нашел данной информации в описании
    5.02.2021 13:41 Ответить
    1. -2

      Kylaksizov

      Обычно обновление бесплатное. Бывают моменты, когда скидываются группой на индивидуальные доработки, тогда платно.
      5.02.2021 19:03 Ответить
  8. 0

    Ruslan Ismailov

    Ближайшее время думаю купить скрипт! Реально интересное решение! Автору респект!
    Я бы еще добавил раздел "Автор" что бы можно было разделить публикации между авторами.
    23.01.2021 10:15 Ответить
    1. 0

      Kylaksizov

      Спасибо. Но Вы не досмотрели, автор есть уже, посмотрите скрин вверху справа
      23.01.2021 10:23 Ответить
  9. 0

    leonmix

    Можно ли настроить заполнение description и title?

    22.11.2020 20:16 Ответить
    1. -1

      Kylaksizov

      Это итак реализовано.
      22.11.2020 20:17 Ответить
      1. 0

        leonmix

        Просто в видео это не показывается поэтому и спросил.
        22.11.2020 20:20 Ответить
  10. 0

    Алексей

    Купил парсер, выполняет свои функции на ура. Единственное если новость уже есть ее не пропускает а останавливается. 
    8.11.2020 17:40 Ответить
    1. -1

      Kylaksizov

      Так и задумано. Зачем добавлять новость которая уже есть.
      8.11.2020 19:44 Ответить
  11. 0

    Евгений

    Приветствую
    подскажите, пожалуйста, 
    вот так если замену делаю http://joxi.ru/a2X6p7KT4MG77r 
    он заменяет, в заголовке пробела нет, но в ЧПУ почему-то первый символ получается "-"  http://joxi.ru/KAgypEPiKjLVGm
    можно как-то это поправить ? 


    9.10.2020 10:38 Ответить
    1. 0

      Kylaksizov

      Потому что в заголовке стоит пробел или html символ пробела, других вариантов быть не может, парсер сам не может подставить это. Откройте исходный код донора и посмотрите.
      9.10.2020 11:41 Ответить
      1. 0

        Евгений

        Не, нету пробела на доноре(



        Разобрался
        надо было замену с пробелом делать)

        9.10.2020 15:28 Ответить
  12. 0

    rok

    Качественный универсальный парсер, однозначно стоит приобретать!!
    Работает четко. Благодарю разработчика Kylaksizov за поддержку и за качественный продукт!

    8.06.2020 23:52 Ответить
  13. 0

    aazzz

    Отличный парсер. Пользуюсь постоянно, удобное управление, парсит почти все. Всем рекомендую!!! Использую в новостных сайтах, что позволяет получать новости с разных источников, и все это на 1 сайте.
    20.05.2020 23:26 Ответить
  14. +1

    Евгений

    А как ссылку в тексте 
    <a href="https://site.com" target="_blank">online</a>
    заменить просто на текст online

    замена /<a\s+href=(.+?)a>/is удаляет всю ссылку
    15.03.2020 23:48 Ответить
  15. 0

    ssss

    а что на счет демки (или бесплатной версии на 1 домен). Или сейчас уже не раздается так и надо сразу покупать?
    29.08.2019 00:49 Ответить
    1. 0

      Kylaksizov

      Демка есть, пишите в личку скину ссылку.
      29.08.2019 06:37 Ответить
      1. 0

        bonopard

        Здравствуйте, желаю приобрести у вас парсинг SelfParser за 3000 руб. подскажите пожалуйста, каким способом я получу парсинг после оплаты, заранее благодарен за ответ..
        5.06.2020 20:51 Ответить
        1. 0

          Kylaksizov

          Оплачивайте как зарегистрированный пользователь, и после оплаты сможете скачать парсер, а так же обновления к нему в дальнейшем.
          Ключ можно получить у меня, скинув адрес установки.
          5.06.2020 20:53 Ответить
          1. 0

            bonopard

            Здравствуйте, оплатил, как получить ключ

            Количество персональных сообщений получателя достигло максимального значения, в связи с чем он не может больше получать персональные сообщения.

            Я вам на почту скинув адрес установки, уже 2.5 часов ожидаю.

            вы комменты мои удаляете а ключ скинут времени нету?????
            6.06.2020 21:47 Ответить
            1. 0

              Kylaksizov

              Я удаляю сообщения? Вы уверены?))))))
              Во-первых вы купили в выходной день, ещё и ночью. Мне по Вашему не спать и ждать пока мне кто-то напишет?
              Увидел, скинул ключ на почту.
              7.06.2020 07:49 Ответить
            2. 0

              bonopard

              Здравствуйте, благодарю, всё работает и хорошего вам дня
              7.06.2020 09:33 Ответить
  16. 0

    Romds

    Так на ДЛЕ 13.2 работает?
    5.08.2019 22:28 Ответить
    1. 0

      Kylaksizov

      Работает на любой версии. Если версия очень низкая, то не проверял, но можно поднастроить. А на новой работает.
      5.08.2019 22:31 Ответить
  17. 0

    Эльнур

    Можно демо?
    7.05.2019 23:57 Ответить
    1. 0

      Kylaksizov

      Демка была удалена, так как нехорошие люди меняют пароли что бы другие не могли войти. Так что показываю только через скайп или любую другую программу.
      8.05.2019 14:22 Ответить
  18. 0

    Эльнур

    Добрый день. В ДЛЕ 13.2 будет работать? и можно за отдельную плату чуть подправить обработчик для ДЛЕ?
    1.04.2019 21:06 Ответить
    1. 0

      Kylaksizov

      Добрый день. Будет. Подправить то можно, но нужно знать что нужно править.
      1.04.2019 21:08 Ответить
  19. +1

    AlexSilver

    Для корректной работы парсера требовалось изменения префикса базы данных DLE, автор модуля оперативно в следующем патче добавил нужную функцию. Рекомендую к покупке!
    4.03.2019 12:29 Ответить
  20. 0

    Doznet

    п.с. в принципе, пожелания есть и ещё blush

    1. 1. Многопоточность (к примеру, если сайт донор очень посещаемый, от нескольких миллионов человек, и обновляется сразу сотнями новостей в минуту в разных категориях, - то пока он парсит одну категорию одного сайта - уже во второй категории понабежит куча новостей. И это только на один сайт. И пока он начнет обрабатывать вторую категорию все еще первого сайта - то второй сайт он не успеет обработать.

      То есть с такой паузой он все время будет парсить новости с одного только сайта, постоянно теряя актуальность новостей. Хотелось бы, чтобы он мог не обходить раз в минуту заданные шаблоны - а сразу обрабатывать 10-20 примерно шаблонов в минуту

      Или асинхронность, советуют Go для парсера

      2. Соответственно, поддержку скорости работы. За 1 мин. чтобы мог парсит примерно сто объявлений на минимальных паузах в один поток. 
    2.  

    21.02.2019 11:57 Ответить
    1. 0

      Kylaksizov

      Он никак не будет парсить такой объем данных за одну минуту, потому что сайты разные, скорость отдачи данных по разному. Какой-то сайт загружается мгновенно, какой-то в течении минуты. В итоге, если я сделаю что бы он обрабатывал даже несколько запросов в минуту, то Ваш сервер ляжет.
      23.02.2019 08:41 Ответить
      1. 0

        Doznet

        Разработчик парсера гугл плей, который я Вам скидывал - утверждает обратное)  

        цитирую: "А что парсер в парсере нет многопоточности? Плохо конечно, максимум 1440 страниц в сутки парсить может чтоли? Ограниченный какой-то он получается... Спроси у разраба, может он предусмотрел все таки..."

        И еще один ответ другого разраба:

        Я: - да, тоже уже задумался о многопоточности :)
        Р: - забудь, юзай асинхронность, советую Go для парсера
         

        Далее исходя только из моих соображений (возможно и ошибочных):

        1. Можно сделать выбор между многопоточностью и однопоточностью - для разных шаблонов/сайтов. Возможно даже разные крон-задачи для разных шаблонов, поставить разное время запуска? х.з.

        Конечно, самая простая мысль это просто установить несколько крон задач чтобы в минуту парсер запускался несколько раз, но это не варик, потому что тогда просто он будет дублями парсить...

        2. Это зависит, наверное, ведь больше от мощности сервера? вряд ли я ошибаюсь) какой то сервер может такое и не потянет) а какой то вполне себе =)
        23.02.2019 13:00 Ответить
        1. 0

          Kylaksizov

          Я уже объяснил на счет многопоточности. Если парсер у Вас настроен чисто для Google, то конечно можно настроить что бы он парсил много данных за раз. Да и скажу честно, я пока не знаю как решить такую задачу, увы. Как придумаю, конечно сделаю. Вернее сделать то можно, но судя по тому что некоторые сайты наблюдают и понимают что их парсят, банят таких. Поэтому какой смысл.
          23.02.2019 13:07 Ответить
          1. 0

            Doznet

            да, про бан, согласен, налететь можно, говорят даже с прокси не прокатывает, целыми подсетями банят :(

            ок, спасибо :)
            23.02.2019 14:18 Ответить
          2. 0

            Xereden

            Практически все видят что их парсят и банят. Юзайте прокси, можно халявные. В итоге жертва либо сдаётся, либо прокси меняется и всё работает.
            27.01.2020 21:31 Ответить

Добавить комментарий

    • Смайлы и люди
      Животные и природа
      Еда и напитки
      Активность
      Путешествия и места
      Предметы
      Символы
      Флаги

Похожие товары