Доступ к демо:

  • Админка сайта: перейти
  • Логин / пароль: dev / sel
  • Админка парсера: перейти
  • Логин / пароль: selfparser / selfparser

Описание

Требования:

Версия SelfParser 3.7
Версия PHP 7.2 - 7.4
Dle 14.X - 15 (за доплату можно настроить под любую) IonCube Loader

SelfParser - универсальный парсер новостей, товаров. Сам парсер не требует базу данных, полученные данные Вы можете сохранять в любой формат. Что бы понять принцип работы парсера, читайте эту статью до конца. На днях выложу новое видео, так как то что сейчас, это по старой версии.


Особенности и работа парсера

Как я уже сказал, парсер работает сам по себе и не требует подключение базы данных. Он получает контент и отдает его обработчику, который может написать любой знающий PHP программист. Но не пугайтесь. На данный момент в комплекте уже есть один обработчик, который работает конкретно с DLE. Сейчас парсер может собирать данные, такие как текст, картинки, файлы, при этом все заливает на Ваш сервер Подходит для парсинга торрентов, игр и т.д. всего что есть на сайте. Так же есть авторизация, но работает пока с DLE сайтами и находится в альфа версии.


Если у меня другая CMS

Ещё раз обращаю внимание, что если у Вас другая CMS, и вы владеете PHP, Вам всего лишь останется взять полученные данные и залить их в базу или куда нужно, хоть в файл сохранять. Парсер за один проход выполняет сбор по одной странице.


Если Вы желаете написать свой обработчик, я подскажу как и куда положить, хотя профи итак догадается :D.

Парсер отдает полученный результат в кодировке UTF-8, далее в обработчике Вы можете конвертировать если нужно в любую другую кодировку. Вы можете посмотреть обработчик для DLE и все поймете.


Возможности

  • Независимая админка.
  • Парсер работает не зависимо от того, какая CMS установлена и установлена ли вообще.
  • Возможность создавать неограниченное количество шаблонов (сайтов для парсинга).
  • Может получать данные как с сайтов кодировка которых windows-1251 так и UTF-8, а так же конвертировать все полученные данные или отдельный контент в UTF-8.
  • Может получать картинки и файлы из контента. Обработчик DLE их сохраняет вам на сервер и заменяет пути картинок в контенте на ваши, и файлы сохраняет к вам на сервер в папку uploads/files/... как положено и добавляет их в дополнительные поля или просто в файловый менеджер, если нет соответствующего дополнительного поля.
  • При создании шаблона, можно проверить его работу, как он получает контент.
  • Парсить контент как с HTML тегами, так и без них.
  • Включение / выключение шаблонов.
  • Удобная группировка шаблонов.
  • Ведение логов.
  • Просмотр процессов.
  • Статус активности.
  • Возможность парсить данные через прокси SOCKS5, в формате IP:PORT.
  • Возможность удалять скрипты или не удалять.
  • Возможность удалять ненужные элементы из полученного контента.
  • Возможность заменять или вырезать слова, фразы, код из полученного контента как по точному совпадению, так и по регулярному выражению.
  • Парсер обходит каждый созданный Вами шаблон по очереди и проходится по всем новостям или товарам донора. Обработчик DLE сохраняет новость если такой ещё нет (сверяется по заголовку). Если новость уже есть, он переходит к парсингу нового шаблона и так по кругу.
  • Работа по крону через простой HTTP запрос.
  • Адаптивная панель управления.
  • Для DLE:
    - возможность добавлять полученные данные в доп поля (текст, картинки, галерею и т.д.)
    - добавлять данные как в одну, так и сразу в несколько категорий на сайт.
    - добавлять новые посты сразу или ставить на модерацию.


Для идеальной работы парсера по крону, необходимо установить запуск не менее 1 - 2 раза в минуту.


Демо даю по запросу. Деньги после покупки не возвращаются, поэтому тестируйте в демке, если нравится, покупайте.

Парсер не работает с AJAX сайтами, которые не имеют пагинацию.


Цены

1 лицензия = 1 домен.

  • 10 т.р. - 10 лицензий + 2 бесплатных обновлений не включая обновления из первого пункта.
  • 20 т.р. - неограниченное кол-во лицензий + бесплатное обновление до момента реализации страниц настроек и логов (включая).
  • 50 т.р. - полный без лимит. Бесплатные обновления и поддержка.

Дополнительно:

    от 700 р. за настройку одного шаблона, если не получается настроить самому. Цена зависит от кол-во доп. полей и сложности их получения.


Обновление SelfParser 1.3

Новые функции и возможности парсера:

  • Добавлена возможность парсить сайты через прокси.
    Список прокси указывается в файле selfparser/data/proxy.txt в формате (IP:port). Каждый новые прокси с новой строки. Не оставляйте пустых строк.
    Если файл пустой, то парсер работает в обычном режиме.
  • Добавлен функционал, который умеет заменять или вырезать слова, фразы или код из полученных данных.
    Есть как простая замена так и с регулярными выражениями, что позволяет очень гибко настроить получение нужных данных.
  • Реализованы все страницы: логи, процессы, настройки, прямая ссылка на запуск, faq.
    Логи показывают такие данные как:
    - старт парсера;
    - запуск, остановка парсера;
    - прокси и время получения данных в секундах;
    - ссылка на источник, ID новости с ссылкой на новость, которая уже есть на сайте (информация о том, что новость не была добавлена);
    - информация о переключении шаблона или о невозможности получить контент;
    - размер файла логов на первой строке. При достижении 1Mb удаляется первая строка и добавляется новая, что позволяет предотвратить нагрузку. Файл обновляется автоматически (через AJAX). Есть кнопка пауза, что бы остановить обновление и просмотреть нужную строчку в логов.
  • Добавлена возможность сохранения картинок на сайт в дополнительные поля как одного изображения, так и галереи, читайте далее.

Добавление и загрузка картинок на сайт раньше работала только из полученного контента, см. видео. Теперь есть возможность загружать изображения через опцию (картинки). Как это делается читайте далее.

  1. Выбираете получить элемент -> картинки.
  2. В поле название поля если указать XF-fieldname | свое название, то полученные изображения будут добавляться в доп поле fieldname. При этом в поле код должен быть указан путь к картинке, например .sidebar img:eq(0) - найдет первую картинку из элемента с классом sidebar.

Если вы хотите загружать изображения в поле с одним изображением, то в поле код должно быть указан код для получения только одного изображения, иначе в доп.поле ничего не запишется.

Если вы хотите загружать в галерею изображений, то в поле код должно быть указано получение несколько изображений.

Если приставку XF-... не указывать, то полученные изображения, просто будут загружены на ваш сайт, но нигде не будут присутствовать в базе DLE.

Эта функция ещё в тестовом режиме, но все работает пока хорошо. Все ваши пожелания пишите в комментариях.


Все Ваши вопросы и пожелания пишите в комментариях или в поддержку.


За получением ключа обращайтесь в поддержку, указав адрес сайта, где будет установлен парсер.

Установка парсера бесплатна.


Обновление SelfParser 1.5

  1. Добавлена возможность включать / выключать шаблон на странице списка шаблонов.
  2. Добавлена функция копирования шаблонов.
  3. Изменена логика обработки шаблонов. Выключенные шаблоны теперь не обрабатываются, тем самым не тратя 1 минуту за просмотр одного шаблона.
  4. В обработчике можно указать теперь префикс базы, а так же добавлена возможность получать ссылку на источник в доп поле. По умолчанию дополнительное поле должно называться source. Его можно изменить так же в обработчике.



Обновлен обработчик. Теперь можно при парсинге файлов, например торрентов или подобных, загружать его в дополнительное поле.

Просто замените обработчик.

Не забудьте изменить доступы в этом файле, к базе и $dle_config.

что бы файл загружался в доп поле, укажите его в элементе files_fields.


Обновление SelfParser 2.1

Смотрите скриншоты во вкладке выше...


Полностью переделан обработчик.

Добавлены настройки в шаблон.

Исправлены баги с загрузкой файлов.

Добавлены стандартные функции от DLE, для обработки данных.


Обновление SelfParser 3.2

1. Добавлена настройка продолжения обработки постов на уровне шаблона. Т.е. когда парсер дошел до новости, которая у вас уже имеется, он будет дальше идти по постам данного шаблона находя новости, которых ещё нет в базе и добавляя их и пропуская те которые есть.

2.Усовершенствован функционал по простой замене и по регулярному выражению. Добавлено поле, которое принимает значение (название поля) по которому производить замену, не затрагивая весь контент. Т.е. Вы можете произвести замену в конкретном поле.
3. Для поля файл, добавлена возможность указать тип ссылки. Это только для сайтов-доноров, которые на DLE. Когда ссылка скрыта, смотрите пример.

Находите ссылку, ставите чекбокс и видите, что ссылка воспринимается правильно.

Обновление SelfParser 3.4

1. Исправлены некоторые баги.

2. Добавлена возможность парсить изображения, которые работают через LazyLoad. Причем это работает автоматически, не требует никаких вмешательств.

3. Изменено немного оформление.


Обновление SelfParser 3.9

  1. Добавлена сортировка шаблонов. В каком порядке их отсортировали. в таком они и будут парситься. При добавлении нового шаблона следует выполнить перестроение, что бы оно применилось. Неактивные шаблоны не попадают под сортировку.
  2. Очистка логов и процессов по крону.
  3. Исправлен баг, когда последняя страница не парсилась.
  4. Исправлен баг с картинками, если на доноре работает LazyLoad.
  5. Исправлена мобильная верстка. Изменен стиль логов и некоторых элементов в парсере.

Скриншоты

  • Шаблон парсера
  • Получение данных
  • Список шаблонов парсера
  • Настройки парсера
  • Логи парсера


Комментарии 112

  1. 0

    smngr

    До этого уже работал с этим парсером, но дело было ещё в 2018 году и некоторые функции в той версии ещё не были реализованы и я решил, что лучше развивать проект уникальным контентом. Время шло, мне надоело заниматься сайтом, доход стал падать. Стало очевидно, что нужно что-то делать. Для эффективного решения вчера приобрёл последнюю версию парсера, но возникла проблема - у моего сайта версия DLE 12.1. Автор, за дополнительную плату, буквально переделал парсер под мою версию движка. Просто нереальное уважение. Парсер работает как часы и обладает огромным количеством полезных функций - начиная от синонимайзера и возможностью перевода текста (с донора, естественно), и заканчивая парсингом чего угодно куда угодно. Это идеальный инструмент для наполнения сайта контентом.
    14.01.2022 23:25 Ответить
  2. 0

    itsmyfox

    Приобрел этот парсер для DLE "5 ноября 2021 года". В интернете аналогов точно нет, я проверял.
    Сегодня 25 декабря 2021 года. На моем сайте более 13 тысяч статей, парсер работает в автоматическом режиме и не требует моего внимания.
    Работаю я инженером, времени особо нет заниматься по будням добавлением статей. Мне достаточно настроить шаблоны, по которым будут публиковаться статьи с сайта-донора и можно заниматься своими делами или работать. Самое лучшее удобство по мне, это когда парсер прекращает свою работу и уходит в цикл, то есть снова проверяет те же самые категории и загружает новые/актуальные статьи. То есть один раз настроил и запустил, он круглосуточно загружает актуальные статьи, картинки и файлы на мой сайт.
    Множество раз писал разработчику парсера, ввели множество изменений и исправлений, после чего парсер буквально преобразился за месяц и стал работать еще лучше, чем предыдущие версии.
    О возможностях рассказывать не буду, достаточно протестировать его на сайте у разработчика, чтобы ощутить все то, что будет делать парсер за Вас!
    Благодарю за такой хороший продукт, буду им и дальше пользоваться. Спасибо огромное.
    25.12.2021 16:05 Ответить
  3. +2

    mirtoff

    Братан парсер топ! почекал, трудности не были, работает просто вау! АУФ! спасибо братан. меня все устраивает) главное мне не дизайн а качество самой работы парсера! спасибо огромное чел)) пусть тебя бог благославит))
    25.12.2021 15:20 Ответить
  4. 0

    ZzzBep

    Я возможно туплю.
    Но вопрос такой, сайт с которого хочу парсить на другой CMS, а на который хочу на DLE.
    Я так понимаю это возможно?
    То есть парсю как надо по шаблону и добавляю в базу на сайте DLE ?
    1.10.2021 15:14 Ответить
    1. 0

      Kylaksizov

      Да, так и есть.
      Что бы убедится, что парсер будет парсить донора, протестируйте в демо версии, которую можно найти в начале статьи.
      1.10.2021 15:15 Ответить
      1. 0

        ZzzBep

        А с rss парсить есть возможность?
        1.10.2021 15:29 Ответить
      2. 0

        Kylaksizov

        Нету. Можно сделать за доплату.
        1.10.2021 15:36 Ответить
      3. 0

        ZzzBep

        Какова цена доплаты?
        1.10.2021 15:51 Ответить
      4. 0

        Kylaksizov

        Отписал в личку.
        1.10.2021 17:01 Ответить
  5. 0

    Don4anin

    Купил парсер, пришло письмо но без ссылки на скачивание
    25.07.2021 19:29 Ответить
    1. 0

      Kylaksizov

      Вы купили как зарегистрированный пользователь, поэтому ссылка на скачивание появится на этой странице после оплаты, то есть уже она должна быть видна Вам.
      И советую всем регистрироваться и покупать под своим аккаунтом, что бы иметь возможность скачивать обновления.
      25.07.2021 21:34 Ответить
  6. 0

    https

    Здравствуйте неподскажите тв прграму тоже можно парсить ,видио с ютуба + рутуба ,море ,иви .
    19.07.2021 06:36 Ответить
    1. 0

      Kylaksizov

      Видео нет, нужно писать обработчик...
      19.07.2021 14:23 Ответить
      1. 0

        https

        Ачерез доп поле будет вставлять ссылки на видио
        19.07.2021 17:02 Ответить
      2. 0

        Kylaksizov

        Да, будет.
        19.07.2021 17:12 Ответить
  7. 0

    Александр

    Здравствуйте. Подскажите вы все сайты можете спарсить? Или может быть такого что нет сайта? Так-же вопрос по поводу прокси. Имеется возможность работы через прокси?
    18.07.2021 16:04 Ответить
    1. +1

      Kylaksizov

      Добрый день. Я ничего не парсю, парсит сам парсер.
      Проверить можно самому в демо версии, ссылка и доступы в начале статьи.
      И советую посмотреть видео, сразу отпадет куча вопросов.


      18.07.2021 19:16 Ответить
  8. -1

    Andrey

    Здравствуйте. Есть ли обновление новости?
    Например есть новость Google Chrome v1, чтобы каждый раз обновлял одну и ту же новость по её ID. Или он только добавляет новые новости?
    18.05.2021 14:41 Ответить
    1. 0

      Kylaksizov

      Только добавляет.
      Что бы обновлял, нужно переписать обработчик.
      18.07.2021 19:16 Ответить
  9. 0

    travelearn

    Как обновить парсер?
    10.02.2021 18:03 Ответить
    1. -1

      Kylaksizov

      Скачиваете и обновляете, ничего сложного.
      10.02.2021 18:28 Ответить
      1. 0

        travelearn

        Как скачать парсер,сылка где находится для скачивания и обновления?

        чтобы скачать необходимо заново оплачивать???
        10.02.2021 20:37 Ответить
      2. -1

        Kylaksizov

        Если Вы покупали парсер, то Вам должна быть видна ссылка на скачивание вверху возле кнопки DEMO. Обновление до версии 3.0 платное (300р.)
        10.02.2021 20:43 Ответить
      3. 0

        travelearn

        я покупала парсер 1,5 версии но никакой сылки на скачивание файла я не наблюдаю,может из за того что не была зарегистрирована на вашем сайте, как быть в данной ситуации?
        10.02.2021 21:45 Ответить
      4. 0

        Kylaksizov

        Регистрируйтесь на сайте, и напишите через обратную связь номер заказа предыдущий и адрес установки.
        11.02.2021 08:32 Ответить
      5. 0

        Granta

        вы же говорили что бесплатное обновление, на ходу придумываете, за что еще платить придется при приобретении парсера можете сразу огласить и желательно написать в описании, а не по ходу придумывать???
        18.02.2021 05:12 Ответить
      6. -3

        Kylaksizov

        Я ничего не придумываю. В группе согласовали и сложились командой на это обновление что бы я написал, поэтому конкретно это обновление платное.
        18.02.2021 08:09 Ответить
  10. 0

    Granta

    Здравствуйте,скажите оплату парсера необходимо при каждом обновлении производить, или обновление бесплатное как и в большинстве программ? Что то не нашел данной информации в описании
    5.02.2021 13:41 Ответить
    1. -2

      Kylaksizov

      Обычно обновление бесплатное. Бывают моменты, когда скидываются группой на индивидуальные доработки, тогда платно.
      5.02.2021 19:03 Ответить
  11. 0

    Ruslan Ismailov

    Ближайшее время думаю купить скрипт! Реально интересное решение! Автору респект!
    Я бы еще добавил раздел "Автор" что бы можно было разделить публикации между авторами.
    23.01.2021 10:15 Ответить
    1. 0

      Kylaksizov

      Спасибо. Но Вы не досмотрели, автор есть уже, посмотрите скрин вверху справа
      23.01.2021 10:23 Ответить
  12. 0

    leonmix

    Можно ли настроить заполнение description и title?
    22.11.2020 20:16 Ответить
    1. -1

      Kylaksizov

      Это итак реализовано.
      22.11.2020 20:17 Ответить
      1. 0

        leonmix

        Просто в видео это не показывается поэтому и спросил.
        22.11.2020 20:20 Ответить
  13. 0

    Алексей

    Купил парсер, выполняет свои функции на ура. Единственное если новость уже есть ее не пропускает а останавливается. 
    8.11.2020 17:40 Ответить
    1. -1

      Kylaksizov

      Так и задумано. Зачем добавлять новость которая уже есть.
      8.11.2020 19:44 Ответить
  14. 0

    Евгений

    Приветствую
    подскажите, пожалуйста, 
    вот так если замену делаю http://joxi.ru/a2X6p7KT4MG77r 
    он заменяет, в заголовке пробела нет, но в ЧПУ почему-то первый символ получается "-"  http://joxi.ru/KAgypEPiKjLVGm
    можно как-то это поправить ? 
    9.10.2020 10:38 Ответить
    1. 0

      Kylaksizov

      Потому что в заголовке стоит пробел или html символ пробела, других вариантов быть не может, парсер сам не может подставить это. Откройте исходный код донора и посмотрите.
      9.10.2020 11:41 Ответить
      1. 0

        Евгений

        Не, нету пробела на доноре(



        Разобрался
        надо было замену с пробелом делать)
        9.10.2020 15:28 Ответить
  15. 0

    rok

    Качественный универсальный парсер, однозначно стоит приобретать!!
    Работает четко. Благодарю разработчика Kylaksizov за поддержку и за качественный продукт!
    8.06.2020 23:52 Ответить
  16. 0

    aazzz

    Отличный парсер. Пользуюсь постоянно, удобное управление, парсит почти все. Всем рекомендую!!! Использую в новостных сайтах, что позволяет получать новости с разных источников, и все это на 1 сайте.
    20.05.2020 23:26 Ответить
  17. +1

    Евгений

    А как ссылку в тексте 
    <a href="https://site.com" target="_blank">online</a>
    заменить просто на текст online

    замена /<a\s+href=(.+?)a>/is удаляет всю ссылку
    15.03.2020 23:48 Ответить
  18. 0

    ssss

    а что на счет демки (или бесплатной версии на 1 домен). Или сейчас уже не раздается так и надо сразу покупать?
    29.08.2019 00:49 Ответить
    1. 0

      Kylaksizov

      Демка есть, пишите в личку скину ссылку.
      29.08.2019 06:37 Ответить
      1. 0

        bonopard

        Здравствуйте, желаю приобрести у вас парсинг SelfParser за 3000 руб. подскажите пожалуйста, каким способом я получу парсинг после оплаты, заранее благодарен за ответ..
        5.06.2020 20:51 Ответить
      2. 0

        Kylaksizov

        Оплачивайте как зарегистрированный пользователь, и после оплаты сможете скачать парсер, а так же обновления к нему в дальнейшем.
        Ключ можно получить у меня, скинув адрес установки.
        5.06.2020 20:53 Ответить
      3. 0

        bonopard

        Здравствуйте, оплатил, как получить ключ

        Количество персональных сообщений получателя достигло максимального значения, в связи с чем он не может больше получать персональные сообщения.

        Я вам на почту скинув адрес установки, уже 2.5 часов ожидаю.

        вы комменты мои удаляете а ключ скинут времени нету?????
        6.06.2020 21:47 Ответить
      4. 0

        Kylaksizov

        Я удаляю сообщения? Вы уверены?))))))
        Во-первых вы купили в выходной день, ещё и ночью. Мне по Вашему не спать и ждать пока мне кто-то напишет?
        Увидел, скинул ключ на почту.
        7.06.2020 07:49 Ответить
      5. 0

        bonopard

        Здравствуйте, благодарю, всё работает и хорошего вам дня
        7.06.2020 09:33 Ответить
  19. 0

    Romds

    Так на ДЛЕ 13.2 работает?
    5.08.2019 22:28 Ответить
    1. 0

      Kylaksizov

      Работает на любой версии. Если версия очень низкая, то не проверял, но можно поднастроить. А на новой работает.
      5.08.2019 22:31 Ответить
  20. 0

    Эльнур

    Можно демо?
    7.05.2019 23:57 Ответить
    1. 0

      Kylaksizov

      Демка была удалена, так как нехорошие люди меняют пароли что бы другие не могли войти. Так что показываю только через скайп или любую другую программу.
      8.05.2019 14:22 Ответить

Добавить комментарий

    • Смайлы и люди
      Животные и природа
      Еда и напитки
      Активность
      Путешествия и места
      Предметы
      Символы
      Флаги

Похожие товары