Доступ к демо:

  • Админка сайта: перейти
  • Логин / пароль: dev / dev
  • Админка парсера: перейти
  • Логин / пароль: selfparser / selfparser

Описание

Требования:

Версия PHP 7.1
IonCube Loader
SelfParser - универсальный парсер новостей, товаров. Сам парсер не требует базу данных, полученные данные Вы можете сохранять в любой формат. Что бы понять принцип работы парсера, читайте эту статью до конца. На днях выложу новое видео, так как то что сейчас, это по старой версии.



Особенности и работа парсера

Как я уже сказал, парсер работает сам по себе и не требует подключение базы данных. Он получает контент и отдает его обработчику, который может написать любой знающий PHP программист. Но не пугайтесь. На данный момент в комплекте уже есть один обработчик, который работает конкретно с DLE. Сейчас парсер может собирать данные, такие как текст, картинки, файлы, при этом все заливает на Ваш сервер Подходит для парсинга торрентов, игр и т.д. всего что есть на сайте. Так же есть авторизация, но работает пока с DLE сайтами.

Если у меня другая CMS

Ещё раз обращаю внимание, что если у Вас другая CMS, и вы владеете PHP, Вам всего лишь останется взять полученные данные и залить их в базу или куда нужно, хоть в файл сохранять. Парсер за один проход выполняет сбор по одной странице.

Если Вы желаете написать свой обработчик, я подскажу как и куда положить, хотя профи итак догадается :D.
Парсер отдает полученный результат в кодировке UTF-8, далее в обработчике Вы можете конвертировать если нужно в любую другую кодировку. Вы можете посмотреть обработчик для DLE и все поймете.

Возможности

  • Независимая админка.
  • Парсер работает не зависимо от того, какая CMS установлена и установлена ли вообще.
  • Возможность создавать неограниченное количество шаблонов (сайтов для парсинга).
  • Может получать данные как с сайтов кодировка которых windows-1251 так и UTF-8, а так же конвертировать все полученные данные или отдельный контент в UTF-8.
  • Может получать картинки и файлы из контента. Обработчик DLE их сохраняет вам на сервер и заменяет пути картинок в контенте на ваши, и файлы сохраняет к вам на сервер в папку uploads/files/... как положено и добавляет их в дополнительные поля или просто в файловый менеджер, если нет соответствующего дополнительного поля.
  • При создании шаблона, можно проверить его работу, как он получает контент.
  • Парсить контент как с HTML тегами, так и без них.
  • Включение / выключение шаблонов.
  • Удобная группировка шаблонов.
  • Ведение логов.
  • Просмотр процессов.
  • Статус активности.
  • Возможность парсить данные через прокси SOCKS5, в формате IP:PORT.
  • Возможность удалять скрипты или не удалять.
  • Возможность удалять ненужные элементы из полученного контента.
  • Возможность заменять или вырезать слова, фразы, код из полученного контента как по точному совпадению, так и по регулярному выражению.
  • Парсер обходит каждый созданный Вами шаблон по очереди и проходится по всем новостям или товарам донора. Обработчик DLE сохраняет новость если такой ещё нет (сверяется по заголовку). Если новость уже есть, он переходит к парсингу нового шаблона и так по кругу.
  • Работа по крону через простой HTTP запрос.
  • Адаптивная панель управления.
  • Для DLE:
    - возможность добавлять полученные данные в доп поля (текст, картинки, галерею и т.д.)
    - добавлять данные как в одну, так и сразу в несколько категорий на сайт.
    - добавлять новые посты сразу или ставить на модерацию.

Для идеальной работы парсера по крону, необходимо установить запуск не менее 1 - 2 раза в минуту.

Демо даю по запросу. Деньги после покупки не возвращаются, поэтому тестируйте в демке, если нравится, покупайте.
Парсер не работает с AJAX сайтами, которые не имеют пагинацию.

Цены

1 лицензия = 1 домен.
  • 10 т.р. - 10 лицензий + 2 бесплатных обновлений не включая обновления из первого пункта.
  • 20 т.р. - неограниченное кол-во лицензий + бесплатное обновление до момента реализации страниц настроек и логов (включая).
  • 50 т.р. - полный без лимит. Бесплатные обновления и поддержка.
Дополнительно:
    от 200 р. за настройку одного шаблона, если не получается настроить самому. Цена зависит от кол-во доп. полей и сложности их получения.

Обновление SelfParser 1.3

Новые функции и возможности парсера:
  • Добавлена возможность парсить сайты через прокси.
    Список прокси указывается в файле selfparser/data/proxy.txt в формате (IP:port). Каждый новые прокси с новой строки. Не оставляйте пустых строк.
    Если файл пустой, то парсер работает в обычном режиме.
  • Добавлен функционал, который умеет заменять или вырезать слова, фразы или код из полученных данных.
    Есть как простая замена так и с регулярными выражениями, что позволяет очень гибко настроить получение нужных данных.
  • Реализованы все страницы: логи, процессы, настройки, прямая ссылка на запуск, faq.
    Логи показывают такие данные как:
    - старт парсера;
    - запуск, остановка парсера;
    - прокси и время получения данных в секундах;
    - ссылка на источник, ID новости с ссылкой на новость, которая уже есть на сайте (информация о том, что новость не была добавлена);
    - информация о переключении шаблона или о невозможности получить контент;
    - размер файла логов на первой строке. При достижении 1Mb удаляется первая строка и добавляется новая, что позволяет предотвратить нагрузку. Файл обновляется автоматически (через AJAX). Есть кнопка пауза, что бы остановить обновление и просмотреть нужную строчку в логов.
  • Добавлена возможность сохранения картинок на сайт в дополнительные поля как одного изображения, так и галереи, читайте далее.
Добавление и загрузка картинок на сайт раньше работала только из полученного контента, см. видео. Теперь есть возможность загружать изображения через опцию (картинки). Как это делается читайте далее.
  1. Выбираете получить элемент -> картинки.
  2. В поле название поля если указать XF-fieldname | свое название, то полученные изображения будут добавляться в доп поле fieldname. При этом в поле код должен быть указан путь к картинке, например .sidebar img:eq(0) - найдет первую картинку из элемента с классом sidebar.
Если вы хотите загружать изображения в поле с одним изображением, то в поле код должно быть указан код для получения только одного изображения, иначе в доп.поле ничего не запишется.
Если вы хотите загружать в галерею изображений, то в поле код должно быть указано получение несколько изображений.
Если приставку XF-... не указывать, то полученные изображения, просто будут загружены на ваш сайт, но нигде не будут присутствовать в базе DLE.
Эта функция ещё в тестовом режиме, но все работает пока хорошо. Все ваши пожелания пишите в комментариях.

Все Ваши вопросы и пожелания пишите в комментариях или в поддержку.

За получением ключа обращайтесь в поддержку, указав адрес сайта, где будет установлен парсер.
Установка парсера бесплатна.

Обновление SelfParser 1.5

  1. Добавлена возможность включать / выключать шаблон на странице списка шаблонов.
  2. Добавлена функция копирования шаблонов.
  3. Изменена логика обработки шаблонов. Выключенные шаблоны теперь не обрабатываются, тем самым не тратя 1 минуту за просмотр одного шаблона.
  4. В обработчике можно указать теперь префикс базы, а так же добавлена возможность получать ссылку на источник в доп поле. По умолчанию дополнительное поле должно называться source. Его можно изменить так же в обработчике.



Обновлен обработчик. Теперь можно при парсинге файлов, например торрентов или подобных, загружать его в дополнительное поле.
Просто замените обработчик.
Не забудьте изменить доступы в этом файле, к базе и $dle_config.
что бы файл загружался в доп поле, укажите его в элементе files_fields.

Обновление SelfParser 2.1

Смотрите скриншоты во вкладке выше...

Полностью переделан обработчик.
Добавлены настройки в шаблон.
Исправлены баги с загрузкой файлов.
Добавлены стандартные функции от DLE, для обработки данных.

Обновление SelfParser 2.1

Смотрите скриншоты во вкладке выше...

Полностью переделан обработчик.
Добавлены настройки в шаблон.
Исправлены баги с загрузкой файлов.
Добавлены стандартные функции от DLE, для обработки данных.

Скриншоты

Жалоба

Комментарии 94

  1. 0

    Andrey

    Здравствуйте. Есть ли обновление новости?
    Например есть новость Google Chrome v1, чтобы каждый раз обновлял одну и ту же новость по её ID. Или он только добавляет новые новости?
    Вчера, 14:41 Ответить
  2. 0

    travelearn

    Как обновить парсер?
    10.02.2021 18:03 Ответить
    1. -1

      Kylaksizov

      Скачиваете и обновляете, ничего сложного.
      10.02.2021 18:28 Ответить
      1. 0

        travelearn

        Как скачать парсер,сылка где находится для скачивания и обновления?

        чтобы скачать необходимо заново оплачивать???
        10.02.2021 20:37 Ответить
        1. -1

          Kylaksizov

          Если Вы покупали парсер, то Вам должна быть видна ссылка на скачивание вверху возле кнопки DEMO. Обновление до версии 3.0 платное (300р.)
          10.02.2021 20:43 Ответить
          1. 0

            travelearn

            я покупала парсер 1,5 версии но никакой сылки на скачивание файла я не наблюдаю,может из за того что не была зарегистрирована на вашем сайте, как быть в данной ситуации?
            10.02.2021 21:45 Ответить
            1. 0

              Kylaksizov

              Регистрируйтесь на сайте, и напишите через обратную связь номер заказа предыдущий и адрес установки.
              11.02.2021 08:32 Ответить
          2. 0

            Granta

            вы же говорили что бесплатное обновление, на ходу придумываете, за что еще платить придется при приобретении парсера можете сразу огласить и желательно написать в описании, а не по ходу придумывать???
            18.02.2021 05:12 Ответить
            1. -2

              Kylaksizov

              Я ничего не придумываю. В группе согласовали и сложились командой на это обновление что бы я написал, поэтому конкретно это обновление платное.
              18.02.2021 08:09 Ответить
  3. 0

    Granta

    Здравствуйте,скажите оплату парсера необходимо при каждом обновлении производить, или обновление бесплатное как и в большинстве программ? Что то не нашел данной информации в описании
    5.02.2021 13:41 Ответить
    1. -1

      Kylaksizov

      Обычно обновление бесплатное. Бывают моменты, когда скидываются группой на индивидуальные доработки, тогда платно.
      5.02.2021 19:03 Ответить
  4. 0

    Ruslan Ismailov

    Ближайшее время думаю купить скрипт! Реально интересное решение! Автору респект!
    Я бы еще добавил раздел "Автор" что бы можно было разделить публикации между авторами.
    23.01.2021 10:15 Ответить
    1. 0

      Kylaksizov

      Спасибо. Но Вы не досмотрели, автор есть уже, посмотрите скрин вверху справа
      23.01.2021 10:23 Ответить
  5. 0

    leonmix

    Можно ли настроить заполнение description и title?

    22.11.2020 20:16 Ответить
    1. -1

      Kylaksizov

      Это итак реализовано.
      22.11.2020 20:17 Ответить
      1. 0

        leonmix

        Просто в видео это не показывается поэтому и спросил.
        22.11.2020 20:20 Ответить
  6. 0

    Алексей

    Купил парсер, выполняет свои функции на ура. Единственное если новость уже есть ее не пропускает а останавливается. 
    8.11.2020 17:40 Ответить
    1. -1

      Kylaksizov

      Так и задумано. Зачем добавлять новость которая уже есть.
      8.11.2020 19:44 Ответить
  7. 0

    Евгений

    Приветствую
    подскажите, пожалуйста, 
    вот так если замену делаю http://joxi.ru/a2X6p7KT4MG77r 
    он заменяет, в заголовке пробела нет, но в ЧПУ почему-то первый символ получается "-"  http://joxi.ru/KAgypEPiKjLVGm
    можно как-то это поправить ? 


    9.10.2020 10:38 Ответить
    1. 0

      Kylaksizov

      Потому что в заголовке стоит пробел или html символ пробела, других вариантов быть не может, парсер сам не может подставить это. Откройте исходный код донора и посмотрите.
      9.10.2020 11:41 Ответить
      1. 0

        Евгений

        Не, нету пробела на доноре(



        Разобрался
        надо было замену с пробелом делать)

        9.10.2020 15:28 Ответить
  8. 0

    rok

    Качественный универсальный парсер, однозначно стоит приобретать!!
    Работает четко. Благодарю разработчика Kylaksizov за поддержку и за качественный продукт!

    8.06.2020 23:52 Ответить
  9. 0

    aazzz

    Отличный парсер. Пользуюсь постоянно, удобное управление, парсит почти все. Всем рекомендую!!! Использую в новостных сайтах, что позволяет получать новости с разных источников, и все это на 1 сайте.
    20.05.2020 23:26 Ответить
  10. +1

    Евгений

    А как ссылку в тексте 
    <a href="https://site.com" target="_blank">online</a>
    заменить просто на текст online

    замена /<a\s+href=(.+?)a>/is удаляет всю ссылку
    15.03.2020 23:48 Ответить
  11. 0

    ssss

    а что на счет демки (или бесплатной версии на 1 домен). Или сейчас уже не раздается так и надо сразу покупать?
    29.08.2019 00:49 Ответить
    1. 0

      Kylaksizov

      Демка есть, пишите в личку скину ссылку.
      29.08.2019 06:37 Ответить
      1. 0

        bonopard

        Здравствуйте, желаю приобрести у вас парсинг SelfParser за 3000 руб. подскажите пожалуйста, каким способом я получу парсинг после оплаты, заранее благодарен за ответ..
        5.06.2020 20:51 Ответить
        1. 0

          Kylaksizov

          Оплачивайте как зарегистрированный пользователь, и после оплаты сможете скачать парсер, а так же обновления к нему в дальнейшем.
          Ключ можно получить у меня, скинув адрес установки.
          5.06.2020 20:53 Ответить
          1. 0

            bonopard

            Здравствуйте, оплатил, как получить ключ

            Количество персональных сообщений получателя достигло максимального значения, в связи с чем он не может больше получать персональные сообщения.

            Я вам на почту скинув адрес установки, уже 2.5 часов ожидаю.

            вы комменты мои удаляете а ключ скинут времени нету?????
            6.06.2020 21:47 Ответить
            1. 0

              Kylaksizov

              Я удаляю сообщения? Вы уверены?))))))
              Во-первых вы купили в выходной день, ещё и ночью. Мне по Вашему не спать и ждать пока мне кто-то напишет?
              Увидел, скинул ключ на почту.
              7.06.2020 07:49 Ответить
            2. 0

              bonopard

              Здравствуйте, благодарю, всё работает и хорошего вам дня
              7.06.2020 09:33 Ответить
  12. 0

    Romds

    Так на ДЛЕ 13.2 работает?
    5.08.2019 22:28 Ответить
    1. 0

      Kylaksizov

      Работает на любой версии. Если версия очень низкая, то не проверял, но можно поднастроить. А на новой работает.
      5.08.2019 22:31 Ответить
  13. 0

    Эльнур

    Можно демо?
    7.05.2019 23:57 Ответить
    1. 0

      Kylaksizov

      Демка была удалена, так как нехорошие люди меняют пароли что бы другие не могли войти. Так что показываю только через скайп или любую другую программу.
      8.05.2019 14:22 Ответить
  14. 0

    Эльнур

    Добрый день. В ДЛЕ 13.2 будет работать? и можно за отдельную плату чуть подправить обработчик для ДЛЕ?
    1.04.2019 21:06 Ответить
    1. 0

      Kylaksizov

      Добрый день. Будет. Подправить то можно, но нужно знать что нужно править.
      1.04.2019 21:08 Ответить
  15. +1

    AlexSilver

    Для корректной работы парсера требовалось изменения префикса базы данных DLE, автор модуля оперативно в следующем патче добавил нужную функцию. Рекомендую к покупке!
    4.03.2019 12:29 Ответить
  16. 0

    Doznet

    п.с. в принципе, пожелания есть и ещё blush

    1. 1. Многопоточность (к примеру, если сайт донор очень посещаемый, от нескольких миллионов человек, и обновляется сразу сотнями новостей в минуту в разных категориях, - то пока он парсит одну категорию одного сайта - уже во второй категории понабежит куча новостей. И это только на один сайт. И пока он начнет обрабатывать вторую категорию все еще первого сайта - то второй сайт он не успеет обработать.

      То есть с такой паузой он все время будет парсить новости с одного только сайта, постоянно теряя актуальность новостей. Хотелось бы, чтобы он мог не обходить раз в минуту заданные шаблоны - а сразу обрабатывать 10-20 примерно шаблонов в минуту

      Или асинхронность, советуют Go для парсера

      2. Соответственно, поддержку скорости работы. За 1 мин. чтобы мог парсит примерно сто объявлений на минимальных паузах в один поток. 
    2.  

    21.02.2019 11:57 Ответить
    1. 0

      Kylaksizov

      Он никак не будет парсить такой объем данных за одну минуту, потому что сайты разные, скорость отдачи данных по разному. Какой-то сайт загружается мгновенно, какой-то в течении минуты. В итоге, если я сделаю что бы он обрабатывал даже несколько запросов в минуту, то Ваш сервер ляжет.
      23.02.2019 08:41 Ответить
      1. 0

        Doznet

        Разработчик парсера гугл плей, который я Вам скидывал - утверждает обратное)  

        цитирую: "А что парсер в парсере нет многопоточности? Плохо конечно, максимум 1440 страниц в сутки парсить может чтоли? Ограниченный какой-то он получается... Спроси у разраба, может он предусмотрел все таки..."

        И еще один ответ другого разраба:

        Я: - да, тоже уже задумался о многопоточности :)
        Р: - забудь, юзай асинхронность, советую Go для парсера
         

        Далее исходя только из моих соображений (возможно и ошибочных):

        1. Можно сделать выбор между многопоточностью и однопоточностью - для разных шаблонов/сайтов. Возможно даже разные крон-задачи для разных шаблонов, поставить разное время запуска? х.з.

        Конечно, самая простая мысль это просто установить несколько крон задач чтобы в минуту парсер запускался несколько раз, но это не варик, потому что тогда просто он будет дублями парсить...

        2. Это зависит, наверное, ведь больше от мощности сервера? вряд ли я ошибаюсь) какой то сервер может такое и не потянет) а какой то вполне себе =)
        23.02.2019 13:00 Ответить
        1. 0

          Kylaksizov

          Я уже объяснил на счет многопоточности. Если парсер у Вас настроен чисто для Google, то конечно можно настроить что бы он парсил много данных за раз. Да и скажу честно, я пока не знаю как решить такую задачу, увы. Как придумаю, конечно сделаю. Вернее сделать то можно, но судя по тому что некоторые сайты наблюдают и понимают что их парсят, банят таких. Поэтому какой смысл.
          23.02.2019 13:07 Ответить
          1. 0

            Doznet

            да, про бан, согласен, налететь можно, говорят даже с прокси не прокатывает, целыми подсетями банят :(

            ок, спасибо :)
            23.02.2019 14:18 Ответить
          2. 0

            Xereden

            Практически все видят что их парсят и банят. Юзайте прокси, можно халявные. В итоге жертва либо сдаётся, либо прокси меняется и всё работает.
            27.01.2020 21:31 Ответить
  17. 0

    Doznet

    Обязательно нужно к разработке в следующем обновлении: 

    1. Удаление конкретных слов не из всего массива - а только из нужного тебе поля. Почему: на большинстве сайтов парсер автоматом приставляет к ссылке домен сайта, даже тогда когда он не нужен. И если проставить на удаление этого домена - то слетает пагинация и подчас нужно удалить домен в одной только строке а не во всех сразу.
    2. Исправление парсинга атрибутов. Нужно на многих сайтов получать ссылки из атрибутов, но на данный момент парсер их получает, но не заносит их в доп. поле.
    3. Встроенная возможность парсинга ссылки сайта-донора в дополнительное поле, с возможностью отключения парсинга этой ссылки для конкретного шаблона. Хотя можно оставить возможность включать/отключать и для всего парсера, не суть.

    С этими исправлениями можно будет уже норм. работать  blush Если последний - это как бы пожелание новой функции, то первые два это, считаю, исправления косяков уже имеющихся функций  wink

    А так спасибо за модуль, хорошая работа и для бюджетников главное доступный blush Бду ждать возможность покупки исправленной версии  blush  
    20.02.2019 18:14 Ответить
  18. 0

    Гость Евгений

    А может ли скачать файл? И залить в дле?
    31.01.2019 08:42 Ответить
    1. 0

      Kylaksizov

      Может. Скачивает с сайтов на DLE, а так же если на сайте указана прямая ссылка на файл.
      31.01.2019 09:20 Ответить
  19. 0

    Doznet

    спасибо за чудо и установку
    26.01.2019 15:53 Ответить
  20. 0

    Doznet

    Хотелось бы еще чтобы личные прокси можно было проставлять, с логинами и паролями, а не только публичные :)
    23.01.2019 20:02 Ответить

Добавить комментарий

    • Смайлы и люди
      Животные и природа
      Еда и напитки
      Активность
      Путешествия и места
      Предметы
      Символы
      Флаги
Кликните на изображение чтобы обновить код, если он неразборчив

Похожие товары