Перейти к содержимому


Пользователь месяца
Ixman Ixman 1-й за Октябрь
Очков активности: 693 0 тем, 33 сообщения, 14 баллов репутации
Сайт: o5cat.ru
ТОП самых активных за этот месяц
  • Фотография yuran
    #1

    yuran (yurbol.ru)
    Очков активности: 79.5 0 тем, 53 сообщения, 1 балл репутации

  • Фотография ShowPrint
    #2

    ShowPrint (ShowPrint.ru)
    Очков активности: 58.5 Вне конкурса за определение пользователя месяца

  • Фотография BLIK
    #3

    BLIK
    Очков активности: 48 Вне конкурса за определение пользователя месяца

  • Фотография Mandarin
    #4

    Mandarin
    Очков активности: 42 0 тем, 28 сообщений, 1 балл репутации

  • Фотография WGN
    #5

    WGN (worldgamenews.com)
    Очков активности: 39 Вне конкурса за определение пользователя месяца

  • Фотография Ixman
    #6

    Ixman (o5cat.ru)
    Очков активности: 36 Вне конкурса за определение пользователя месяца

  • Фотография pozitron123
    #7

    pozitron123
    Очков активности: 30 2 темы, 14 сообщений, 1 балл репутации

  • Фотография Mariko
    #8

    Mariko
    Очков активности: 16.5 1 тема, 8 сообщений, 1 балл репутации

  • Фотография RosenRot
    #9

    RosenRot (abuzov.com)
    Очков активности: 13.5 1 тема, 6 сообщений, 1 балл репутации

  • Фотография алексс
    #10

    алексс
    Очков активности: 13.5 1 тема, 6 сообщений, 1 балл репутации

  • Показать весь ТОП 10
Поддержите форум! =)
Апдейты
  • Яндекс ИКС: 31.10.2018
  • Яндекс выдача: 13.11.2018
Топ 5 участников по репутации


A-Parser 1.1 - продвинутый парсер поисковых систем, Suggest, PR, DMOZ, Whois, et

#1 A-Parser Support

A-Parser Support
  • Пользователь
  • 53 сообщений
  • Репутация: 0
0

Отправлено 27 December 2016 - 13:36

A-Parser - многопоточный парсер поисковых систем, сервисов оценки сайтов, ключевых слов, контента(текст, ссылки, произвольные данные) и других различных сервисов(youtube, картинки, переводчик...), всего A-Parser содержит более 60 парсеров

 

tour.gif

 

A-Parser полностью решает рутинные задачи по получению, обработки и систематизации данных, необходимых для работы в следующих областях:

 

  •  

     

  • SEO-оптимизация сайтов и Web-аналитика

     

     

    • Сбор баз ссылок для XRumer, A-Poster, AllSubmitter, ZennoPoster...

       

       

    • Оценка сайтов и доменов по множеству параметров

       

       

    • Мониторинг позиции любых сайтов в поисковых системах

       

       

    • Сбор контента(текст, картинки, ролики) для генерации сайтов(дорвеев)

       

       

    • Отслеживание обратных ссылок

       

       

    • Сбор произвольной информации с любых сайтов(например телефоны/e-mails, сообщения с форумов, объявления...)

       

       

    • Сбор и оценка ключевых слов

       

       

    • Сбор списка обратных ссылок

       

       

    • И многое другое

     

     

  • Web-безопасность

     

     

    • Сбор и фильтрация баз ссылок по признакам

       

       

    • Определение CMS сайтов

       

       

    • Формирование произвольных GET, POST запросов с одновременной фильтрацией ответа

     

     

  • Сетевое администрирование

     

     

    • Работа с DNS службой - резолвинг доменов в IP адреса

       

       

    • Работа с Whois - дата регистрации и окончания регистрации доменов, name-cервера

     

     

 

 

A-Parser обладает следующими преимуществами:

 

  •  

     

  • Колоссальная производительность

     

     

    •  

       

    • Многопоточность - парсер способен распараллеливать сетевые операции до 5000-10000 потоков в зависимости от конфигурации компьютера и решаемой задачи

       

       

    • Продуманная внутренняя архитектура, в которую заложена производительность и расширяемость

       

       

    • Множественные оптимизации сложных операций

       

       

    • Парсер не требователен к ресурсам, может работать как на компьютере, так и на VDS или сервере, на операционных системах Windows, Linux или FreeBSD

       

       

     

     

  • Промышленные масштабы

     

     

    •  

       

    • Парсер разрабатывался с учетом работы с неограниченным размером данных

       

       

    • Способен обрабатывать сотни миллионов и миллиардов запросов

       

       

    • Размеры файлов запросов и результатов ничем не ограничены и могут достигать терабайтных значений

       

       

     

     

  • Автономность

     

     

    •  

       

    • A-Parser рассчитан на бесперебойную и беспрерывную работу без участия пользователя

       

       

    • Очередь заданий позволяет нагрузить парсер работой на недели и месяцы вперед

       

       

    • Одновременное выполнение нескольких разных задач для скорейшего получения результатов

       

       

     

     

  • Поддержка более 60 парсеров

     

     

    •  

       

    • Парсеры поисковых систем: se-google.png Google, se-yandex.png Yandex, se-aol.png AOL, se-bing.png Bing, se-baidu.png Baidu, se-duckduckgo.png DuckDuckGo, se-qip.png QIP, se-yahoo.png Yahoo, se-youtube.png YouTube

       

       

    • Парсеры подсказок поисковых систем: se-google-suggest.png Google, se-yandex-suggest.png Yandex, se-bing-suggest.png Bing, se-yahoo-suggest.png Yahoo

       

       

    • Парсеры и анализ ключевых слов: кейворды и частотность по se-yandex-wordstat.png Yandex.WordStat, в т.ч. по датам и регионам; частотность по se-yandex-direct-frequency.png Yandex.Direct; se-google-trends.png Google Trends

       

       

    • Регистрация аккаунтов: se-yandex-register.png Yandex

       

       

    • Парсеры параметров сайтов и доменов: позиции в поисковых системах se-google-position.png Google, se-yandex-position.png Yandex, se-qip-position.png QIP; se-google-pr.png PageRank, se-google-trustcheck.png TrustRank, se-google-compromised.png Compromised, se-google-safebrowsing.png SafeBrowsing, html-textextractor-langdetect.png LangDetect, se-bing-langdetect.png LangDetect через Bing, se-yandex-tic.png тИЦ, net-whois.png Whois, net-dns.png DNS, rank-cms.png CMS, rank-ahrefs.png Ahrefs, rank-alexa.png Alexa, rank-category.png Category, rank-dmoz.png DMOZ, rank-linkpad.png Linkpad, rank-majesticseo.png MajesticSEO, rank-opensiteexplorer.png OpenSiteExplorer, rank-semrush.png SEMrush

       

       

    • Парсеры различных сервисов: se-bing-translator.png Bing Translator, se-google-maps.png Google Images, se-bing-images.png Bing Images, se-google-maps.png Google Maps, se-yandex-direct.png Yandex.Direct, util-antigate.png AntiGate

       

       

    • Парсеры контента: html-textextractor.png TextExtractor, html-linkextractor.png LinkExtractor, check-backlink.png BackLink, net-http.png HTTP парсер для создания произвольных парсеров

       

       

     

     

  • Создание собственных парсеров

     

     

    •  

       

    • Использование регулярных выражений

       

       

    • Поддержка многостраничного парсинга

       

       

    • Проверка контента и наличия следующей страницы

       

       

     

     

  • Мощные инструменты для формирования запросов и результатов

     

     

    •  

       

    • Конструктор запросов и результатов - позволяет видоизменять данные(поиск и замена, выделение домена из ссылки, преобразования по регулярным выражениям...)

       

       

    • Подстановки для запросов: из файла; перебор слов, символов и цифр

       

       

    • Фильтрация результатов - по вхождению подстроки, равенству, больше\меньше

       

       

    • Уникализация результатов - по строке, по домену, по главному домену(A-Parser знает все домены верхнего уровня, в т.ч. такие как co.uk, msk.ru)

       

       

    • Мощный шаблонизатор результатов на основе Template Toolkit - позволяет выводить результаты в любом удобном виде(текстом, csv, html, xml, произвольный формат)

       

       

     

     

  • Гибкость настроек

     

     

    •  

       

    • В парсере используется система пресетов - для каждого парсера можно создать множество предустановленных настроек для различных ситуаций

       

       

    • Настроить можно все - никаких рамок и ограничений

       

       

    • Экспорт и импорт настроек позволяет легко обмениваться опытом с другими пользователями

       

       

     

     

  • Сетевые возможности

     

     

    •  

       

    • Поддержка HTTP/1.1 и HTTPS

       

       

    • Поддержка HTTP и SOCKS5 прокси, в т.ч. с авторизацией

       

       

    • Полностью асинхронная работа с сетью, в т.ч. с DNS

       

       

     

     

  • API

     

     

    •  

       

    • Возможность интегрировать и управлять парсером из своих программ и скриптов

       

       

    • Полная автоматизация бизнес-процессов

       

       

    • Клиенты для PHP, Perl и Python

       

       

     

     

  • Постоянные улучшения и исправления

     

     

    •  

       

    • Разработка парсера началась в 2011 году, а первый релиз вышел зимой 2012 года

       

       

    • С тех пор было выпущено более 70 новых версий, включающих множество улучшений и исправлений

       

       

    • A-Parser не останавливается в развитии, идет активная разработка, будет реализовано множество новых функций, в т.ч. по запросам от пользователей

       

       

     

     

  • Техническая поддержка

     

     

    •  

       

    • Мы прилагаем все усилия по поддержке пользователей и ответам на все возникающие вопросы

       

       

    • Создана подробная документация по A-Parser'у, открыт форум для пользователей

       

       

    • Специалист технической поддержки готов ответить любым удобным способом: ICQ, Skype, Jabber, GoogleTalk, e-mail и через форму онлайн связи на сайте

       

       

    • Разработчик A-Parser'а готов ответить на любые сложные и технические вопросы, также открыт к обсуждению улучшений и дополнений для парсера

       

       

     

     

 

 

Более подробно ознакомится с возможностями парсера можно в полноценной документации

 

A-Parser предоставляется в трех версиях, сравнительная таблица и стоимость лицензий:

 

DW3hO.png

 

Мы принимаем к оплате в автоматическом режиме все популярные платежные системы, такие как Bitcoin, WebMoney, PayPal, Visa, MasterCard, Paxum, Яндекс.Деньги, QIWI, PerfectMoney, банковские переводы, терминалы оплаты и многое другое.

Для приобретения лицензии необходимо зарегистрироваться на сайте https://a-parser.com и перейти на страницу оплаты.

Если у вас возникли вопросы - обращайтесь по любым контактам в техническую поддержку

Напоминаем, что мы разыгрываем 3 лицензии на A-Parser общей стоимостью $437, участвуйте в конкурсе, победитель будет выбран 5ого января 2017!


 

 

  • 0

#2 A-Parser Support

A-Parser Support
    Topic Starter
  • Пользователь
  • 53 сообщений
  • Репутация: 0

Отправлено 05 January 2017 - 13:18

Доброго времени суток друзья! Команда A-Parser поздравляет вас с наступившим 2017 годом и наступающим Рождеством.

 

Не забывайте о нашем розыгрыше https://vk.cc/5YBNVX. Мы разыграем сегодня 3 лицензии на A-Parser общей стоимостью $437. Результаты розыгрыша после 17:00 по Москве. Более подробную информацию смотрите по ссылке которая указана выше.

e2s2f.png


  • 0

#3 A-Parser Support

A-Parser Support
    Topic Starter
  • Пользователь
  • 53 сообщений
  • Репутация: 0

Отправлено 01 February 2017 - 13:56

В этом видео вы узнаете как собрать тысячи и миллионы профилей в социальной сети ВКонтакте:

 

 

В уроке рассмотрены:

 

 

  • Создание парсера профилей соцсети ВКонтакте: имя, город, телефон, семейной положение, время последнего захода и ссылку на аватар(фотографию)

     

     

  • Использование регулярных выражений для фильтрации данных результата

     

     

  • Использование конструктора результатов для модификации результатов

     

     

  • Использование Cookies в запросах

     

     

 

 

Подписывайтесь на наш канал, ставьте лайки и оставляйте в комментариях пожелания для следующих уроков!

 

  • 0

#4 A-Parser Support

A-Parser Support
    Topic Starter
  • Пользователь
  • 53 сообщений
  • Репутация: 0

Отправлено 08 February 2017 - 11:52

1.1.743 - исправлен парсер Яндекса, множество исправлений в JavaScript парсерах

 

6TCRx.png

 

В версии 1.1.743 выпущено множество исправлений для JavaScript парсеров, а также добавлены новые примеры: определение языка страницы через Яндекс переводчик и сбор текстовки по ключевому слову одним заданием(на выбор через Google или Яндекс)

 

Улучшения

 

  • В JavaScript парсерах добавлена возможность создавать новые запросы(this.query.add)

     

     

  • В парсере se-yahoo.pngSE::Yahoo теперь определяется бан прокси по IP

     

     

  • Добавлен параметр, позволяющий A-Parser'у работать с файлами запросов и результатов вне рабочего каталога

     

     

 

Исправления в связи с изменениями в выдаче

 

  • se-yandex.pngSE::Yandex - парсил только первую страницу выдачи

     

     

  • se-google-trends.png SE::Google::Trends - использовал все попытки если по ключевому слову не было данных

     

     

 

Исправления

 

  • Исправлена работа опции Max threads per proxy(максимальное число потоков на одну прокси)

     

     

  • В парсере html-linkextractor.png HTML::LinkExtractor исправлен парсинг ссылок с фрагментом(#)

     

     

 

Исправления в JavaScript парсерах

 

  • Настройки checkbox воспринимались некорректно

     

     

  • Исправлена ошибка в работе this.cookies.setAll

     

     

  • В интерфейсе не отображались измененные параметры конфига

     

     

  • Исправлены утечки памяти

     

     

  • Исправлено игнорирование параметра success

     

     

  • Исправлено поведение при использовании Override настроек

     

     

  • Исправлена ошибка при получении результатов из другого парсера

     

     

 

 

  • 0

#5 A-Parser Support

A-Parser Support
    Topic Starter
  • Пользователь
  • 53 сообщений
  • Репутация: 0

Отправлено 27 February 2017 - 12:23

1.1.764 - шаблонизатор в полях конфига, выбор языка в SE::Bing

 

6TCRx.png

 

Улучшения

 

 

  • В парсер se-bing.png SE::Bing добавлена возможность выбора языка результатов поиска

     

     

  • Во всех полях конфигурации каждого парсера теперь есть возможность использовать шаблонизатор, тем самым позволяя использовать запрос или его часть как значение конфига, а также добавлять произвольную логику(пример - использование переменного DNS сервера)

     

     

  • В JavaScript парсерах добавлена возможность установки одиночного cookie(this.cookies.set)

     

     

  • В парсере se-yandex-wordstat.png SE::Yandex::WordStat SE::Yandex::WordStat уменьшено потребление каптчи

     

     

 

 

Исправления в связи с изменениями в выдачи

 

 

  • se-google.png SE::Google - исправлена работа с антигейтом

     

     

  • В парсере se-google.png SE::Google исправлен парсинг объявлений, а также пропуск первого результата поиска в редких случаях

     

     

  • В парсере se-yandex.png SE::Yandex исправлен сбор сниппетов

     

     

  • se-aol.png SE::AOL,  se-bing-images.pngSE::Bing::Images

     

     

 

 

Исправления

 

 

  • Исправлена утечка памяти при использовании логов в задании

     

     

  • В парсере se-ask.png SE::Ask не определялся бан прокси

     

     

  • Исправлена работа опции allow_outside_files

     

     

  • Исправлена работа с utf8 в исходниках tools.js и JavaScript парсерах

     

     

  • В редких случаях при неудачном парсинге 2ой или последующих страниц запрос мог считаться успешным

     

     

 

 

  • 0

#6 A-Parser Support

A-Parser Support
    Topic Starter
  • Пользователь
  • 53 сообщений
  • Репутация: 0

Отправлено 27 March 2017 - 11:26

1.1.790 - экспорт множества заданий и JavaScript парсеров

 

mvl55.png

 

A-Parser 1.1.790 появился новый экспорт, который позволяет экспортировать сразу несколько заданий, настройки парсеров, JavaScript парсеры, а также tools.js:

 

5kn8d.png

 

Улучшения

 

 

  • Новый экспорт заданий

     

     

     

  • В JavaScript парсерах добавлена возможность указать иконку парсера

     

     

     

  • В JavaScript парсерах добавлен функционал для работы с CAPTCHA

     

     

     

  • Добавлено автоматическое версионирование JavaScript парсеров

     

     

     

  • В хедерах ответа теперь указан заголовок Proxy с которым был сделан запрос

     

     

     

  • В JavaScript парсерах добавлен параметр attempt для this.request, позволяющий вручную управлять механизмом попыток

     

     

     

  • В JavaScript парсерах добавлен функционал управления прокси

     

     

     

  • В парсере  check-backlink.png Check::BackLink улучшена обработка nofollow

     

     

     

 

 

Исправления в связи с изменениями в выдачи

 

 

  • se-duckduckgo.png SE::DuckDuckGo, se-ask.png SE::Ask, se-aol.png SE::AOL, rank-majesticseo.png Rank::MajesticSEO

     

     

     

  • se-bing.png SE::Bing не парсил при указании региона

     

     

     

  • Парсер se-yandex-wordstat.png SE::Yandex::WordStat мог пропускать запросы при использовании антикаптчи

     

 

 

Исправления

 

 

  • В парсере se-qip.png SE::QIP для некоторых запросов не корректно определялась кодировка сниппетов

     

     

     

  • A-Parser зависал при использовании JavaScript парсеров совместно с конструктором результатов

     

     

     

  • В парсере se-bing.png SE::Bing в серп могли попадать рекламные блоки

     

     

     

  • В парсере net-whois.png Net::Whois собиралась дата для некоторых доменов

     

     

     

  • В JavaScript парсерах исправлен вывод ошибок в коде

     

     

     

  • В JavaScript парсерах исправлен подсчет HTTP запросов для статистики

     

     

 


  • 0

#7 A-Parser Support

A-Parser Support
    Topic Starter
  • Пользователь
  • 53 сообщений
  • Репутация: 0

Отправлено 06 April 2017 - 13:13

1.1.811 - 6 новых парсеров, улучшения в JavaScript парсерах

 

4m5m5.png

 

В A-Parser 1.1.811 добавлено 6 новых встроенных парсеров - Амазон, Яндекс.Маркет, Рамблер, IxQuick, добавление ссылки в индекс Bing, расширенный парсер Moz(OpenSiteExplorer). Добавляйте   идеи для новых парсеров на нашем форуме и мы их обязательно реализуем.

 

Помимо встроенных парсеров вы можете создавать свои собственные парсеры на языке JavaScript - используя всю мощь многопоточности A-Parser'а, а также производительность движка V8 и преимущества ES6.

 

Для владельцев CapMonster и XEvil  - напоминаем что A-Parser можно подключить к этим программам из коробки, тем самым колоссально повысив скорость парсинга во многих парсерах

 

Улучшения

  • Новый парсер shop-amazon.png Shop::Amazon - парсит выдачу https://www.amazon.com по ключевому слову, собирает название, ссылку, картинку, прайс, прайс до скидки, рейтинг, число комментариев, продавца и дополнительную информацию

     

     

  • Новый парсер shop-yandex-market.png Shop::Yandex::Market - парсер Яндекс.Маркета, по указанному ключевому слову(или по прямой ссылке на категорию) собирает следующие данные: название товара, ссылку, ссылку на картинку, рейтинг, число комментариев, цену от и до, число предложений от магазинов и список дополнительных характеристик

     

     

  • Новый парсер se-rambler.png SE::Rambler - сегодня рамблер использует одновременно выдачу Google и Яндекса, в зависимости от геолокации пользователя(прокси), есть поддержка антигейта

     

     

  • Новый парсер se-ixquick.png SE::IxQuick - https://www.ixquick.com - еще один поисковик, основанный на выдаче Google

     

     

  • Добавление ссылок в индекс Бинга - se-bing-addurl.png SE::Bing::AddURL - добавляет ваши ссылки в промышленных масштабах, требуется антигейт

     

     

  • Новый парсер rank-opensiteexplorer-extended.png Rank::OpenSiteExplorer::Extended - расширенная версия парсера rank-opensiteexplorer.png Rank::OpenSiteExplorer, собирает с https://moz.com 39 параметров по домену, сабдомену и странице

     

     

  • JavaScript парсеры: новые методы this.util.urlFromHTML(url, [base]) и this.util.updateResultsData(results, data)

     

     

  • В парсере se-yandex.png SE::Yandex добавлен сбор времени последнего кэширования страницы

     

     

 

 

Исправления в связи с изменениями в выдаче

 

  • se-yandex.png SE::Yandex - исправлен парсинг выдачи, сбор ссылки на кэш страницы, а также парсинг рекламных объявлений

     

     

  • se-google.png SE::Google - исправлен парсинг рекламных объявлений, а также проблема с парсингом в редких случаях при использовании антигейта

     

     

     

  • В парсере net-whois.png Net::Whois исправлен парсинг дат, а также улучшен парсинг whois сервера GoDaddy

     

     

  • se-google-trends.png SE::Google::Trends - полностью обновлен парсер и список собираемых значений

     

     

  • rank-linkpad.png Rank::LinkPad,  rank-majesticseo.png Rank::MajesticSEO, se-seznam.png SE::Seznam

     

     

 

 

Исправления

 

  • Проблема с прокруткой в Планировщике

     

     

  • Проблема с кодировкой в tools.parseJSON

     

     

  • Ошибка импорта JavaScript парсеров

     

     

 

 

  • 0

#8 A-Parser Support

A-Parser Support
    Topic Starter
  • Пользователь
  • 53 сообщений
  • Репутация: 0

Отправлено 01 May 2017 - 12:41

1.1.853 - новые парсеры и каталог пресетов

 

zldhe.png

 

У нас появился каталог парсеров и пресетов, на данный момент он находится в процессе наполнения. Каталог полностью интегрирован с A-Parser, позволяет в один клик установить необходимый пресет и сразу его использовать. Загрузка в каталог доступна для всех пользователей A-Parser, попробуйте, это просто и удобно :)

 

Улучшения

 

  • Новый парсер html-emailextractor.png HTML::EmailExtractor - собирает адреса электронной почты с указанных страниц, поддерживает обход сайтов в глубину(парсинг соседних страниц или всего сайта)

     

     

  • Новый парсер rank-social-signal.png Rank::Social::Signal - проверяет количество социальных сигналов для указанной ссылки, возвращает число лайков, репостов и комментариев для Facebook, число лайков в Google+ и Pinterest, количество репостов Вконтакте и LinkedIn

     

     

  • Добавлена возможность устанавливать приоритет заданиям, подробное обсуждение

     

     

  • Оптимизирована работа при большом числе активных заданий

     

     

  • Оптимизирована версия A-Parser для ОС Linux x64

     

     

  • Для парсера se-qip.png SE::QIP добавлена опция Not found is error, призванная устранять ошибки поисковика, когда он случайным образом отдает пустые результаты

     

     

  • В парсере se-google-trends.png SE::Google::Trends добавлен сбор данных по категориям "В тренде" и "Лидеры"

     

     

 

Исправления в связи с изменениями в выдаче

 

  • se-duckduckgo.png SE::DuckDuckGo, se-ixquick.png SE::IxQuick, se-bing-addurl.png SE::Bing::AddURL

     

     

 

Исправления

 

  • В парсере se-google.png SE::Google исправлена работа с каптчей при использовании языка интерфейса гугла отличного от английского

     

     

  • В парсере rank-similarweb.png Rank::SimilarWeb исправлена обработка доменов которые не существуют в статистике SimilarWeb

     

     

  • Исправлен парсинг выдачи в se-bing.png SE::Bing если выбран язык отличный от английского

     

     

  • Исправлена загрузка пресетов которые содержат удаленные(устаревшие) парсеры

     

     

 

 

  • 0

#9 A-Parser Support

A-Parser Support
    Topic Starter
  • Пользователь
  • 53 сообщений
  • Репутация: 0

Отправлено 15 May 2017 - 14:10

1.1.873 - парсинг Google со скоростью 10000+ запросов в минуту

 

В версии A-Parser 1.1.873 добавлен новый парсер se-google-fast.pngSE::Google::Fast позволяющий парсить Google со скоростью 10к+ запросов в минуту без использования антикаптчи

 

r5ege.png

 

Улучшения

 

  • Новый парсер se-google-fast.pngSE::Google::Fast - быстрый парсер выдачи гугла, способен развить скорость более 10000 запросов в минуту без использования антикаптчи
  • Новый парсер se-google-byimage.pngSE::Google::ByImage - парсер картинок из Google по ссылке на картинку
  • В парсере rank-similarweb.pngRank::SimilarWeb добавлена поддержка антикаптчи
  • В парсере rank-linkpad.pngRank::Linkpad добавлены новые параметры для сбора - ранк домена, процент nofollow и безанкорных ссылок, число доноров по IP и подсетям, а также стоимость размещения ссылок
  • JavaScript парсеры: добавлен параметр browser для this.request, позволяющий автоматически эмулировать заголовки браузера
  • В инструменты tools добавлена возможность кодировать и декодировать base64
  • Теперь в tools.data содержится большое количество предустановленной информации - языки, регионы, домены для поисковых систем Google и Яндекс

Исправления в связи с изменениями в выдаче

 

  • rank-similarweb.pngRank::SimilarWeb, se-google-images.pngSE::Google::Images, rank-majesticseo.pngRank::MajesticSEO

Исправления

  • Исправлена уязвимость позволяющая читать файлы на сервере при известном пароле
  • Исправлена ошибка в тестировщике заданий - могли обрабатываться не все запросы
  • При использовании tools.query.add задание могло зависнуть в очереди, ошибка появилась в предыдущем релизе
  • Исправлена работа tools.js на ОС Linux
  • Исправлена утечка памяти при использовании JavaScript парсеров
  • Исправлена работа опции Динамический лимит потоков

     

     

 

 

  • 0

#10 A-Parser Support

A-Parser Support
    Topic Starter
  • Пользователь
  • 53 сообщений
  • Репутация: 0

Отправлено 06 June 2017 - 15:17

Новый каталог парсеров и пресетов

 

Представляем наш новый каталог парсеров и пресетов - это бесплатные дополнения и примеры для всех пользователей A-Parser Pro и A-Parser Enterprise. Каталог полностью интегрирован с парсером, установка из каталога происходит в один клик

 

7MKvw.png

 

Подавляющее большинство примеров были перенесены из старого каталога, часть из них была обновлена. Небольшое кол-во примеров переехали в наш FAQ, т.к. их формат не совсем вписывался в новый каталог. Более того, теперь в каталоге доступны все наши обучающие видео и статьи. Также добавлены примеры JavaScript-парсеров. Каталог разбит на категории, что облегчает поиск нужного примера

 

На данный момент в каталоге 100 парсеров и пресетов, 9 видео и 2 обзорных статьи, вот некоторые из них:

Любой пользователь может добавить в каталог свой пресет, за что ему будет большая благодарность :) Присылайте свои идеи для новых парсеров, самые интересные и востребованные мы обязательно реализуем!

 

  • 0

#11 A-Parser Support

A-Parser Support
    Topic Starter
  • Пользователь
  • 53 сообщений
  • Репутация: 0

Отправлено 31 July 2017 - 17:35

1.1.899 - автоматическое распознавание Яндекс каптчи и новый парсер мобильной выдачи Google

 

В A-Parser 1.1.899 добавлено автоматическое распознавание новой Яндекс каптчи, без использования антигейта:

 

93eop.png

 

Как следствие скорость парсинга Яндекса сильно выросла:

 

nhupu.png

 

Улучшения:

 

  • Добавлен парсер se-google-mobile.png SE::Google::Mobile - парсер мобильной и современной десктоп выдачи(режим переключается в настройках)

     

     

  • В парсере se-google-translate.png SE::Google::Translate названия языков теперь указаны на английском

     

     

  • В парсер shop-amazon.png Shop::Amazon добавлена возможность указать домен амазона

     

     

  • Добавлена возможность пропускать сохранение в файл указав в шаблоне пустое название файла

     

     

  • Улучшен просмотр HTML кода в дебаг режиме - отключена возможность перезагрузки интерфейса парсера

     

     

 

Исправления в связи с изменениями в выдаче:

 

  • se-google-fast.png SE::Google::Fast, shop-amazon.png Shop::Amazon

     

     

  • se-yandex.png SE::Yandex - исправлена обработка каптчи

     

     

  • se-yandex.png SE::Yandex - исправлен сбор рекламных блоков

     

     

  • В парсере se-rambler.png SE::Rambler исправлена загрузка каптчи

     

     

 

 

  • 0

#12 A-Parser Support

A-Parser Support
    Topic Starter
  • Пользователь
  • 53 сообщений
  • Репутация: 0

Отправлено 14 August 2017 - 06:59

 
Задача: Оценить страницу сайта на предмет тематики, рассчитать плотность ключевых слов на странице сайта и упорядочить результат по убыванию плотности ключевых слов.
 
 
Готовый парсер можно взять в нашем каталоге пресетов: Подсчет плотности ключевых слов
 
Оставляйте комментарии и подписывайтесь на наш канал на YouTube!

  • 0

#13 A-Parser Support

A-Parser Support
    Topic Starter
  • Пользователь
  • 53 сообщений
  • Репутация: 0

Отправлено 23 August 2017 - 13:40

 
cb4qp.png
 
Улучшения
  • Изменена работа с override: устранена возможность их дублирования, а также улучшен выбор и добавление настроек в пресет в один клик
7ZvI1.png
  • Добавлена возможность для каждого файла результатов задавать индивидуальные Начальный/Конечный текст
 
Исправления в связи с изменениями в выдачи
  • se-dogpile.pngSE::Dogpile, rank-majesticseo.pngRank::MajesticSEO, se-google-images.pngSE::Google::Images, se-yandex.pngSE::Yandex 
 
Исправления
  • Исправлены падения при работе JS парсеров на Windows 10
  • Исправлен баг с "белым экраном", который появился в предыдущей версии
  • Парсер Rank::SimilarWeb удален в связи с требованием правообладателей
  • Исправлен баг, при котором не срабатывал шаблон в Общем формате результата при пустом имени файла результата, появился в версии 1.1.896
  • Исправлена работа с каптчей в se-google.pngSE::Google, при работе через IPv6 прокси

Сообщение отредактировал A-Parser Support: 23 August 2017 - 13:41

  • 0

#14 A-Parser Support

A-Parser Support
    Topic Starter
  • Пользователь
  • 53 сообщений
  • Репутация: 0

Отправлено 05 September 2017 - 16:52

 
В этом уроке будет рассмотрен пример получения с помощью A-Parser списка пользователей социальной сети Вконтакте, которые лайкнули выбранный пост.
Такую информацию можно использовать для дальнейшего маркетинга, например, для рассылки сообщений только заинтересованным пользователям или проведения различных акций.
 
 
Урок включает в себя:
  • Парсинг социальной сети Вконтакте после авторизации
  • Отправка POST-запросов парсером и разбор результата
  • Использование Cookies в парсинге
Готовый парсер можно взять в нашем каталоге пресетов: Получение списка пользователей, которые лайкнули пост в VK
 
Оставляйте комментарии и подписывайтесь на наш канал на YouTube!

  • 0

#15 A-Parser Support

A-Parser Support
    Topic Starter
  • Пользователь
  • 53 сообщений
  • Репутация: 0

Отправлено 18 September 2017 - 17:12

cb4qp.png
 
Улучшения:
  • Добавлено 2 новых парсера: 
 
  • Добавлен функционал перевода интерфейса парсера на другие языки
  • В тестовом режиме добавлена поддержка reCAPTCHA в se-google-mobile.png SE::Google::Mobile, пока поддерживается только сервис anti-captcha.com
  • Улучшен парсинг Google на паблик прокси
  • Уменьшена частота появления каптч, убран лимит страниц и добавлена поддержка антигейта в shop-yandex-market.png Shop::Yandex::Market
 
 
Исправления в связи с изменениями в выдачи
  • В связи с прекращением поддержки со стороны Google, удален SE::Google::Fast
 
Исправления
  • Исправлен парсинг данных о доменах .biz в net-whois.png Net::Whois
  • Исправлена работа с экзотическими кодировками в net-http.png Net::HTTP
  • Исправлена работа с прокси в se-yandex.png SE::Yandex
  • Исправлена работа с кодировками в JS-парсерах
 

  • 0

#16 A-Parser Support

A-Parser Support
    Topic Starter
  • Пользователь
  • 53 сообщений
  • Репутация: 0

Отправлено 28 September 2017 - 14:00

 
18-й сборник рецептов. В нем мы будем смотреть как выглядят сайты сразу в нескольких браузерах, протестируем облегченную выдачу Яндекса и проверим сайты в Яндексы. Кроме этого в сборнике предоставлены парсер для проверки существования e-mailов и пресет для получения позиций сразу по нескольким регионам. Итак, поехали!
 
 
Наверное каждый разработчик сайтов сталкивается с вопросом тестирования своих наработок в различных браузерах. Можно конечно держать для этого несколько виртуальных машин, что далеко не совсем рационально. Можно собирать отзывы от пользователей, что негативно влияет на общее впечатление от сайта тех же пользователей. А можно воспользоваться специализированными сервисами. Например BrowserStack. А с помощью А-Парсера этот процесс можно еще и автоматизировать, если к примеру нужно сразу протестировать множество сайтов. Как это сделать - читайте по ссылке выше.
bscreen2.png
 
 
Недавно на Хабре была опубликована статья о lite выдаче поиска Яндекса. Нам стало интересно, насколько такая выдача может быть полезной в сравнении с обычной с точки зрения парсинга. Мы с помощью функционала JS парсеров сделали новый парсер и сравнили его со стандартным. Как это было, что из этого вышло и какие получились выводы, а также готовый парсер lite выдачи Яндекса - по ссылке выше.
0d99H.png
 
 
Поисковую выдачу Яндекса можно использовать для решения самых разных задач. Одна из них - проверка сайтов на различные типы угроз. Яндекс отмечает такие сайты в выдаче специальными метками. С помощью A-Parser можно быстро проверить большие списки сайтов на наличие таких меток. Как это сделать - описано по ссылке выше.
wb2iX.png
 
Кроме этого:
  • JS::MailValidator - проверка существования e-mail адресов
Еще больше различных рецептов в нашем обновленном Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.
 
Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.
 
Предыдущие сборники

 


  • 0

#17 A-Parser Support

A-Parser Support
    Topic Starter
  • Пользователь
  • 53 сообщений
  • Репутация: 0

Отправлено 09 October 2017 - 12:25

 
LG1lM.png
 
Обычно для получения позиций сайта в Яндексе используется se-yandex-position.png SE::Yandex:: position. Но если возникает задача получить позиции для нескольких регионов, при этом для каждого региона нужно проверять позицию отдельного поддомена, то нужно делать много однотипных заданий с разными регионами, что несколько неудобно. Решение можно значительно упростить, использовав функционал JavaScript парсеров и написав небольшую обертку вокруг se-yandex-position.png SE::Yandex:: position
 
Урок включает в себя:
  •  
  • Написание JS парсера
  • Использование стандартных встроенных парсеров в JS парсере
  • Переопределение настроек стандартного парсера при обращении к нему
 
 
Оставляйте комментарии и подписывайтесь на наш канал на YouTube!

  • 0

#18 A-Parser Support

A-Parser Support
    Topic Starter
  • Пользователь
  • 53 сообщений
  • Репутация: 0

Отправлено 11 October 2017 - 13:58

 
После отключения приема Интеркассой биткоинов, мы добавили собственную возможность оплаты в личном кабинете различными криптовалютами. Поддерживаются Bitcoin, BCH, LTC, ETH и другие альткоины.
crypto.png
 
Для того чтобы сделать оплату, достаточно выбрать в личном кабинете соответствующий способ:
FireShot_Capture_3_-_Lichnyi_kabinet_I_A
 
И проследовать дальнейшим инструкциям, выбрав нужную криптовалюту.
 
Оставляйте комментарии и подписывайтесь на наш канал на YouTube!

  • 0

#19 A-Parser Support

A-Parser Support
    Topic Starter
  • Пользователь
  • 53 сообщений
  • Репутация: 0

Отправлено 19 October 2017 - 15:18

 
19-й сборник рецептов. В нем мы будем постить сообщения в блоги Wordpress, парсить Chrome Webstore и AliExpress. Поехали!
 
Как известно, А-Парсер - это многофункциональный парсер. И он настолько многофункционален, что может не только парсить, но и постить! О том, как это сделать, пойдет речь в этой статье. В качестве примера выбран один из самых популярных движков - Wordpress. Все подробности, а также готовый постер - по ссылке выше.
 
WPPost2.png
 
Браузер Chrome является одним из самых популярных в мире. И в нем практически с самого начала существования есть поддержка расширений, которые доступны в специальном магазине. Данный магазин представляет собой обычный сайт, который, как и любые другие, можно парсить. Полученная информация может быть использована к примеру для создания собственного магазина расширений или парсинга текстовок. Детальнее о том, как создавать такие парсеры - в статье по ссылке выше.
 
3kwix_171019120822.png
 
AliExpress - это одна из крупнейших торговых онлайн площадок. Парсинг данных о товарах из алиэкспресс позволяет проводить сравнение цен, получать картинки и названия товаров. Готовый парсер JS::Shop::AliExpress доступен в нашем каталоге по ссылке выше.
 
ali2.png
 
Кроме этого:
  •  
 
 
Еще больше различных рецептов в нашем обновленном Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.
 
Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.
 
Предыдущие сборники:
  •  
 

  • 0

#20 A-Parser Support

A-Parser Support
    Topic Starter
  • Пользователь
  • 53 сообщений
  • Репутация: 0

Отправлено 09 November 2017 - 12:24

1.2.0 - обновленный интерфейс и множество улучшений
 
Мы рады представить релиз A-Parser 1.2.0 - результат почти двухмесячной разработки на бета-канале!
Полностью обновленный интерфейс, переработан ряд парсеров, реализовано множество различных улучшений.
 
yreu5_171109011859.png
 
Новые парсеры
  • se-google.pngSE::Google::Modern - теперь старая, новая и мобильная выдачи в одном парсере, а также поддержка работы с каптчами и рекаптчами
  • util-recaptcha2.pngUtil::ReCaptcha2 - распознавание Google ReCaptcha2 через популярные сервисы (anti-captcha, rucaptcha, CapMonster, а в скором будущем и xevil)
 
Улучшения
  • Полностью обновлен интерфейс
  • Добавлен статусбар, в котором выводится

статус парсера

количество работающих и всего заданий

количество живых и загруженных прокси

количество задействованных потоков

 
  • Полностью изменен выбор файлов запросов. Теперь легко можно выбирать несколько файлов, а также папки целиком
  • Реализована возможность получать JSON для API прямо в Редакторе заданий
  • Добавлен поиск во всех списках
  • Добавлена возможность сворачивания меню для увеличения рабочей области
  • В Тестовом парсинге добавлена новая область быстрых настроек: отключение автоскрола и включение debug режима
  • Добавлено предупреждение о риске затереть конфиг при обновлении через интерфейс
  • Добавлена возможность включения форматирования больших чисел
  • JS парсеры: добавлена опция use_proxy для this.request, которая позволяет переопределить использование прокси для отдельного запроса внутри JS парсера поверх глобального параметра Use proxy
  • JS парсеры: this.util переименован в this.utils и добавлены новые функции
  • JS парсеры: добавлена группировка в списке парсеров
  • Изменена иконка приложения, а также иконки некоторых парсеров
 
Исправления
  • Исправлена ситуация, когда оставались форматы запросов с предыдущего открытого задания
  • Исправлен баг с сохранением переменных уникализации в некоторых случаях
  • Исправлена ошибка в se-google.pngSE::Google при работе со старой каптчей
  • Исправлена ошибка при открытии лога (возникла в одной из предыдущих версий)
  • Исправлена ошибка при удалении заданий (возникла в одной из предыдущих версий)
Исправления в связи с изменениями в выдачи

 

  • В se-google.pngSE::Google исправлена проблема с использованием всех попыток при получении каптчи
Впереди у нас еще очень много планов, поэтому оставайтесь с нами и следите за новостями!

  • 0

robot

robot
  • Пользователь PRO
  • 2652 сообщений
  • Репутация: 85


Похожие темы

  Название темы Автор Статистика Последнее сообщение

Оформление форума – IPBSkins.ru