A-Parser 2022-05-11

Редактор и возможности заданий​

Несколько парсеров в одном задании​

Используйте до 20 парсеров в одном задании, равномерно распределяя потоки для уменьшения бана прокси и увеличения скорости парсинга

Пресеты парсеров​

Множество настроек каждого парсера можно сохранять в отдельные пресеты и переиспользовать в различных заданиях

Конструктор запросов​

Разделение исходных данных позволяет изменять вид запроса и записывать в результаты дополнительные связанные данные

​

Форматирование запросов​

Раздельный формат запроса для каждого парсера в одном задании, контроль порядка выполнения форматирования

Уникализация запросов​

Если вы не уверены в исходных данных, A-Parser позаботиться о том чтобы не делать лишнюю работу

Макросы подстановок​

Автоматическое размножение запросов, подстановка подзапросов из файлов, перебор цифро-буквенных комбинаций и списков

​

Форматирование результатов​

Мощный шаблонизатор Template Toolkit позволяет применять дополнительную логику к результатам и выводить данные в различных форматах, включая JSON, SQL и CSV

Уникализация результатов​

Продвинутые возможности дедупликации гарантируют уникальность получаемых строк, ссылок и доменов

Фильтрация результатов​

Сохраняйте только те данные, которые подходят под ваши условия: вхождение подстроки, числовое сравнение, регулярные выражения

​

Одновременное сохранение в разные файлы​

Используйте разный формат для разных файлов, применяйте дополнительные условия и фильтры, все это в одном задании для экономии ресурсов парсинга

Логирование работы​

Подробный лог работы раздельно по каждому потоку и раздельно по каждому запросу, позволяет быстро и удобно производить отладку заданий

Цепочки заданий​

Расширяйте логику A-Parser автоматически запуская разные задания по мере их выполнения, передавая результаты работы одного задания как запросы для следующего

​

Сохранение баз уникализации​

Собираете базы используя несколько разных заданий? Сохранение баз уникализации позволяет всегда получать только новые результаты

Контроль числа потоков​

Запуская каждое задание в указанное число потоков, вы можете быть уверены что A-Parser не превысит ваш тариф прокси или ресурсы вашего сервера

Отладчик заданий​

Используйте отладчик для быстрой проверке работы задания во время его составления, быстрый запуск и наглядное отображение лога работы

Очередь заданий и планировщик​

Добавление нескольких заданий​

Очередь заданий избавляет вас от необходимости ожидания завершения задания. Добавляйте неограниченное количество независимых заданий

Одновременное выполнение заданий​

Контролируйте число одновременно работающих заданий, многократно сокращая общее время на получение результатов

Управление заданиями​

Запуск и пауза, редактирование или удаление. Запускайте задания с места последней остановки, A-Parser продолжит сбор информации

​

Приоритеты заданий​

При большой очереди заданий важно иметь возможность контролировать, какое из заданий запуститься быстрее других

Динамический лимит потоков​

При необходимости задайте общее ограничение потоков для всех заданий, A-Parser будет автоматически распределять потоки между активными заданиями

История заданий​

Полная история завершенных заданий, просмотр статистики работы, а также возможность повторного добавления задания

​

Планировщик заданий​

Запускайте повторяющиеся задания используя планировщик заданий, гибкие настройки интервалов повторения

Проксичекеры и работа с прокси​

Поддержка HTTP(S) и SOCKS4/5 прокси​

A-Parser умеет работать со всеми протоколами прокси, проксичекер может проверять все типы одновременно

Неограниченное число проксичекеров​

Добавляйте раздельные проксичекеры для разных источников прокси, задавая разные настройки проверки прокси

Многопоточная проверка и скачивание прокси​

Управляйте числом потоков проверки и скачивания, раздельно для каждого проксичекера

​

Поддержка прокси с авторизацией​

Указывайте данные доступа к прокси в настройках проксичекера или в списках прокси с раздельными данными авторизации

Различные типы проверок​

A-Parser проверяет прокси на работу метода POST, анонимность, время ответа и другие параметры

Возможность отключить проверку прокси​

В случае если вы уверены что все прокси рабочие доступна опция отключения проверки для экономии ресурсов

​

Выбор проксичекеров для каждого задания​

Для каждого задания вы может выбрать свои источники прокси, гибко разделяя ресурсы

Выбор проксичекеров для каждого парсера​

Возможность еще более гибко использовать разные прокси в одном задании, к примеру раздельные прокси для парсеров Google и Яндекс

Бан прокси​

Если прокси забанен сервисом, A-Parser не будет его использовать указанный период времени, уменьшая вероятность неудачных запросов

​

Ограничение потоков на один прокси​

Вы можете ограничить максимальное число потоков на один прокси, с целью недопустить переиспользования ресурсов прокси

Переиспользование прокси между попытками​

По умолчанию A-Parser использует уникальный прокси для каждой попытки скачать данные, доступна возможность изменить это поведение

Возможность исключить проксичекер​

Данная возможность позволяет исключить определенные прокси и использовать их только в определенных заданиях

Гибкость настроек​

Все настройки организованы в пресетах​

Сохраняйте группы настроек в разные пресеты, повторно используйте в разных заданиях

Детальные настройки для каждого парсера​

Например, для парсера Google доступно указание числа страниц, количество результатов на страницу, языковые настройки, геолокация и множество других опций

Импорт и экспорт​

Экспортируйте настройки и парсеры, делитесь с другими пользователями, импортируйте готовые задания из нашего каталога

Многопоточность и производительность​

Асинхронная архитектура​

A-Parser построен на полностью асинхронной архитектуре и способен выполнять до 10000 одновременных асинхронных потоков

Множество оптимизаций​

В A-Parser применяется множество оптимизаций для лучшей производительности, мы постоянно профилируем и улучшаем наш код

Миллионы и миллиарды запросов и результатов​

Никаких ограничений по числу запросов, размеру файлов запросов и количеству результатов

​

Низкое потребление ресурсов​

Для большинства задач подойдет любой офисный или домашний компьютер, а также любой VDS начального уровня

Распределение нагрузки по ядрам​

На текущий момент A-Parser может эффективно использовать до 4-х ядер процессора, в скором времени появится лицензия с неограниченным числом ядер

Распознавание каптчи​

Интеграция с XEvil и CapMonster​

Самый популярный софт для распознавания CAPTCHA, поддерживают множество видов капч, включая ReCaptcha2

Интеграция с онлайн сервисами распознавания​

Мы поддерживаем интеграции с абсолютным большинством сервисов, включая такие как Anti-Captcha, RuCaptcha, CapMonster.cloud, 2captcha и другие

Поддержка распознавания в парсерах​

Поддержка распознавания капчи добавлена во все популярные парсеры, также вы можете использовать распознавание из своих парсеров, написанных на JavaScript

Разработка пресетов на основе регулярных выражений​

Сбор данных с произвольных сайтов​

Применяйте регулярные выражения к данным, полученным из парсера Net::HTTP или из парсера-паука HTML::LinkExtractor

Работа с переменными и массивами​

Собирайте одиночные данные со страницы в переменные или повторяющиеся блоки(списки, таблицы) в массивы. Выводите данные в удобном формате используя шаблонизатор

Расширяйте возможности стандартных парсеров​

Вы можете применять дополнительную обработку к исходным данным для всех встроенных парсеров(например поисковой выдачи Google)

​

Переход по страницам пагинации​

Используйте регулярные выражения для поиска ссылок на следующую страницу пагинации, A-Parser будет автоматически переходить по всем страницам

Проверка корректности данных​

Используйте регулярные выражения для проверки контента, проверки бана прокси или отображения каптчи, A-Parser будет автоматически повторять попытки с другим прокси при неудачах

Дополнительная обработка результатов​

С помощью конструктора результатов вы можете производить поиск и замену с помощью регулярных выражений в любых результатах парсинга

Разработка парсеров на языке JavaScript​

Простой и лаконичный код на языке JavaScript​

Линейный и синхронный код с использованием async/await, который будет выполняться A-Parser'ом в многопоточном режиме

Работа с прокси и повтор попыток​

A-Parser позволяет сосредоточиться на написании кода для извлечения и преобразования данных, всю работу с прокси он берет на себя

Поддержка TypeScript​

Пишите на JavaScript с поддержкой ES2020+ или используйте TypeScript для строгой типизации и подсветки синтаксиса

​

Используйте модули NodeJS​

Безграничное число модулей каталога NPMJS позволяет расширять возможности A-Parser по извлечению и обработке данных

Управление Chrome через puppeteer с поддержкой прокси​

A-Parser добавляет поддержку прокси в популярную библиотеку puppeteer, позволяя в автоматическом режиме использовать прокси для разных вкладок

Обращение к встроенным и другим JavaScript парсерам​

Вы можете отправлять запросы к любым встроенным парсерам, а также к другим JavaScript парсерам, тем самым создавая логику произвольной сложности

Автоматизация и API​

Полный контроль над A-Parser'ом через HTTP/JSON API​

Отправляйте HTTP запросы из своих программ и скриптов или воспользуйтесь готовыми библиотеками для NodeJS, Python, PHP и Perl

Создание заданий​

Добавление заданий по названию пресета или полной структурой с детальными настройками

Управление очередью​

Полный контроль над заданиями в очереди, отслеживание статуса заданий, скачивание результатов.

​

Одиночные и bulk запросы в блокирующем режиме​

Отправляйте HTTP запрос и получайте в ответ результаты сразу по окончанию сбора данных

Redis API​

Наше решение для нагруженных проектов. Возможность подключения неограниченного числа A-Parser'ов для обработки API запросов в Redis очереди с минимальными задержками

Обновление A-Parser'а по API​

Для полной автоматизации доступна возможность удаленного обновления A-Parser по вызову API

Постоянные улучшения и поддержка​

Мы выпустили более 140+ версий A-Parser с 2011 года​

Постоянное развитие A-Parser ежегодно предоставляет нашим пользователям все больше новых возможностей

Регулярные обновления встроенных парсеров​

Мы ежедневно и в автоматическом режиме тестируем все встроенные парсеры, что позволяет нам выпускать обновления в кратчайшие сроки при любых изменений верстки или выдачи

Техническая поддержка​

Бесплатная техническая поддержка доступна всем нашим пользователям и по их собственному мнению является лучшей среди подобных продуктов

​

Обучающие материалы​

Мы регулярно выпускаем обучающие материалы, примеры пресетов и парсеров, а также обучающие ролики на нашем YouTube канале

Слушаем ваше мнение на нашем форуме​

Большинство новых функции и парсеров появляются по запросам наших пользователей

Платные услуги​

Мы умеем экономить ваше время и предлагаем разработку парсеров на нашей платформе, а также интеграцию с вашей бизнес логикой и базами данных