A-Parser - продвинутый парсер поисковых систем, Suggest, PR, DMOZ, Whois, etc

1.2.1511 - улучшение работы с Chrome и обхода защит, обновление NodeJS, парсер подсказок Wildberries



Улучшения

• Реализован обход защит по TLS отпечаткам, теперь запросы A-Parser на 100% выглядят как Chrome
• NodeJS обновлен до 16.15.0
• В SE::Google добавлен параметр Narrow results by region, который позволяет сузить поиск до конкретной страны
• В парсере Maps::Google добавлен автоматический обход координат в заданном регионе, детальнее здесь
• В Telegram::GroupScraper добавлена опция Start message number, которая позволяет задать с какого номера собирать сообщения в телеграм чате
• В SE::YouTube добавлен сбор количества подписчиков канала
• В SE::Google::Trends добавлен сбор id тем для related topics
• В парсере Shop::Wildberries:: ProductsList добавлен сбор ключей из "Еще ищут" и "Возможно вам понравится"
• Добавлен парсер подсказок Wildberries: Shop::Wildberries::Suggest
• В Shop::Wildberries:: ProductInfo добавлен сбор дополнительных данных
• В SE::Google::Images добавлены новые типы в Usage rights
• Добавлена возможность выводить исходные данные (raw data) в парсерах Ahrefs
• В Net::HTTP и JS парсерах добавлена опция Randomize TLS Fingerprint
• Улучшена работа с Chromium из JavaScript парсеров
• В Net::HTTP и this.request() теперь по-умолчанию используется user-agent последнего Chrome

Исправления в связи с изменениями в выдаче

• Множество адаптаций к изменениям в верстке Google, Яндекс, Bing
• В парсерах Яндекса исправлен парсинг турбо страниц
• Исправлена работа SE::Yandex::WordStat, в планах полная переработка данного парсера с добавлением нового функционала
• В SE::Yandex::ByImage исправлен парсинг выдачи
• Исправлен парсинг имени пользователя в Telegram::GroupScraper
• В SE::Google::ByImage изменен набор собираемых данных и формат результата по-умолчанию, а также в целом исправлена его работа
• Исправлена работа парсеров Букварикс, но из-за высокой нагрузки на их API данные парсеры могут не работать
• Исправлен парсинг сниппетов в SE::Google::ByImage
• SE::Google::TrustCheck, Check::RosKomNadzor, SE:: DuckDuckGo, SE::Seznam, Shop::Wildberries:: ProductsList, SE::Baidu, SE::Google::Images, Rank::Ahrefs::KeywordGenerator

Исправления

• Исправлена ошибка в Shop::Wildberries:: ProductsList, из-за которой с некоторыми запросами не выводился $totalcount
• Исправлена загрузка каптч в SE::Yandex::Images
• Устранена утечка памяти в парсере DeepL::Translator, а также другие ошибки
• Исправлена работа проксичекера с socks5 IPv6 прокси
• Исправлена работа опции Don't verify TLS certs в некоторых случаях
• Устранена утечка памяти при частом запуске заданий или использовании API, утечка была связана с внутренним багом NodeJS
• Исправлено зависание Тестового парсинга при редактировании кода парсеров
• Исправлен проход по редиректам в HTML::LinkExtractor
• Исправлен выбор домена в SE::Yahoo
• Исправлена заспамленость лога ошибками при использовании Maps::Yandex
• Исправлен сбор результатов $records в Net:: DNS
• Исправлена ошибка когда не находилась следующая страница опцией Check next page

 

XEvil 5.0: лучший в мире софт для решения капч. СКИДКИ!

Рады представить вам разработку нашего партнёра:
XEvil 5.0 - известную во всём мире программу для решения большинства существующих капч, самую быструю и точную по сравнению с аналогами.

Программа полностью совместима с A-Parser, прекрасно справляется с капчами Yandex, Rambler, Google, BING и тысячами других.

• Решение свыше 12.000 типов капч, в том числе ReCaptcha v.2 и v.3, Yandex, Google, Microsoft (Bing), SolveMedia, BicoinFaucet, Gosuslugi и множества других.
  Подготавливаемый к релизу XEvil 6.0 также будет поддерживать решение hCaptcha, ReCaptcha Enterprize и FunCaptcha.

• никаких лимитов на число распознаваний и число потоков! можете решать хоть миллионы капч в день, это ничего не будет стоить - достаточно лишь один раз купить лицензию (она пожизненная)

• гибкий API, совместимость с сотнями программ (A-Parser, GSA, XRumer, ZennoPoster, BAS, FaucetCollector, Key Collector и др.),
  в комплекте также идет браузерный плагин XEvil Solver Plugin

• оперативные доработки по пожеланиям клиентов, дообучение новым капчам

• простой и понятный интерфейс, разберется даже школьник!

Всем нашим клиентам мы предлагаем набор купонов,
дающих скидку 60% на покупку любой лицензии XRumer + XEvil:
при покупке лицензии Стандарт вы экономите более 7000 рублей (купоны действуют до 15-го июня):

APXEVIL-60-220616-ga5zoamjuon9jb5y
APXEVIL-60-220616-ga5zoamjuoy8kx4k
APXEVIL-60-220616-ga5zoamjuoun97t4

За дополнительными купонами вы можете обратиться в техническую поддержку A-Parser

Официальный сайт программы:
http://botmasterru.com/

Спасибо за внимание!

 

Сборник рецептов #50: скриншоты выдачи Google и подсказки Авито

50-й сборник рецептов, в который вошли парсер для создания скриншотов выдачи встроенного парсера (на примере Google) и парсер подсказок Avito.

Скриншоты выдачи Google

Демонстрация способа создания скриншотов страниц, получаемых другими парсерами.
Для примера используется парсер Google. В результате формируется файл со списком спаршенных ссылок и файл со списком созданных скриншотов. Скриншоты складываются в отдельную папку. По аналогии можно делать скриншоты выдачи, получаемой другими парсерами.



Подсказки Авито

Парсер для сбора подсказок на Авито с возможностью указать локацию и парсингом в глубину.




Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

 

Курс «Специалист по дропам и PBN», используя A-Parser (+включает лицензию)



Наш хороший друг Николай Кодий (https://t.me/mypbn) запускает очередной набор на курс по подбору дропов и построению качественных сеток PBN, с применением A-Parser в качестве одного из основных инструментов.

Старт - 27 июня.

Что это за обучение?
Николай научит и покажет на реальных кейсах и примерах:

• какой софт нужен для поиска дропов, сколько он стоит, как продлевается и регится
• как правильно анализировать и выбирать дропы для себя и на продажу, чтобы не получить фуфло
• как строить PBN, что с ними делать дальше и как на них зарабатывать
• как с помощью знаний, которые он даёт, стать универсальным и востребованным специалистом по построению PBN под любые страны и тематики

Для кого это обучение?

• Для владельцев агентств, которые хотят выходить на заказы для буржа и открывать отдел pbn. Для тех, кто хочет нанимать подрядчиков для построения PBN, понимать процесс и контролировать качество работы.
• Для частных и работающих в найме seo-мастеров, которые хотят оказывать услугу по поиску дропов и построению сеток. Или кто хочет строить сетки под свои проекты. Для тех, кто ищет новые методы линкбилдинга.
• Для тех, кто хочет с нуля освоить в новом году новую профессию. И стать специалистом в денежной сфере — PBN.

Больше нигде вы не получите такой системной и понятной теории, такого большого практического опыта и возможности смотреть и усваивать информацию на живых вебинарах с преподавателем, отвечающим именно на ваши вопросы.

Каждый из студентов бесплатно получает весь лицензионный софт (в том числе и A-Parser), необходимый для подбора дропов.

Подробнее о курсе читайте на ленде курса - https://kurs.pbn.link
И на FB странице Николая - Facebook

 

1.2.1549 - новый парсер CoinMarketCap, полностью переписаны 9 парсеров и новые опции в существующих



Улучшения

• Добавлен новый парсер CoinMarketCap::LastPrice
• Парсер SE::Yandex::Register полностью переписан, восстановлена возможность регистрировать аккаунты
• Парсеры SE::Yandex::WordStat, SE::Yandex::WordStat::ByDate и SE::Yandex::WordStat::ByRegion полностью переписаны, добавлен новый функционал (выбор способа авторизации, регистрация аккаунтов "на лету", сессии...), полный список изменений здесь
• HTML::EmailExtractor полностью переписан, благодаря использованию в качестве основы HTML::LinkExtractor кроме собственно парсинга почт, стали доступными множество возможностей: сбор ссылок, парсинг в глубину, использование Chrome и т.д.
• Все парсеры Instagram переписаны на JS APIv2, а также адаптированы к изменениям на источнике, больше информации здесь
• Увеличено максимальное кол-во страниц в SE::Google до 100
• Добавлен сбор даты со сниппета в парсерах Google
• В парсере SE::Bing добавлена опция Fix pagination bug, устраняющая баг в поиске Bing, из-за которого отдаются пустые 2-я и последующие страницы
• В парсере Shop::Wildberries:: ProductInfo добавлен сбор данных о продавце и возможность определять наличие товара
• В парсере SE::Startpage добавлена опция Links per page и обновлен список доступных вариантов в существующих опциях
• В SE:: DuckDuckGo добавлено опцию Use HTTP/2
• Net::HTTP: добавлена опция Ban Proxy Code RegEx
• Добавлена возможность задавать произвольный уровень для подзапросов (query.add)
• Добавлена опция needResults для this.parser.request

Исправления в связи с изменениями в выдаче

• Адаптация к изменениям в верстке Google и Yandex
• Восстановлена работа с рекаптчами в SE::Google, детальная информация об изменениях здесь
• Исправлен парсинг $title в Shop::Wildberries:: ProductInfo
• SE::Google::TrustCheck, SE::Google::Images, Shop::Yandex::Market, Shop::Wildberries:: ProductsList, SE:: Dogpile, SE::Startpage

Исправления

• Исправлена работа HTTP keep-alive, в некоторых случаях сокет закрывался раньше времени
• Исправлена ошибка в опции Follow common redirects
• Redis API: исправлена работа некоторых парсеров, проблема возникала с парсерами, использующими оптимизацию результатов