Сообщений в теме: 8

[WebBot]

VK Posts Parser - шаблон для программы ZennoPoster предназначенный для парсинга/граббинга постов со стен сообществ и/или профилей в ВК.

С помощью этого шаблоны можно:

• Отбирать посты по множеству различных фильтров
• Собрать подробную информацию о различных параметрах постов (CSV)
• Выкачивать посты целиком или их отдельные элементы

Кому может пригодиться:

• SMM-специалистам
• Контент-менеджерам и тем кто ведет свои сообщества в различных соцсетях
• Рекламщикам, маркетологам, аналитикам
• Дорвейщикам, арбитражникам, сеошникам
• Тем кому просто нужно скачать содержимое постов со стены или их отдельные элементы к себе на ПК

Фильтры по которым можно отбирать посты со стен:
 

 

Результат работы шаблона

Результат состоит из двух составляющих:

1) Папки с выкаченными постами или их отдельными элементами. Какие конкретно элементы выкачивать вы задаете самостоятельно во входных настройках
 

 

 

 

 

2) CSV (Excel) файл с прошедшими все фильтры постами и их параметрами. Создается всегда.

Пример CSV файла с результатом парсинга. Таблица слишком широкая и не умещается на один экран, поэтому прикрепляю 2 скриншота (второй после скрола вправо).
 

 

после скрола вправо до упора
 

 

Расшифровка столбцов CSV файла:
URL - это URL адрес конкретного поста в ВК.
timestamp - время публикации поста в формате Unix (количество секунд, прошедших с полуночи 1 января 1970 года). Чем свежее пост, тем больше эта цифра. Колонка удобна для сортировки постов по дате публикации.
datetime - время публикации поста в привычном нам формате ДД.ММ.ГГГГ ЧЧ:ММ ... при фильтрации данных в Excel удобно выделять определенные годы / месяцы / дни.
type - может иметь значение post или repost
views - количество просмотров
likes - количество лайков (отметок нравится)
reposts - количество репостов
comments - количество комментариев
ltr - лайкабельность поста в % ( ltr = (likes/views)*100% )
rtr - репостабельность поста в % ( rtr = (reposts/views)*100% )
ctr - комментируемость поста в % ( ctr = (comments/views)*100% )
images - количество картинок
video_total - общее количество видео в посте
video_vk - количество видео VK
video_youtube - количество видео с YoutTube
video_vimeo - количество видео с Vimeo
audio - количество аудиозаписей
doc_total - общее количество документов
doc_gif - количество документов GIF
doc_word - количество документов Word
doc_excel - количество документов Excel
doc_pdf - количество документов PDF
doc_ppt - колчичество документов PPT (Power Point)
text_len - количество симоволов текста
int_links - ( no/yes) - наличие внутренних ссылок
ext_links - ( no/yes) - наличие внешних ссылок
is_ads - помечен ли пост как реклама ( 1 - да 0 - нет )
is_article - является ли пост ссылкой на статью (1 - да 0 - нет)
can_comment - можно ли комментировать пост (1 - да 0 - нет)
can_repost - можно ли репостнуть пост (1 - да 0 - нет)
signer_id - идентификатор автора, если запись была опубликована от имени сообщества и подписана пользователем;

Про статьи ( articles )

Шаблон работает именно с постами, статьи он не грабит! Во-первых, статья это вообще отдельная сущность, а не пост в привычном понимании этого слова. Когда Вы на какой-либо стене видите пост со ссылкой/кнопкой "Читать", то это именно то чем кажется - пост с прикрепленной ссылкой на статью, а не сама статья. Именно так он и грабится как пост состоящий из ссылки на статью.

Таким образом, запретив в фильтрах внутренние ссылки, вы исключите все посты ссылающиеся на статьи! Так же это можно сделать в Excel, отфильтровав по полю is_article

Еще немного про шаблон

• Работает по POST/GET запросах без использования браузера, для получения данных использует VK API
• Умеет работать с прокси (хотя в большинстве случаев можно обойтись и без них)
• Умеет работать с антикапча-сервисами antigate (anti-captcha) и rucaptcha + есть возможность разгадывать капчу вручную или через CapMonster2. Сразу хочу сказать что встретить капчу при таком виде парсинга - это еще ой как нужно постараться 
• Рекомендуется запуск в 1 поток т.к каждый поток использует ВСЕ имеющиеся аккаунты ВК, они меняются при каждом новом обращении к API ... это позволяет парсить действительно крупные сообщества.
• Для работы нужны аккаунты ВК и возможно прокси. Для небольших сообществ хватит и 1 аккаунта без прокси, но если парсить нужно крупные сообщества, то желательно иметь несколько акков ВК! Я, например, использую 4-5 аккаунтов без прокси, хватает для парсинга практически любых сообществ.
• Написан целиком на C#

Дополнительная информация

• Лицензионный ключ привязывается к вашему Zenno ID. Если у вас несколько ZennoPoster-ов купленных в одном личном кабинете ZennoLab, то шаблон будет работать на каждом из них (так как у них одинаковый ZennoID), но не одновременно! Что бы перейти с одного ZP на другой шаблон должен не работать на первом 30 минут.
• Шаблон закрыт от редактирования и имеет права только на выполнение.
• Шаблон будет работать на версиях ZP от 5.10.2.0
• Шаблон после покупки нельзя переоформить на другой email/id т.е вы не можете его перепродать или передать кому-то еще
• У меня нет манибэка! Если после покупки шаблона он вдруг по какой-либо причине стал вам не нужен, тема под которую вы хотели его использовать умерла или не оправдала себя, вы вдруг поняли что в интернете денег нет, то все эти аргументы не принимаются!

DEMO-версия

Если у вас имеется ZennoPoster, то вы можете убедиться в работоспособности шаблона. Демо работает 1 сутки с момента первого запуска и сохраняет не более 10 постов.

Скачать DEMO с Google Drive

Инструкция внутри архива - файл instruction.docx

Демо от не демо отличается лишь вписанным во входные настройки лицензионным ключом т.ч запустив шаблон без лиц. ключа у вас автоматически запуститься DEMO-режим.

Стоимость шаблона

1 месяц - 750 руб (экономия 0 руб)
3 месяца - 1950 руб (получается 650/месяц, экономия 300 руб)
6 месяцев - 3300 руб (получается 550/месяц, экономия 1200 руб)
12 месяцев - 5400 руб (получается 450 руб/месяц, экономия 3600 руб )

Апдейты / обновления

Багфиксы и обновления бесплатные.

Контакты

* Telegram: @volkovguru
* Email: [email protected]

Если есть возможность, то отвечаю сразу, если нет, то как только такая возможность появится. Поэтому не нужно отдельно писать "привет", "как дела?", "есть вопрос" и ждать ответа ... сразу пишите что Вы с форума zismo по поводу VK Posts Parser и свой вопрос.

Если у вас нет ZennoPoster, но хочется использовать шаблон

В этом случае можно сделать так называемый ZennoBox, который позволит вам запускать только купленные вами шаблоны.
За каждую выписку шаблона в ZennoBox необходимо заплатить ZennoLab-у (разработчикам zennoposter) разовый платеж в $10, который естественно перекладываются на конечного покупателя т.е на вас. Эти $10 прибавляются к стоимости аренды шаблона.

Сообщение отредактировал WebBot: 06 08 2023 - 17:09

VK-Magick - мощный кобмайн для ВК, эмулятор жизни акков, мультимессенджер, куча функций

Администрация форума не имеет отношения к пользователям и к предлагаемым товарам и услугам. Правила пользования сайтом.

[WebBot]

Всем привет.

 

Внимание: На данный момент музыка из постов не выкачивается! (надеюсь временно)

Раньше была возможность получить .mp3 файл, но теперь ВК стал хранить аудио в другом формате - M3U8 - это такой плейлист-контенейнер в котором находятся ссылки на множество кусочков в формате .ts ... и что бы получить привычный нам mp3 нужно эти .ts файлы скачать, склеить и перекодировать в MP3. На ум сразу же пришел FFMPEG, он умеет работать с таким форматом, но к сожалению тесты показали что периодически при работе с такими файлами он подвисает и вешает весь поток т.ч от него пришлось отказаться. Пока за неимением хороших вариантов убрал пункт отвечающий за сохранение аудио. Все остальное качается как и прежде. Так что прошу иметь это ввиду!

VK-Magick - мощный кобмайн для ВК, эмулятор жизни акков, мультимессенджер, куча функций

[WebBot]

Приветствую!

 

Добавлена дополнительная проверка на бан аккаунтов для которых уже получен и сохранен токен.

Перед началом парсинга шаблон получает токены для новых аккаунтов и проверяет на бан аккаунты для которых токен уже ранее получен и сохранен. Как правило запрос информации о текущем юзере с ранее полученным токном содержит в ответе признак того заблочен аккаунт или нет, но бывают случаи когда аккаунт заблочен, а никаких признаков этого в ответе нет. Для этого и добавлена дополнительная проверка!

 

Шаблон перезалил Ссылка

 

Так же напоминаю что у шаблона есть демо-версия и любой обладатель ZennoPoster может скачать и протестировать работоспособность шаблона. Демо работает 1 сутки с момента первого запуска и сохраняет не более 10 постов. Демо от не демо отличается лишь вписанным во входные настройки лицензионным ключом т.ч запустив шаблон без лиц. ключа у вас автоматически запуститься DEMO-режим. Инструкция внутри архива - файл instruction.docx

 

Контакты

 

* Telegram: Ссылка

* Email: profitbunker(собака)gmail.com

VK-Magick - мощный кобмайн для ВК, эмулятор жизни акков, мультимессенджер, куча функций

[hooppy]

Смотри, если ты ведешь группу вк, телеграмм канал или любые другие соц. сети, то 
вот этот сервис будет делать все это автоматически - hooppy.ru
 
Он умеет постить любой контент сразу во все твои соц.сети (20+ соц. сетей без ограничений) 
есть отложенный автопостинг
Более того ты можешь настроить его на поиск интересных постов твоих конкурентов и он автоматически будет копировать их посты к тебе + может их  авто-изменять через Chat GPT.

Также, если тебе нужно скопировать и запостить вк клипы, шортс, рилс и т.д, все это тоже есть. Ты можешь даже анализировать конкурентов и смотреть их посты, которые больше всего популярны и брать их к себе). Можешь свои группы ВК чистить от всякого мусора, рекламы и по охвату, чтобы повышать их ценность.

Ну и много другого функционала, который ты нигде не найдешь. В общем этот сервис может заменить работу любого СММщика Там можешь бесплатно протестировать.

 

Новые классные функции на Хуппи!

Отложка ВКонтакте! Поддерживает редактирование, удаление, повторы и маркировку
Удаление рекламы и постов с низким охватом (ака ВК-Панель)
Аккаунты Telegram для репостов, историй и постинга в группы от их имени
Загрузка фото для комментариев к постам (для ВК и ОК)
Поиск постов обзавелся сортировкой по вовлеченности и фильтром по длине видео

 

Сообщение отредактировал hooppy: 04 04 2024 - 03:46

Рекламный пост

[WebBot]

Всем привет!

В парсер постов ВК добавлена возможность сохранить JSON данные каждого отдельного поста. Для этого во входных настройках необходимо отметить в "Что качать из постов?" пункт "Данные поста в JSON".

Хочу заметить что это не тот громоздский JSON что выдает сам ВК, где куча ненужных данных и иногда приходится оргранизовывать двойные и тройные циклы что бы достать некоторые данные, а так же делать доп. запросы для получения дополнительных данных. Здесь своя максимально упрощенная структура и оставлено только самое важное.

VK-Magick - мощный кобмайн для ВК, эмулятор жизни акков, мультимессенджер, куча функций

[WebBot]

Всем привет.

 

Во входные нараметры шаблона добавлена настройка "HTTP(S) proxy для доступа к серверу лицензий". Если по какой-либо причине на вашем ПК на котором крутиться шаблон нет доступа к серверу лицензий и соответственно шаблон не может проверить лицензию, то вы можете воспользоваться данной настройкой указав там HTTP(S) Proxy через которую сайт доступен. Данная прокси используется исключительно при проверке лицензии и никак не влияет на ваши аккаунты (у которых могут быть свои прокси). SOCKS прокси в данной настройке не поддерживаются, только HTTP(S).

 

Формат записи прокси: login:password@host:port

VK-Magick - мощный кобмайн для ВК, эмулятор жизни акков, мультимессенджер, куча функций

[WebBot]

Всем привет.

В JSON данные постов в дополнение к уже имеющемуся параметру owner_id (вледелец стены) добавлены параметры from_id и signer_id.

Первый параметр (from_id) указывает на ID того кто разместил пост на стене. Может совпадать или не совпадать с owner_id, быть положительным (для юзеров) или отрицательным (для сообществ) числом.

Второй параметр (signer_id) становится не пустым если пост/объявление был опубликован из предложки паблика и админ указал что нужно подписать пост (указать ссылку на человека его предложившего). Параметр signer_id как раз и содержит ID человека предложившего пост/объявление.

VK-Magick - мощный кобмайн для ВК, эмулятор жизни акков, мультимессенджер, куча функций

[WebBot]

Всем привет!

 

Парсер постов ВКонтакте теперь поддерживает еще больше параметров (которые можно дописать в ссылках) для переопределения общих параметров заданных во входных настройках шаблона.

 

Формат добавления параметров к ссылкам:

http s://vk.com/supergroup?param1=value1&param2=value2&param3=value3&...

 

где paramX - переопределеяемый параметр, а valueX - значение переопределяемого параметра

 

Переопределенные параметры действуют только при парсинге ссылки для которой они заданы! Если какой-то параметр не переопределен, то он берется из входных настроек шаблона.

 

Доступные на данный момент параметры и их значения:

 

folder_prefix - префикс папок в которые сохраняются посты ( например: ссылка?folder_prefix=post )

 

period_days - сканировать записи ха последние N дней ( например: ссылка?period_days=100 )

 

max_posts - ограничить результат N записями ( например: ссылка?max_posts=200 )

 

filter - с какими записями на стене работать. Возможные значения - owner (записи владельца стены), others (записи не от владельца стены), all (все записи)

 

download - что выкачивать из постов. Возможные значения: text, image, video, doc_gif, doc_word, doc_excel, doc_pdf, doc_ppt, doc_psd, poll, link, img_links, orig_post_url, json . Если нужно указать сразу несколько значений, то они указываются через запятую (без доп пробелов)

 

images - фильтр по изображениям. Значение задается как от-до (N-M), где N и M целые числа от 0 до 10, N<=M ( например: ссылка?images=1-3 )

 

videos - фильтр по видео. Значение задается как от-до (N-M), где N и M целые числа от 0 до 10, N<=M ( например: ссылка?videos=0-10 )

 

vkvideos - фильтр по ВК-видео. Значение задается как от-до (N-M), где N и M целые числа от 0 до 10, N<=M ( например: ссылка?vkvideos=0-10 )

 

youtube - фильтр по YouTube видео. Значение задается как от-до (N-M), где N и M целые числа от 0 до 10, N<=M ( например: ссылка?youtube=0-10 )

 

vimeo - фильтр по Vimeo видео. Значение задается как от-до (N-M), где N и M целые числа от 0 до 10, N<=M ( например: ссылка?vimeo=0-10 )

 

audio - фильтр по аудио. Значение задается как от-до (N-M), где N и M целые числа от 0 до 10, N<=M ( например: ссылка?audio=0-10 ). Напоминаю что аудио на данный момент в шаблоне не качается (!!!), но отобрать посты его созаржищие можно!

 

docs - фильтр по доментам/файлам. Значение задается как от-до (N-M), где N и M целые числа от 0 до 10, N<=M ( например: ссылка?docs=0-10 )

 

docs_gif - фильтр по доментам/файлам типа анимированный GIF. Значение задается как от-до (N-M), где N и M целые числа от 0 до 10, N<=M ( например: ссылка?docs_gif=0-10 )

 

docs_word - фильтр по доментам/файлам типа Word. Значение задается как от-до (N-M), где N и M целые числа от 0 до 10, N<=M ( например: ссылка?docs_word=0-10 )

 

docs_excel - фильтр по доментам/файлам типа Excel. Значение задается как от-до (N-M), где N и M целые числа от 0 до 10, N<=M ( например: ссылка?docs_excel=0-10 )

 

docs_pdf - фильтр по доментам/файлам типа PDF. Значение задается как от-до (N-M), где N и M целые числа от 0 до 10, N<=M ( например: ссылка?docs_pdf=0-10 )

 

docs_ppt - фильтр по доментам/файлам типа PPT. Значение задается как от-до (N-M), где N и M целые числа от 0 до 10, N<=M ( например: ссылка?docs_ppt=0-10 )

VK-Magick - мощный кобмайн для ВК, эмулятор жизни акков, мультимессенджер, куча функций

[WebBot]

Всем привет.

В функцию получения токенов для аккаунтов ВК добавлена обработка редко выдаваемой на авторизации ошибки - flood control.
Мне ни разу никто не писал по поводу такой ошибки в этом шаблоне, но я точно знаю что такая в ВК с недавних пор бывает и на авторизации ( недавно добавлял ее обработку в VK-Botovod ).

VK-Magick - мощный кобмайн для ВК, эмулятор жизни акков, мультимессенджер, куча функций

[WebBot]

Шаблон актуален. Если есть вопросы - пишите в ТГ ( указан в самом низу старт-поста ).

VK-Magick - мощный кобмайн для ВК, эмулятор жизни акков, мультимессенджер, куча функций