Парсинг контента в телеграм, обработка и варианты использования.
Делитесь своими идеями: как ещё можно использовать обработку контента в своих целях, монетизации, продвижении и тд.
Кому нужен скрипт бесплатно - ссылка на virustotal.com: проверка (помощь по установке, по запросу в личку).
Скрипт написан на питоне. Авторизация через любой вирт акк + api телеграм. Вступление в нужные сообщества (парсит каналы, группы - публичные и закрытые). Есть возможность добавить сразу несколько источников. Опциональный выбор времени парсинга в часах.
Выдает результат очищенный от не нужного мусора. Сразу готов к обработке с помощью нейронок, без дополнительных обработок. Держит контекст (нумерует сообщения + ответы). Сохраняет в тхт, помечает источник. Достает имена, юзернеймы и айди участников.
Алгоритм использования прост:
1. Сбор контента + авторов из нужных сообществ.
2. Анализ через нейросети исходя из задачи.
Монетизация скрипта не входит в планы.
Планы на обновление: хочу допилить простановку ссылок на каждый пост, автоматизацию через API с несколькими нейронками, и перенести управление скриптом в бота телеграм, для удобства. Как сделаю - выложу обновление.
Как я использую скрипт в связке с ИИ?!
1. Парсинг активных юзеров телеграм чатов (id+username).
2. Сбор номеров телефонов из рекламных объявлений в каналах \ чатах.
3. Анализ пересечений активной аудитории в сообществах телеграм.
4. Создание дайджеста новостей из разных источников для своих сообществ.
5. Сбор нужной информации по ключевым словам или тематике, поиск заказов.
6. Аналитика интересов сообщества + контент план с maximum вовлечённости.
7. Сбор контактов рекламодателей в сообществах конкурентов, их анализ.
8. Получение пошаговых инструкций из чатов поддержки, без изучения чата.
9. Создание портрета определенного юзера (интересы, темы, что предложить).
10. Изучение новых материалов исходя из трендов интересных для меня сообществ.
Если первые 3 пункта абсолютно понятны для всех, то на остальных можно и остановиться, сделав более подробный обзор. Обсудить варианты дополнительного использования и возможно выжать больше пользы из диалога на форуме. Каждый пункт, хочу описать отдельно в новых сообщениях этой ветки.
Начнем с п.4: Создание дайджеста новостей из разных источников Телеграм для своих сообществ.
Во многих городских или тематических каналах идёт повтор контента. Быть подписанным на 50 каналов и тратить 3 часа на чтение, мне неудобно, отсюда и родилась идея сбора всей информации, её систематизация и получение короткого дайджеста без повторов. В дальнейшем, размещение у себя в сообществах. Отклик от подписчиков радует. Многим заходит в конце рабочего дня, потратить 5 минут на изучение происходящего за день, вместо листать десятки каналов.
Да, есть такие боты (платные и бесплатные), которые из списка ваших каналов делают одну ленту. Но для меня это не интересно, читать 15 одинаковых постов с разным оформлением, из разных источников еще и целый день + есть необходимость в уникальном написании поста, а не копипаст из них. Поэтому действую так:
Для начала, выставляю на парсинг все нужные мне сообщества, за последние 12 - 24 часа. Получаю файл готовый для обработки нейросетью (то, что хочу автоматизировать). Скармливаю его нейронке и даю промт (пример):
В прикрепленном файле новости за последние 24 часа в Ростове-на-Дону. Создай короткий дайджест от третьего лица, только факты (что происходило, какие были происшествия, новости), исключи рекламу (куплю, продам, услуги и явные посты с меткой реклама). Создай мне пост в телеграм канал, расставь по одному тематическому эмодзи на каждый абзац. Заголовки сделай жирным (markdown). Не упоминай источники и авторов. Подведи итог дня, в конце поста предложи подписаться на канал @moykanal - чтобы ничего не пропустить и видеть только главные новости за прошедшие сутки!
Получаю готовый дайджест происходящего в городе + пост для своего канала:
Дайджест главных новостей Ростова-на-Дону за 24 часа
️ Магнитная буряСегодня, 15 апреля, Землю накрыла мощная магнитная буря. Пик активности прогнозируется к 20:00. Метеозависимым рекомендуют ограничить физические нагрузки и отложить важные дела.ДТП и ЧП на дорогах- На улице Шолохова столкнулись 5 автомобилей.- Водитель автобуса на Вавилова забыл поставить машину на ручник, пассажиры выпрыгивали из покатившегося транспорта. Водитель отстранён.- На ул. Западной в Аксае легковая машина улетела в кювет, тягач повредил отбойники. Пробки усугубились из-за ремонтных работ.Городские изменения- В Азове открыли новый фонтан на ул. Дзержинского.- В парке Горького завершается ремонт аварийной лестницы.- На ул. 56-Армии спилили огромное дерево, жители возмущены «облысением» города.Криминал и конфликты- На ул. Волкова водитель черной машины избил курьера, объехавшего его авто.- В Азове женщина украла сумку с деньгами и документами в пункте выдачи заказов.- На Северном бугай набросился на мужчину, который поздоровался с его женой.Экономика и быт- В Ростовской области 68% февральских браков завершились разводами.- Жители региона массово не платят ипотеку: просрочки превысили 300 млн рублей.- Власти усилили контроль за платной парковкой в Ленинском районе — штрафы выписывают без предупреждений.Общество и экология- В парке птиц «Малинки» лемуров заселили на остров после зимовки.- На окраине Батайска горел камыш у жилых домов на ул. Щербакова.- В заповеднике «Ростовский» расцвели тюльпаны и ирисы.Важные предупреждения- В Telegram распространяется вредоносная рассылка под видом фото. Не устанавливайте присланные приложения!- Юристы предупредили: сдача квартиры без уплаты налогов грозит штрафами или даже тюрьмой.Культура и события- В Ростов приехал «Поезд Победы» — интерактивный музей на колёсах. Посетить можно бесплатно, но билеты уже раскуплены.- Краеведы критикуют реконструкцию филармонии на Большой Садовой: проект оценили в 600 млн рублей, но архитектура вызывает споры.Итог дня:Ростовчане столкнулись с магнитными аномалиями, дорожными ЧП и бытовыми конфликтами. Не забывайте о безопасности и следите за новостями!Подписывайтесь на @ — только главные события без воды и рекламы!
Вот именно в него, я и хочу дописать возможность проставлять ссылки на источник (опционально). Чтобы если я хочу посмотреть, как горел камыш в Батайске, мог нажать на ссылку и попасть в канал с видео или фото. Идём дальше...
П.5 Сбор нужной информации по ключевым словам или тематике, поиск заказов.
Часто, некогда искать или следить за информацией (которая не требует мгновенной реакции), но есть необходимость получать её в сжатом виде (примеров использования масса - я покажу на своём). Чат по вакансиям онлайн, знакомая работает с ВБ и ОЗОН и находится в поиске новых заказов и подработки. Реализация такая:
1. Парсинг чата по нужной тематике, за 12 часов.
2. Сброс файла с 599 сообщениями в нейронку для анализа.
3. Получение из 599 сообщений (не читаем глазами) 7 вакансий.
4. Составление КП для заказчиков - отправка.
Пример промта:
В прикрепленном файле объявления о работе. Найди все уникальные предложения, связанные с работой вайлдберис(з), WB и Озон (Ozon). Только вакансии. Пришли мне список в такой структуре: Имя автора, контакты (если контакта нет, не присылай), короткое описание вакансии, оплата или зарплата.
Тут, добавление ссылок на сообщение автора (то, что хочу переделать в скрипте, решит вопрос с контактами - если нет юзернейма, можно будет перейти по ссылке и написать в личку. Получаем результат:
Вот список уникальных вакансий, связанных с Wildberries (WB), Ozon и Вайлдберис:
1. Анастасия КрутоваКонтакт: @anastasiiiya96Описание: Ищет менеджера для помощи с личным кабинетом в маркетплейсах (WB, Ozon), работа с инфографикой и рекламой.Оплата: Не указана.2. НадеждаКонтакт: @SazonovaNadezhdaОписание: Срочно требуется помощница для ведения личного кабинета WB (можно без опыта).Оплата: Не указана.3. DesignMasterOnlineКонтакт: @DesignMasterOnlineОписание: Нужен дизайнер карточек товаров для WB и Ozon. Требования: знание правил платформ, отсутствие шаблонов из Canva, соблюдение технических параметров.Оплата: Стабильная, сумма по договоренности.4. СветаКонтакт: @aneretciОписание: Ищет коллегу для проекта по инфографике (можно без опыта).Оплата: Не указана.5. Павел КосыревКонтакт: @pavel_kos3Описание: Требуется креативный дизайнер для проекта с одеждой (маркетплейсы).Оплата: Не указана.6. ПолинаКонтакт: @Diz_polina2Описание: Вакансии: таргетолог, редактор, иллюстратор (проекты для Ozon, HOFF и др.).Оплата: Обсуждается, требуется тестовое задание.7. Илья ВоронинКонтакт: @dannovichОписание: Нужен дизайнер карточек для Ozon и WB. Требования: оптимизация под обе платформы, соблюдение технических параметров.Оплата: По договоренности за каждую карточку.Примечание:- Телефоны в объявлениях не указаны.- Упомянутые вакансии уникальны, дубликаты (например, повторные сообщения от Надежды) исключены.- В списке отображены только предложения о найме, исключены услуги фрилансеров.
О том, что применять это можно где угодно, писать не буду. Однако очень эффективно собирал из пачки чатов, даже автомобили по нужному объему двигателя, году выпуска и городу. Тонко можно настраивать и получать только вишенку с торта.
-------------------
В следующих сообщениях, опишу остальные пункты использования скрипта на личном опыте.
Если тема интересна, включайтесь в диалог!