Перейти к содержимому



Купить ссылку здесь
Фотография
- - - - -

Создать нормальный парсер по городам ВК

Форум ZiSMO.biz
7
Сообщений в теме: 7

OFFLINE Отправлено

denimtor
группа пользователя

    Новичок

  • Cообщений: 8
  • Поинты: 8
  • Предупреждений: 0
  • Онлайн:
0

Создаем Базу по городу включая парсинг всех и вся.

 

Для этого надо спарсить из поиска ВК людей, т.к. ВК не отдает больше 1000 человек, то их надо разделить, чтобы спарсить всех в городе. Прога должна автоматически делать следующие действия.

 

Если в населенном пункте:
а. меньше 1000 человек – разделять не надо

б. от 1000 до 2000 – разделяем по полу

в. от 2000 до 12 000 – разделяем по месяцам рождения

г. от 12 000 до 24 000 – разделяем по полу  и месяцам рождения, т.е. сначала январь мужчины, потом январь женщины, затем февраль мужчины и т.д.

д. от 24 000 до 365 000 – разделяем по датам рождения без указания года рождения

е. от 365 000 до 730 000 – разделяем по полу и датам рождения

ж. от 730 000 до бесконечности – разделяем по полу, датам рождения и по возрасту от и до, причем сначала надо спарсить первую тысячу без разделения по возрасту, парсер спарсит самых популярных, это нужно для того, чтобы спарсить тех, кто не установил свой год рождения. Затем надо объеденить результаты в один и убрать дубликаты. 
 

На выходе вы получите все ИД ВК нужного вам населенного пункта. Теперь, чтобы база была более полной, нужно спарсить  для этих ИД ВК их email, номера телефонов, Skype, Instagram, FaceBook, Twitter, LiveJournal и т.д.

Хорошо было бы загрузить список ID ВК а на выходе получить CSV табличку вида | ID | Пол | Дата Рождения | Год рождения | Имя | Фамилия | email | Номер телефона 1 | Номер телефона 2 | Skype | Instagram | FaceBook | Twitter | LiveJournal | Дата регистрации | Дата последнего Онлайн | Если какого то параметра нет то пустая ячейка. Либо просто указать город и на выходе программа, используя алгоритм разделения выдачи, который указан выше, выдаст ПОЛНУЮ БАЗУ ДАННЫХ по этому городу со всеми приведенными выше ячейками. Так можно сделать? Кто возьмется? По мне так отличный парсер по городам получился бы.





    • 0
  • Наверх
  • Ответить

OFFLINE Отправлено

Zhigan
группа пользователя

    на стиле

  • Cообщений: 4 101
  • Друзей:29
  • Поинты: 50
  • Предупреждений: 0
  • Онлайн:55д 9ч 17м
55

Это твоя идея для разработчиков? Думаешь тебе возьмут, и так бесплатно все сделают?


    • 0
  • Наверх
  • Ответить

OFFLINE Отправлено

Евгений Чайкин
группа пользователя

    Пользователь

  • Cообщений: 327
  • Друзей:16
  • Поинты: 14
  • Предупреждений: 70
32

Создаем Базу по городу включая парсинг всех и вся.

 

Для этого надо спарсить из поиска ВК людей, т.к. ВК не отдает больше 1000 человек, то их надо разделить, чтобы спарсить всех в городе. Прога должна автоматически делать следующие действия.

 

Если в населенном пункте:
а. меньше 1000 человек – разделять не надо

б. от 1000 до 2000 – разделяем по полу

в. от 2000 до 12 000 – разделяем по месяцам рождения

г. от 12 000 до 24 000 – разделяем по полу  и месяцам рождения, т.е. сначала январь мужчины, потом январь женщины, затем февраль мужчины и т.д.

д. от 24 000 до 365 000 – разделяем по датам рождения без указания года рождения

е. от 365 000 до 730 000 – разделяем по полу и датам рождения

ж. от 730 000 до бесконечности – разделяем по полу, датам рождения и по возрасту от и до, причем сначала надо спарсить первую тысячу без разделения по возрасту, парсер спарсит самых популярных, это нужно для того, чтобы спарсить тех, кто не установил свой год рождения. Затем надо объеденить результаты в один и убрать дубликаты. 
 

На выходе вы получите все ИД ВК нужного вам населенного пункта. Теперь, чтобы база была более полной, нужно спарсить  для этих ИД ВК их email, номера телефонов, Skype, Instagram, FaceBook, Twitter, LiveJournal и т.д.

Хорошо было бы загрузить список ID ВК а на выходе получить CSV табличку вида | ID | Пол | Дата Рождения | Год рождения | Имя | Фамилия | email | Номер телефона 1 | Номер телефона 2 | Skype | Instagram | FaceBook | Twitter | LiveJournal | Дата регистрации | Дата последнего Онлайн | Если какого то параметра нет то пустая ячейка. Либо просто указать город и на выходе программа, используя алгоритм разделения выдачи, который указан выше, выдаст ПОЛНУЮ БАЗУ ДАННЫХ по этому городу со всеми приведенными выше ячейками. Так можно сделать? Кто возьмется? По мне так отличный парсер по городам получился бы.

Не та тема, за финансы готов сделать с выкатом в cvs, пишу на php. Само задание достаточно подробное, это большой плюс)

Можно залить скрипт на хостинг, всё в базу, а дальше админка с настройкой вывода.

Тоесть сегодня хочу получить аки инстаграмм всех девушек от 16 до 18 лет со статусов в активном поиске. Нажали кнопку и он отдаёт файлик только с теми кого указали.

А завтра что-то другое нужно будет, значит другой уже файл скачает с того же места)


Сообщение отредактировал Евгений Чайкин: 27 06 2016 - 02:36

    • 0
  • Наверх
  • Ответить

OFFLINE Отправлено

Saidkhan
группа пользователя

    Самые дешевые IPv6 прокси goo.gl/B5MUK9

  • Cообщений: 9 037
  • Друзей:145
  • Поинты: 4 066
  • Предупреждений: 0
  • Онлайн:72д 3м
388
Идея , конечно , хорошая. И можно воплотить в жизнь - заказав программу у кодеров.

Сообщение отредактировал Saidkhan: 27 06 2016 - 03:51

proxy1.gif
    • 0
  • Наверх
  • Ответить

OFFLINE Отправлено

denimtor
группа пользователя

    Новичок

  • Cообщений: 8
  • Поинты: 8
  • Предупреждений: 0
  • Онлайн:
0

Ну идея моя, в том плане, что мне необходим такой парсер. Сам я не кодер ни разу, больше ремонтом и железками занимаюсь. Разработка шаблона ZennonPoster-а с такими параметрами стоит 5 баксов, не думаю, что программа должна стоить больше. В принципе если кто сделает бесплатно, то на этом можно не плохо пропиарить другие свои программы. А так 5 баксов легко бы отдал за такой парсер. Просто не очень хочется с ZennonPosterom возиться.


    • 0
  • Наверх
  • Ответить

OFFLINE Отправлено

KemperenoК
группа пользователя

    smmquick.ru Продвижение ВК / INST

  • Cообщений: 38 774
  • Друзей:916
  • Поинты: 3 257
  • Предупреждений: 0
  • Онлайн:301д 7ч
1 720

Переместил в нужный раздел.


ab84124cff58.gif 25.05 hstoorgfil_6794682_23572992.gif 06.02cf8eb5f80884.png 04.03 536eea51bd83.png 09.02

    • 0
  • Наверх
  • Ответить

OFFLINE Отправлено

denimtor
группа пользователя

    Новичок

  • Cообщений: 8
  • Поинты: 8
  • Предупреждений: 0
  • Онлайн:
0

Есть еще много разных интересных идей для создания программ. Есть тут кодеры? Отпишитесь в личку, вдруг будет интересно заняться))


    • 0
  • Наверх
  • Ответить

OFFLINE Отправлено

maxxxxim
группа пользователя

    Пользователь

  • Cообщений: 234
  • Друзей:14
  • Поинты: 5
  • Предупреждений: 0
  • Онлайн:3д 11ч 28м
12

Есть еще много разных интересных идей для создания программ. Есть тут кодеры? Отпишитесь в личку, вдруг будет интересно заняться))

Нету за 5 баксов кодеров, они умерли все с голоду пока тебя ждали с 5 баксами.


    • 0
  • Наверх
  • Ответить



Напишите свое сообщение