Перейти к содержимому



Купить ссылку здесь
Фотография

Отвечаю на любые вопросы по API VKontakte. Спрашивай!

Форум ZiSMO.biz
30
Сообщений в теме: 30

OFFLINE Отправлено

MachinesWork
группа пользователя

    Пользователь

  • Cообщений: 400
  • Поинты: 33
  • Предупреждений: 0
  • Онлайн:13д 12ч 5м
27

Спрашивайте - отвечу! Могу-умею)

 

PS. Эта тема именно для программирования, поэтому отвечать буду на вопросы связанные с запросами к API и их программной реализацией


Сообщение отредактировал MachinesWork: 02 09 2016 - 11:16




    • 0
  • Наверх

OFFLINE Отправлено

Glor
группа пользователя

    C# Developer

  • Cообщений: 9 819
  • Друзей:223
  • Поинты: 266
  • Предупреждений: 0
  • Онлайн:186д 10ч 18м
752

Ok. Как получить больше 1000 результатов из поиска по пользователям? (API)

Я только придумал используя дату рождения, за каждый день если подставлять.


image1gif_2013935_22758455.gif

    • 0
  • Наверх

OFFLINE Отправлено

JavaDeveloper
группа пользователя

    Новичок

  • Cообщений: 114
  • Друзей:15
  • Поинты: 882
  • Предупреждений: 0
  • Онлайн:41д 10ч 17м
11

Ok. Как получить больше 1000 результатов из поиска по пользователям? (API)

Я только придумал используя дату рождения, за каждый день если подставлять.

за один запрос?


    • 0
  • Наверх

OFFLINE Отправлено

MachinesWork
группа пользователя

    Пользователь

  • Cообщений: 400
  • Поинты: 33
  • Предупреждений: 0
  • Онлайн:13д 12ч 5м
27

Ok. Как получить больше 1000 результатов из поиска по пользователям? (API)

Я только придумал используя дату рождения, за каждый день если подставлять.

именно сегментацией - чаще всего по ДР(опять же есть люди, у которых не указан) - или тогда уже полным перебором профилей, если критерий общедоступный) 

 

самый косяк при работе через поиск - где-то на 500-600-ом запросе ВК начинает возвращать пустые ответы - типа временный бан - около часа.


    • 0
  • Наверх

OFFLINE Отправлено

FTOH
группа пользователя

    Постоянный

  • Cообщений: 1 715
  • Друзей:72
  • Поинты: 3
  • Предупреждений: 70
226

Ok. Как получить больше 1000 результатов из поиска по пользователям? (API)

Я только придумал используя дату рождения, за каждый день если подставлять.

Почему бы не указать смещение?

ZxRp63B.png

 

P.S. Уже увидел

LDt7fJj.png


Сообщение отредактировал FTOH: 16 08 2016 - 18:41

    • 0
  • Наверх

OFFLINE Отправлено

Glor
группа пользователя

    C# Developer

  • Cообщений: 9 819
  • Друзей:223
  • Поинты: 266
  • Предупреждений: 0
  • Онлайн:186д 10ч 18м
752

за один запрос?

 

не обязательно, это уже второстепенный фактор

 

именно сегментацией - чаще всего по ДР(опять же есть люди, у которых не указан) - или тогда уже полным перебором профилей, если критерий общедоступный) 

 

самый косяк при работе через поиск - где-то на 500-600-ом запросе ВК начинает возвращать пустые ответы - типа временный бан - около часа.

 

значит я на верном пути был. Да бывает и раньше блокирует, если часто отправлять


image1gif_2013935_22758455.gif

    • 0
  • Наверх

OFFLINE Отправлено

JavaDeveloper
группа пользователя

    Новичок

  • Cообщений: 114
  • Друзей:15
  • Поинты: 882
  • Предупреждений: 0
  • Онлайн:41д 10ч 17м
11

не обязательно, это уже второстепенный фактор

а что мешает получать в цикле, просто увеличивая offset на 1000 каждый раз или я тебя не так понял?)


    • 0
  • Наверх

OFFLINE Отправлено

JavaDeveloper
группа пользователя

    Новичок

  • Cообщений: 114
  • Друзей:15
  • Поинты: 882
  • Предупреждений: 0
  • Онлайн:41д 10ч 17м
11

самый косяк при работе через поиск - где-то на 500-600-ом запросе ВК начинает возвращать пустые ответы - типа временный бан - около часа.

это как? просто пустота или какой-то код ошибки все же есть?


    • 0
  • Наверх

OFFLINE Отправлено

MachinesWork
группа пользователя

    Пользователь

  • Cообщений: 400
  • Поинты: 33
  • Предупреждений: 0
  • Онлайн:13д 12ч 5м
27

это как? просто пустота или какой-то код ошибки все же есть?

просто пустота - как будто ничего не найдено { response: [] }


    • 0
  • Наверх

OFFLINE Отправлено

Glor
группа пользователя

    C# Developer

  • Cообщений: 9 819
  • Друзей:223
  • Поинты: 266
  • Предупреждений: 0
  • Онлайн:186д 10ч 18м
752

это как? просто пустота или какой-то код ошибки все же есть?

 

эм, параметр offset не работает там, если он >=1000

Просто пустой результат возвращается)


Сообщение отредактировал Glor: 16 08 2016 - 18:30

image1gif_2013935_22758455.gif

    • 0
  • Наверх

OFFLINE Отправлено

Glor
группа пользователя

    C# Developer

  • Cообщений: 9 819
  • Друзей:223
  • Поинты: 266
  • Предупреждений: 0
  • Онлайн:186д 10ч 18м
752

это как? просто пустота или какой-то код ошибки все же есть?

 

это их защита, я думаю, чтобы не перегружали сервер


image1gif_2013935_22758455.gif

    • 0
  • Наверх

OFFLINE Отправлено

JavaDeveloper
группа пользователя

    Новичок

  • Cообщений: 114
  • Друзей:15
  • Поинты: 882
  • Предупреждений: 0
  • Онлайн:41д 10ч 17м
11

эм, параметр offset не работает там, если он >=1000

Просто пустой результат возвращается)

забавно)) я просто только с группами работал, там проблем нет подобных


    • 0
  • Наверх

OFFLINE Отправлено

Glor
группа пользователя

    C# Developer

  • Cообщений: 9 819
  • Друзей:223
  • Поинты: 266
  • Предупреждений: 0
  • Онлайн:186д 10ч 18м
752

забавно)) я просто только с группами работал, там проблем нет подобных

 

на поиск групп кстати аналогичная штука стоит, не больше 1000


image1gif_2013935_22758455.gif

    • 0
  • Наверх

OFFLINE Отправлено

MachinesWork
группа пользователя

    Пользователь

  • Cообщений: 400
  • Поинты: 33
  • Предупреждений: 0
  • Онлайн:13д 12ч 5м
27

забавно)) я просто только с группами работал, там проблем нет подобных

фишка всех методов, где в конце есть .search - действительно наиболее нагружающая операция, для groups.getById достаточно построить индексный файл и все хорошо, а вот с поиском по базе куда ресурсозатратнее, поэтому ВК и дает ограничения


    • 0
  • Наверх

OFFLINE Отправлено

JavaDeveloper
группа пользователя

    Новичок

  • Cообщений: 114
  • Друзей:15
  • Поинты: 882
  • Предупреждений: 0
  • Онлайн:41д 10ч 17м
11

на поиск групп кстати аналогичная штука стоит, не больше 1000

я имел в виду парсинг людей из группы, а не групп через поиск)


    • 0
  • Наверх

OFFLINE Отправлено

JavaDeveloper
группа пользователя

    Новичок

  • Cообщений: 114
  • Друзей:15
  • Поинты: 882
  • Предупреждений: 0
  • Онлайн:41д 10ч 17м
11

просто пустота - как будто ничего не найдено { response: [] }

хз, я паузы делаю по 300 млсек после каждого запроса и такой проблемы не было


    • 0
  • Наверх

OFFLINE Отправлено

MachinesWork
группа пользователя

    Пользователь

  • Cообщений: 400
  • Поинты: 33
  • Предупреждений: 0
  • Онлайн:13д 12ч 5м
27

хз, я паузы делаю по 300 млсек после каждого запроса и такой проблемы не было

попробуй сделать несколько тысяч запросов - схватишь такую вещь - даже с секундной паузой. Ну, по крайней мере, месяц назад это работало))) search'ем пользуюсь редко, поэтому возможно за месяц все поменялось


Сообщение отредактировал MachinesWork: 16 08 2016 - 18:40

    • 0
  • Наверх

OFFLINE Отправлено

JavaDeveloper
группа пользователя

    Новичок

  • Cообщений: 114
  • Друзей:15
  • Поинты: 882
  • Предупреждений: 0
  • Онлайн:41д 10ч 17м
11

search вообще не юзал. И так понял, что к счастью))

сталкивался только с парсингом людей из групп


    • 0
  • Наверх

OFFLINE Отправлено

BlackShadow
группа пользователя

    Пользователь

  • Cообщений: 200
  • Друзей:7
  • Поинты: 1
  • Предупреждений: 70
19

вы что! ипользуйте regular expressions - это стандарт парсинга в любом языке


    • 0
  • Наверх

OFFLINE Отправлено

MachinesWork
группа пользователя

    Пользователь

  • Cообщений: 400
  • Поинты: 33
  • Предупреждений: 0
  • Онлайн:13д 12ч 5м
27

вы что! ипользуйте regular expressions - это стандарт парсинга в любом языке

мы здесь обсуждаем работу с API - а там регулярки не нужны, ибо все нормальные быстрые либы для обработки json'а построены на поиске сабстрингов или чайлдов для xml. Для парсинга html я бы еще подумал, и то вопрос, так как проще эмулировать запрос, который в итоге вернет все равно структурированные данные


    • 0
  • Наверх