Перейти к содержимому



Купить ссылку здесь
Фотография

Отвечаю на любые вопросы по API VKontakte. Спрашивай!

Форум ZiSMO.biz
30
Сообщений в теме: 30

OFFLINE Отправлено

MachinesWork
группа пользователя

    Уровень 1

  • Cообщений: 416
  • Поинты: 15
  • Предупреждений: 0
  • Онлайн:13д 16ч 20м
27

Спрашивайте - отвечу! Могу-умею)

 

PS. Эта тема именно для программирования, поэтому отвечать буду на вопросы связанные с запросами к API и их программной реализацией


Сообщение отредактировал MachinesWork: 02 09 2016 - 11:16




    • 0
  • Наверх

ONLINE Отправлено

Glor
группа пользователя

    NO MERCY

  • Cообщений: 11 007
  • Друзей:344
  • Поинты: 18 982
  • Предупреждений: 0
  • Онлайн:244д 11ч
1 051

Ok. Как получить больше 1000 результатов из поиска по пользователям? (API)

Я только придумал используя дату рождения, за каждый день если подставлять.


    • 0
  • Наверх

ONLINE Отправлено

JavaDeveloper
группа пользователя

  • Cообщений: 170
  • Друзей:9
  • Поинты: 1 148
  • Предупреждений: 0
  • Онлайн:65д 7ч 7м
14

Ok. Как получить больше 1000 результатов из поиска по пользователям? (API)

Я только придумал используя дату рождения, за каждый день если подставлять.

за один запрос?


    • 0
  • Наверх

OFFLINE Отправлено

MachinesWork
группа пользователя

    Уровень 1

  • Cообщений: 416
  • Поинты: 15
  • Предупреждений: 0
  • Онлайн:13д 16ч 20м
27

Ok. Как получить больше 1000 результатов из поиска по пользователям? (API)

Я только придумал используя дату рождения, за каждый день если подставлять.

именно сегментацией - чаще всего по ДР(опять же есть люди, у которых не указан) - или тогда уже полным перебором профилей, если критерий общедоступный) 

 

самый косяк при работе через поиск - где-то на 500-600-ом запросе ВК начинает возвращать пустые ответы - типа временный бан - около часа.


    • 0
  • Наверх

OFFLINE Отправлено

FTOH
группа пользователя

    Постоянный

  • Cообщений: 1 715
  • Друзей:72
  • Поинты: 3
  • Предупреждений: 70
226

Ok. Как получить больше 1000 результатов из поиска по пользователям? (API)

Я только придумал используя дату рождения, за каждый день если подставлять.

Почему бы не указать смещение?

ZxRp63B.png

 

P.S. Уже увидел

LDt7fJj.png


Сообщение отредактировал FTOH: 16 08 2016 - 18:41

    • 0
  • Наверх

ONLINE Отправлено

Glor
группа пользователя

    NO MERCY

  • Cообщений: 11 007
  • Друзей:344
  • Поинты: 18 982
  • Предупреждений: 0
  • Онлайн:244д 11ч
1 051

за один запрос?

 

не обязательно, это уже второстепенный фактор

 

именно сегментацией - чаще всего по ДР(опять же есть люди, у которых не указан) - или тогда уже полным перебором профилей, если критерий общедоступный) 

 

самый косяк при работе через поиск - где-то на 500-600-ом запросе ВК начинает возвращать пустые ответы - типа временный бан - около часа.

 

значит я на верном пути был. Да бывает и раньше блокирует, если часто отправлять


    • 0
  • Наверх

ONLINE Отправлено

JavaDeveloper
группа пользователя

  • Cообщений: 170
  • Друзей:9
  • Поинты: 1 148
  • Предупреждений: 0
  • Онлайн:65д 7ч 7м
14

не обязательно, это уже второстепенный фактор

а что мешает получать в цикле, просто увеличивая offset на 1000 каждый раз или я тебя не так понял?)


    • 0
  • Наверх

ONLINE Отправлено

JavaDeveloper
группа пользователя

  • Cообщений: 170
  • Друзей:9
  • Поинты: 1 148
  • Предупреждений: 0
  • Онлайн:65д 7ч 7м
14

самый косяк при работе через поиск - где-то на 500-600-ом запросе ВК начинает возвращать пустые ответы - типа временный бан - около часа.

это как? просто пустота или какой-то код ошибки все же есть?


    • 0
  • Наверх

OFFLINE Отправлено

MachinesWork
группа пользователя

    Уровень 1

  • Cообщений: 416
  • Поинты: 15
  • Предупреждений: 0
  • Онлайн:13д 16ч 20м
27

это как? просто пустота или какой-то код ошибки все же есть?

просто пустота - как будто ничего не найдено { response: [] }


    • 0
  • Наверх

ONLINE Отправлено

Glor
группа пользователя

    NO MERCY

  • Cообщений: 11 007
  • Друзей:344
  • Поинты: 18 982
  • Предупреждений: 0
  • Онлайн:244д 11ч
1 051

это как? просто пустота или какой-то код ошибки все же есть?

 

эм, параметр offset не работает там, если он >=1000

Просто пустой результат возвращается)


Сообщение отредактировал Glor: 16 08 2016 - 18:30

    • 0
  • Наверх

ONLINE Отправлено

Glor
группа пользователя

    NO MERCY

  • Cообщений: 11 007
  • Друзей:344
  • Поинты: 18 982
  • Предупреждений: 0
  • Онлайн:244д 11ч
1 051

это как? просто пустота или какой-то код ошибки все же есть?

 

это их защита, я думаю, чтобы не перегружали сервер


    • 0
  • Наверх

ONLINE Отправлено

JavaDeveloper
группа пользователя

  • Cообщений: 170
  • Друзей:9
  • Поинты: 1 148
  • Предупреждений: 0
  • Онлайн:65д 7ч 7м
14

эм, параметр offset не работает там, если он >=1000

Просто пустой результат возвращается)

забавно)) я просто только с группами работал, там проблем нет подобных


    • 0
  • Наверх

ONLINE Отправлено

Glor
группа пользователя

    NO MERCY

  • Cообщений: 11 007
  • Друзей:344
  • Поинты: 18 982
  • Предупреждений: 0
  • Онлайн:244д 11ч
1 051

забавно)) я просто только с группами работал, там проблем нет подобных

 

на поиск групп кстати аналогичная штука стоит, не больше 1000


    • 0
  • Наверх

OFFLINE Отправлено

MachinesWork
группа пользователя

    Уровень 1

  • Cообщений: 416
  • Поинты: 15
  • Предупреждений: 0
  • Онлайн:13д 16ч 20м
27

забавно)) я просто только с группами работал, там проблем нет подобных

фишка всех методов, где в конце есть .search - действительно наиболее нагружающая операция, для groups.getById достаточно построить индексный файл и все хорошо, а вот с поиском по базе куда ресурсозатратнее, поэтому ВК и дает ограничения


    • 0
  • Наверх

ONLINE Отправлено

JavaDeveloper
группа пользователя

  • Cообщений: 170
  • Друзей:9
  • Поинты: 1 148
  • Предупреждений: 0
  • Онлайн:65д 7ч 7м
14

на поиск групп кстати аналогичная штука стоит, не больше 1000

я имел в виду парсинг людей из группы, а не групп через поиск)


    • 0
  • Наверх

ONLINE Отправлено

JavaDeveloper
группа пользователя

  • Cообщений: 170
  • Друзей:9
  • Поинты: 1 148
  • Предупреждений: 0
  • Онлайн:65д 7ч 7м
14

просто пустота - как будто ничего не найдено { response: [] }

хз, я паузы делаю по 300 млсек после каждого запроса и такой проблемы не было


    • 0
  • Наверх

OFFLINE Отправлено

MachinesWork
группа пользователя

    Уровень 1

  • Cообщений: 416
  • Поинты: 15
  • Предупреждений: 0
  • Онлайн:13д 16ч 20м
27

хз, я паузы делаю по 300 млсек после каждого запроса и такой проблемы не было

попробуй сделать несколько тысяч запросов - схватишь такую вещь - даже с секундной паузой. Ну, по крайней мере, месяц назад это работало))) search'ем пользуюсь редко, поэтому возможно за месяц все поменялось


Сообщение отредактировал MachinesWork: 16 08 2016 - 18:40

    • 0
  • Наверх

ONLINE Отправлено

JavaDeveloper
группа пользователя

  • Cообщений: 170
  • Друзей:9
  • Поинты: 1 148
  • Предупреждений: 0
  • Онлайн:65д 7ч 7м
14

search вообще не юзал. И так понял, что к счастью))

сталкивался только с парсингом людей из групп


    • 0
  • Наверх

OFFLINE Отправлено

BlackShadow
группа пользователя

    Уровень 1

  • Cообщений: 200
  • Друзей:7
  • Поинты: 11
  • Предупреждений: 70
20

вы что! ипользуйте regular expressions - это стандарт парсинга в любом языке


    • 0
  • Наверх

OFFLINE Отправлено

MachinesWork
группа пользователя

    Уровень 1

  • Cообщений: 416
  • Поинты: 15
  • Предупреждений: 0
  • Онлайн:13д 16ч 20м
27

вы что! ипользуйте regular expressions - это стандарт парсинга в любом языке

мы здесь обсуждаем работу с API - а там регулярки не нужны, ибо все нормальные быстрые либы для обработки json'а построены на поиске сабстрингов или чайлдов для xml. Для парсинга html я бы еще подумал, и то вопрос, так как проще эмулировать запрос, который в итоге вернет все равно структурированные данные


    • 0
  • Наверх