Важная информация
Показано с 1 по 3 из 3

Тема: Парсер страницы после отработки JS

  1. #1 Парсер страницы после отработки JS 
    Новичок
    Регистрация
    09.03.2015
    Сообщений
    4
    Сказал(а) спасибо
    1
    Поблагодарили 0 раз(а) в 0 сообщениях
    Добрый вечер, уважаемые форумчане. Прекрасно понимаю, что я не первый, кто задает подобный вопрос, но я уже третий день бьюсь над проблемой, и не могу найти решение.
    Суть такова:
    Есть сайты:
    tourvisor.ru, sletat.ru


    Есть поиск по сайтам URL

    [Ссылки могут видеть только зарегистрированные пользователи. ]

    [Ссылки могут видеть только зарегистрированные пользователи. ]

    На странице результатов поиска есть блок, который я хочу спарсить.
    Скажите, что использовать, что бы получить данные из этого блока? Я не прошу решить за меня эту задачу (хотя это бы был идеальный вариант ), а прошу указать в какую сторону копать. Можно ли это сделать при помощи cUrl ? Можно ли это сделать вообще?
    Буду благодарен за любую информацию\помощь\подсказки.
    Ответить с цитированием  
     

  2. #2  
    Администратор Аватар для rovico
    Регистрация
    17.04.2014
    Адрес
    Ярославль
    Сообщений
    245
    Сказал(а) спасибо
    17
    Поблагодарили 287 раз(а) в 162 сообщениях
    Записей в блоге
    2
    Вот теперь я вас понял. Надо было сразу попросить мне ссылки на материалы, которые Вы пытаетесь парсить.

    Смотрел по первому сайту:

    Тот блок, который Вам нужен необходимо получать из http[colon]//search3[dot]tourvisor[dot]ru/ajax_loader_result_new.php?request_id=133495890&&sr_width=800&tsresulttype=1&callback=jQuery110209133399119600654_1426258961110&_=1426258961112

    Но он, видимо, завязан на идентификатор поискового запроса и второй раз, после выполнения, не работает. Либо (надо проверить) работает только путём получения содержимого через AJAX

    Видимо, ваши роботы на VB открывали браузер, загружали туда содержимое страницы, дожидались, когда загрузится AJAX содержимое и уже его сканировали после того, как оно было загружено...

    Тут задача получается не тривиальная: Надо разобраться, как обратиться (и возможно ли это вообще) к search3[dot]tourvisor[dot]ru , чтобы запросить от него необходимые данные. Возможно, требуется подряд выполнить какие-то запросы.... Например - запрос на поиск по сссылке, которую Вы указали и запрос по ссылке AJAX загрузки.

    Может быть, туроператор сам сможет выдавать Вам данные по RSS или JSON, если у вас с ним есть партнёрские отношения...
    Ответить с цитированием  
     

  3. Пользователь сказал cпасибо:

    Free Admin (14.03.2015)

  4. #3  
    Администратор Аватар для rovico
    Регистрация
    17.04.2014
    Адрес
    Ярославль
    Сообщений
    245
    Сказал(а) спасибо
    17
    Поблагодарили 287 раз(а) в 162 сообщениях
    Записей в блоге
    2
    кстати, все AJAX скрипты - это Javascript. Интересно , node.js может выполнять скрипты со сторонних сайтов?...
    Ответить с цитированием  
     

Информация о теме
Пользователи, просматривающие эту тему

Эту тему просматривают: 1 (пользователей: 0 , гостей: 1)

Похожие темы

  1. Парсер SQlite на основе приложения SQLiteStudio
    от Виталий Тяшкевич в разделе Фриланс
    Ответов: 0
    Последнее сообщение: 08.03.2015, 02:38
  2. парсер для БД под Hibernate
    от Dimka_friend в разделе Java
    Ответов: 1
    Последнее сообщение: 03.02.2015, 16:22
  3. asus проблемы после переустановки
    от kid в разделе Операционные системы
    Ответов: 4
    Последнее сообщение: 22.10.2014, 17:07
  4. drupal: После обновления страницы с товаром на commerceBox - товар не отображается
    от Максим Логвиненко в разделе Системы управления контентом
    Ответов: 6
    Последнее сообщение: 13.07.2013, 18:56
  5. Продаю Парсер 2Гис (2Gis, ДубльГис)
    от imported_base2gis в разделе Программы и скрипты
    Ответов: 0
    Последнее сообщение: 09.04.2013, 18:49
Ваши права
  • Вы не можете создавать новые темы
  • Вы не можете отвечать в темах
  • Вы не можете прикреплять вложения
  • Вы не можете редактировать свои сообщения
  •