Важные страницы вебмастер. Можно ли это автоматизировать и как

Мы часто сталкиваемся с тем, что клиент обновляет сайт и не говорит нам об этом. Конечно, он вроде бы должен поставить нас в известность, но с другой стороны — все, мол, уже на сайте, — иди и смотри. И здесь возникает вопрос: как мгновенно узнавать об изменениях на сайтах сразу всех своих проектов? К счастью, есть простое решение .

Начать стоит с понимания, что именно мы хотим отслеживать: это может быть прайс-лист, который обновляется в режиме онлайн, как только добавлен новый товар, или это просто список категорий, чтобы быть в курсе появления новых разделов на сайте клиента, — что угодно. Для примера, возьмем любой магазин, который не относится к нашим клиентам, и у которого есть прайс-лист. Пускай это будет магазин детских товаров. Так же, как показано на примере ниже, вы можете выделить и настроить отслеживание изменений для списка категорий сайта, для товаров отдельного раздела, для обновления блога, для комментариев, и так далее.

Настраиваем email-уведомления об обновлениях на сайте с помощью Kimono

Следуем по пунктам:

1. Установите приложение для Chrome — Kimono .
2. Зайдите на страницу прайс-листа и кликните по иконке Kimono в правом верхнем углу браузера.
3. Кликните по любому названию товара из списка. Дополнительно нажмите галочки на других товарах, чтобы выделить их все. Так как нам важно именно изменение списка товаров, цены можем не выделять. 4. Прокрутите страницу вниз и проверьте, все ли поля выделены. Если нет — дополнительно выделите.
   5. Нажмите «done » в правом верхнем углу.
   6. Введите название API и перейдите по ссылке. Для примера, назовем «PriceUpdate».
   
   7. В интерфейсе Kimono перейдите на вкладку Crawl Setup и выберите частоту обновления API. Достаточно проверять изменения раз в день.
   8. Настройте email-уведомления. Для этого перейдите на вкладку Use Data и кликните Email Alerts.
   9. Введите email. Письмо придет только в том случае, если в прайсе что-то изменилось. Обратите внимание, что можно ввести несколько адресов электронной почты. К примеру, указать адреса электронной почты всех участников проекта, которые должны знать об изменениях на сайте.
   Письмо от Kimono будет выглядеть так:
   Поздравляю! Теперь Kimono оповестит вас о том, что среди отслеживаемых элементов на сайте есть изменения. Если речь идет о сайте с пятью категориями и 20 товарами, вам может быть достаточно одного уведомления. Но если речь идет об интернет-магазине с огромным количеством товаров и категорий, здесь уже «на глаз» изменения не определить, и нужно сравнение данных.

Как определить, что именно изменилось на сайте: сравнение данных в Google SpreadSheets

Первое, что необходимо сделать — это установить дополнение Kimono для таблиц Google. Для этого нужно перейти в таблице на Дополнения → Установить дополнения и ввести в поле поиска «Kimono».
Kimono установили. Что дальше? Следуем: Дополнения → Kimono → Connect to Kimono и выбираем API.
2. Данные из API будут выгружены на отдельный лист. Создаем копию этого листа и переименовываем его, к примеру, на «0». Это наша точка отсчета — именно эти данные мы будем сравнивать с обновленными данными по сайту.
3. На первом листе располагаем формулу сравнения данных листа «0» и листа «Kimono_PriceUpdate_collection1». Здесь может быть три ситуации:

• изменился URL, но название осталось прежним — к примеру, если возникла проблема с CMS сайта и к URL добавились ненужные GET-параметры;
• изменилось название, но не URL — переименовали категорию или товар;
• изменилось и то, и другое, — то есть это новый товар или новая категория.

Нам интересны все три ситуации, поэтому мы учтем их все в формуле сравнения товаров.
Саму формулу и то, как все выглядит, можно посмотреть по ссылке . Чтобы иметь права редактирования документа, выберите Файл → Создать копию. Познакомиться с формулами для Google SpreadSheets можно .

Пришло уведомление по email. Что дальше?

Если вы получили уведомление от Kimono о том, что на сайте обнаружены изменения, необходимо сравнить новый API со старыми данными. Для этого вы переходите в таблицу на лист данных от Кимоно (в нашем случае — на лист «Kimono_PriceUpdate_collection1», не на «0»!) и обновляете данные — вот так:

Имея развернутые данные по всем товарам, можно предпринимать необходимые действия — поставить ТЗ по исправлению URL, если появились ошибки в CMS, или расширить семантическое ядро для новых товаров или категорий, которые появились на сайте, или добавить новые товары в текущую рекламную кампанию. Главное, не забудьте скопировать измененные данные на лист «0», так как теперь именно они становятся точкой отсчета.

Хабрахабр, привет!

Возникала ли у вас когда-нибудь потребность отслеживать появление какой-нибудь информации на сайте, особенно если там нет рассылки новостей и RSS-канала!? Приходилось ли ожидать, когда опубликуют результаты экзамена, новые вакансии, тендеры, обновят прайс.

В нашей компании, занимающейся большую часть времени пенсионно-страховым консалтингом, такая потребность возникает постоянно. При этом тратить время на регулярное посещение сайтов грустно, а найти подходящий инструмент, которому можно было бы поручить такого рода задачу не получалось: либо надо было устанавливать отдельную программу, либо не устраивало отображение результата. Поэтому было решено создать сервис, который бы позволял отслеживать все изменения на сайтах. И не просто отслеживать и получать уведомления об изменениях, но и видеть сами изменения прямо на сайте.

Результатом разработки стал сервис Websvodka.ru , о котором здесь кратко расскажу. Возможно, вам он тоже сможет пригодиться.

Основные функции Websvodka.ru :
- Отслеживание и отображение изменений на веб-страницах.
- Контроль добавления и удаления страниц сайтов (отслеживаются гиперссылки на существующих страницах).
- Оповещение об изменениях результатов по поисковым запросам.
- Отслеживание размеров размещенных в интернете файлов.

1. Изменения на странице
После постановки страницы на контроль можно видеть все происходящие с ней изменения. На скриншоте ниже добавленная фраза выделена зелёным, а удалённая – красным. Контролируемая страница rbc.ru :

Изменения на habrahabr.ru/posts/software/ :

Кроме того, сервису можно поручить отслеживать случаи появления или исчезновения на странице отдельных слов и словосочетаний.

2. Наблюдение за сайтом
А так выглядит отчет о добавлении и удалении страниц на сайте ixbt.com :

Заинтересовавшие страницы можно открыть в новой вкладке, кликнув изображение глаза, или добавить в список контролируемых, нажав на флажок. Они автоматически появятся в соответствующем разделе.

3. Поисковые запросы
Нажимается кнопка «Добавить», вводится интересующий запрос, и сервис будет показывать выбывшие и новые результаты поиска, а также изменения их позиций в выдаче.

4. Размеры файлов
Добавлять файлы для мониторинга и получать результаты отслеживания можно точно так же, как и для остальных типов контента. Задается ссылка на файл, и сервис будет информировать об изменениях его размера, даты изменений фиксируются.

Рассмотренные четыре возможности по отслеживанию изменений контента сайтов отражают основной имеющийся функционал сервиса Websvodka.ru . Для повышения надежности и скорости работы модули загрузки контента, анализа страниц и хранения результатов функционируют параллельно и размещены на разных серверах. Работа над расширением возможностей продолжается.

Будем рады, если сервис поможет в решении ваших задач!

P.S. Как это работает:
После регистрации на Websvodka.ru и входа в систему (для простого ознакомления с функционалом можно и не регистрироваться, а выбрать режим «Демоверсия», но тогда ваши действия на сайте не будут сохраняться), переходим в раздел «Рабочий стол», выбираем нужную категорию, нажимаем кнопку «Добавить» и вводим адрес того, за чем надо понаблюдать. Далее Websvodka.ru регулярно проверяет интересующий объект и уведомляет вас о его изменениях (можно настроить уведомления по e-mail). Использование основного функционала бесплатно. Сами изменения можно увидеть, войдя в нужную категорию раздела «Рабочий стол».

Иногда бывает необходимо быть в курсе изменений некоторых WEB страниц произвольных сайтов. Но что делать если сайт не имеет RSS или других видов автоматизированного оповещения об изменениях сайта. В этом случае требуется инструмент который откроет сайт на нужной странице и посмотрит изменилась ли она с предыдущего посещения и если изменилась каким-то образом оповестить заинтересованное лицо.

На самом деле есть несколько разных видов такой услуги.

1. Плагин для Firefox
2. Программа которая запускается и отслеживание нужные сайты
3. Онлайн сервисы которые дают возможность прописать эти страницы и условия контроля и получать оповещения при обнаружении каждого изменения.

1) Плагины FireFox

https://addons.mozilla.org/en-US/firefox/addon/alertbox/
AlertBox 0.4.6.20111013
by Ajit K
Add, manage and track changes in web pages. Get alerts for important changes.

https://addons.mozilla.org/ru/firefox/addon/update-scanner/
Update Scanner 3.1.10
автор sneakypete81
Следит за обновлениями web-страниц. Полезно для web-сайтов, которые не имеют лент новостей (Atom или RSS).

https://addons.mozilla.org/en-us/firefox/addon/sitedelta/
SiteDelta 0.13.1
by Andreas Schierl
Notifies when websites are changed and highlights the changes since last visit.

ВНИМАНИЕ
Были сообщения что Update Scanner и Site Delta установленные и активированные одновременно могут конфликтовать и завешивать браузер.

2) Список программ которые удалось нагуглить выглядит примерно так:
http://aignes.net/ Платный с триалом.
http://www.activeurls.com/ Платный с триалом.
http://www.eldos.org/timelyweb/timelyweb.html Бесплатный
http://www.eyeonweb.com/eowwin.html Платный с триалом.
http://www.cmcode.co.uk/webmon/ Бесплатный
http://www.right-soft.com/webmon/ Платный с триалом.
http://www.xemico.com/newswatch/ Бесплатный с регистрацией, но автор опубликовал код DC8AF-00029-AFAB0
http://www.ykwong.com/chk4new.html Бесплатный

3) WEB сервисы

http://www.ChangeDetection.com/monitor.html Бесплатный
http://feed43.com/ Бесплатный и платный расширенный варианты
http://www.rsspect.com/ Бесплатна урезанная версия.

Для пользователей Linux есть такие инструменты:
http://baruch.ev-en.org/proj/websec/ Бесплатный в исходниках

Базируется на предыдущем но написан на С++ и имеет GUI интерфейс (KDE)
http://www.antbear.org/urlchange/urlprj.html
Проверяет только время на странице а не реальное её содержимое, поэтому применима для немногих сайтов.
Фактически экстрактор интересующих частей страницы. Программа только экспортирует содержимое страницы используя регулярные выражения и не ищет изменения. Далее можно использовать diff. :)
http://lab.madscience.nl/wrep/
Язык для преобразования web страниц во что-то другое. Может быть использован для создания сводной страницы изменений на других сайтах.

Хотите знать, когда будет падение цен на торговых сайтах? Когда кто-то прислал новое сообщение в форуме? Когда ваш любимый сайт обновления не предлагает канал? Все эти сценарии использования и многое другое крик о программах, которые могут контролировать изменения веб-сайтов .

Программа, которая контролирует обновления сайта ? Она, очевидно, должна проверять сайт в интервалах определённого времени и сравнивать активное состояние с предыдущим состоянием на сайте. Обновления сайта должны быть посланы на компьютер пользователя.Приятно иметь возможности для мониторинга сайта,выделения изменений на веб-сайтах, способности игнорировать незначительные изменения сайта (например, дату и время, которые меняются каждую минуту) или регистрация функциональности.
Ниже приводится список пяти инструментов для мониторинга веб-сайтов. Три из этих инструментов дополнения Firefox, один сервис онлайн-и последнее программное обеспечение для операционной системы Windows.

Check4Change дополнение Firefox изменение поведения сайта . Вероятно, это самые основные инструменты для мониторинга сайтов, которые рассматриваются в этой статье. Пользователь может выбрать текст на веб-сайтах и открыть контекстное меню Check 4 Change по щелчку правой кнопкой мыши. Именно там можно определить интервал для мониторинга изменений веб-сайтов . Обновления сайтов будут отображаться в закладке сайта, который находится под контролем. Это одна из самых больших слабостей этого дополнения. Сайт должен быть открыт для контроля Firefox дополнения. Предоставляются несколько вариантов дополнения. Можно изменить интервалы и настроить несколько параметров, которые включают уведомление воспроизведения звуков, всплывающие окна или окно на передний план. Дополнение лучше всего использовать для мониторинга сайтов , которые требуют проверки подлинности.Например, дополнение может быть интересным для мониторинга веб-счетов по электронной почте.
Update Scanner

Update Scanner использует иной подход , чем Check 4 Change.Программа автоматически отслеживает полный веб-сайт для изменения с возможностью игнорировать номера и незначительные изменения. Другая выгода от использования этого мониторинга сайта является то, что сайты, которые контролируются не должны быть открыты для того, чтобы выполнить обновление проверки.
Интервал проверки для изменений сайта имеет значение один раз в день по умолчанию. Это значение может быть изменено на минимум каждые 5 минут.Дополнение имеет иконку в строке состояния Firefox. Щёлкните левой кнопкой мыши на этот значок открывается боковая панель, которая отображает все сайты, которые контролируются дополнением.Боковая панель содержит кнопки для выполнения ручной проверки, открыть один из мониторингов веб-сайтов и доступ к предпочтениям дополнения, которые позволяют пользователю настроить уведомления.

Доступные звуки и всплывающие уведомления.

SiteDelta третье(и последнее) дополнение Firefox для мониторинга веб-сайтов . Дополнение сначала покажется немного запутанным, так как не существует очевидного способа добавить сайты, которые должны быть проверены.Дополнение начинает мониторинг изменения веб-сайтов , если пользователь нажимает иконку в строке состояния Firefox. Активные URL затем будут добавлены в список страниц, которые контролируются дополнением. Значок будет светиться зеленым цветом, если активный сайт контролируется ею. Щёлкните правой кнопкой мыши открывается контекстное меню, которое можно использовать для настройки мониторинга в деталях.
Пользователи могут настроить параметры сканирования в двух вкладках. Дополнение по умолчанию будет проверять на текстовые и графические изменения.Кроме того, можно игнорировать регистр или номера и создать резервную копию страницы, когда изменения признаются.

Когда для сканирования используется вкладка для настройки интервалов сканирования. Можно установить определенную частоту сканирования или пусть дополнения само выбирает частоту. Дополнение использует алгоритм, который проверяет контролируемый сайт на частоту обновления.

Change Detection

ChangeDetection это бесплатный онлайн сервис , который может контролировать изменения веб-сайтов . URL веб-сайта и адрес электронной почты предоставляются на первом этапе этого процесса. Служба будет стараться сканировать веб-сайт . Если сканирование успешно отображается шаг 2.

На втором этапе настраиваются уведомления и тип изменений.Уведомления будут при условии, отправки письма на электронный счет или путем предоставления канала, который обновляется с изменением сайта. Сервис онлайн-мониторинга ,можно настроить только посылать уведомления, если произошли значительные изменения при мониторинге веб-сайтов. Кроме того, можно определить текст, который должен вызывать уведомления (либо, если они добавлены или удалены со страницы, которые могут быть интересны для целей построения ссылок).
WebMon

WebMon является единственным программным обеспечением в данном обзоре, которая может быть использована для мониторинга веб-сайтов. Программное обеспечение мониторинга веб-сайтов имеет несколько преимуществ по сравнению с дополнениями Firefox.Программа может работать в фоновом режиме, даже если все окна веб-браузера закрыты. Firefox надстройки могут выполнять проверку обновления сайтов, если веб-браузер работает.
Программа поставляется с простым в использовании интерфейсом. Работу она начинает с добавления URL в программу. Любой URL, который в настоящее время находится в буфере обмена Windows, будет автоматически вставлен в форму прямо сейчас. Это даёт возможность настроить интервалы проверки использования минуты, часы и дни в интерфейсе. Процесс полной проверки всего на странице которая должна быть проверена. Пользователи, которые хотят задать определенный текст или элементы на веб-сайте могут сделать это так, нажмите на кнопку «определить содержание для проверки» в окне конфигурации.

Это в основном позволяет пользователю указать диапазон контента на сайте, который должен быть включены в программу. Программное обеспечение мониторинга веб-сайта уведомляет пользователя всплывающим оповещением или звуками. Программа может запуститься, если команда обновления не найдена.
Программное обеспечение мониторинга веб-сайта имеет много дополнительных опций при условии, что включена поддержка прокси сервера, регистрация или импорт и экспорт списка отслеживаемых сайтов.
Вердикт
Программное обеспечение для мониторинга веб-сайтов , дополнения или услуги сильно зависит от сценария использования. Пользователи, которые работают в веб-браузере Firefox всё время, возможно, предпочтут дополнения для мониторинга изменения веб-сайтов . Сервис онлайн с другой стороны будет контролировать удалённо сайты так, что компьютерная система пользователя не нужна включенной всегда, чтобы следить за изменениями (можно даже отправить уведомления на смартфон,например).
Программное обеспечение мониторинга веб-сайтов , с другой стороны является наиболее гибким инструментом, который предоставляет возможности для выполнения команд, если изменения были обнаружены.
А что предпочитаете вы?