Лабораторная работа
«Программные средства для мониторинга и оценки позиции сайтов в поисковых системах»

Задание – определение темы заданной веб-страницы

1. 
   Загрузите страницу сайта: http://www.ashmanov.com/tech/semantic/demo/
   
2. 
   Выполните анализ текста главных страниц сайтов, подобранных вами ранее для тестирования.
   

• 
  Введите поочередно в поле URL Документа адреса сайтов
  
• 
  Установите флажки в полях: Показывать категории и Показывать ключевые слова
  

3. 
   Сравните полученные в результате анализа наборы ключевых слов сайтов-конкурентов и соответствие заявленной тематики сайта с результатами тестирования.
   
4. 
   Сформулируйте рекомендации по оптимизации контента сайта
   

Технология «Семантическое Зеркало»

Технология «Семантическое зеркало» определяет тему любой заданной веб-страницы, что позволяет показывать на этой странице релевантную рекламу или новости на актуальную тему.

Технология предназначена для:

• 
  владельцев систем контекстной и баннерной рекламы,
  
• 
  владельцев крупных сайтов, которые хотят показывать рекламу или новости в соответствии с темой страницы,
  
• 
  расстановки релевантных ссылок,
  
• 
  любых интернет-приложений, где важно знать, о чём говорит веб-страница и чем в настоящий момент интересуется пользователь.
  

Технология «Семантическое зеркало» используется компанией «Бегун» в сервисе «Автоконтекст», обеспечивая несколько миллионов определений тематики в день. Эта технология автоматического распознавания темы текста применяется также в фильтре спама «Антиспам Касперского» и в новостном агрегаторе «Новотека».

Для внешней системы работа модуля «Семантическое зеркало» выглядит так: модулю передается адрес страницы, в ответ он возвращает набор вероятных тем (с весами) и список ключевых терминов (также с весами).

Получив адрес страницы, модуль «Семантического зеркала» анализирует текст страницы, взвешивает частоты слов и семантические связи между словами, выделяет из текста страницы самые важные термины (слова и словосочетания) и по ним определяет набор нескольких наиболее вероятных тем страницы.

Система контекстной рекламы может по своему усмотрению использовать выдачу модуля «Семантического зеркала» в двух режимах:

1. 
   Показ объявлений в соответствии с набором тем,
   
2. 
   Показ объявлений напрямую по списку выделенных терминов.
   

Темы определяются по очень подробному и детальному рубрикатору на 2500 рубрик, где к каждой рубрике приписано несколько десятков или сотен ключевых терминов с семантическими весами. Темы в рубрикаторе подобраны специально под потребности интернет-пользователей.

Для простого и быстрого внедрения «Семантическое зеркало» имеется и более общий короткий рубрикатор на 60 основных («верхних») тем.

Задание 2 – анализ видимости сайта в поисковых системах

1. 
   Выберите для сравнения 3 сайта компаний, относящиеся к одной предметной области, работающих на одном рынке (занимающихся одним видом деятельности, предоставляющих одинаковые услуги и др.). Например, сайты образовательных учреждений, медицинских клиник, строительных компаний, гостиниц, клубов, интернет-магазинов и др.
   
2. 
   Загрузите программу «Сайт-Аудитор» с сайта www.site-auditor.ru с помощью, которой определите видимость и соответствие сайта заявленной тематике:
   

• 
  Сформируйте список предполагаемых запросов пользователей
  
• 
  Проведите тестирование сайтов-конкурентов выбранной предметной области
  
• 
  Сравните полученные отчеты, сделать выводы и сформулировать рекомендации для устранения недостатков оптимизации.
  

Сайт-Аудитор

(www.site-auditor.ru)

Сайт-Аудитор – это бесплатная программа для анализа положения сайта (видимости) в поисковых системах. Многофункциональная программа, предназначена как для профессиональных оптимизаторов, работающих с несколькими десятками сайтов, так и для вебмастеров, которые изучают видимость одного сайта.

При помощи утилиты Site-Auditor сможно быстро собрать данные, необходимые для оценки видимости сайта в поисковых системах Рунета: Яндекс, Рамблер, Апорт, а также в наиболее популярных международных сервисах Google и Yahoo.

Кроме того, в случае, если на анализируемом сайте будет обнаружен счетчик Рамблер ТОП100, утилита соберет данные о количестве посетителей и просмотренных страниц за последние 7 дней. Если будут обнаружены счетчики иных статистических систем, то на них будут даны ссылки. В данный момент система определяет наличие следующих, наиболее популярных счетчиков статистики: Рамблер Top100, Mail.ru, LiveInternet (RAX), SpyLog, HotLog.

Утилита позволяет получить позиции сайта в выдаче Яндекс, Рамблер и Google по выбранному списку запросов (семантическому ядру).

Все собираемые данные сохраняются на компьютере пользователя, что позволяет отслеживать историю изменений.

Сайт-Аудитор позволяет:

• 
  составить список целевых запросов (семантическое ядро) для исследуемых сайтов
  
• 
  получить сводный отчет о положении анализируемого сайта в результатах поиска Яндекса, Рамблера и Google по целевым поисковым запросам,
  
• 
  получить необходимые данные о сайте из основных поисковых систем: Яндекс, Рамблер, Апорт, Google, MSN и Yahoo.
  

Функционал Сайт-Аудитора используется в SEO-модуле системы управления сайтом UMI.CMS. Сайт-Аудитор разработан с и технологии Flash и доступен в версиях для Windows, MacOS X и Linux.

Окно программы Сайт-Аудитор содержит вкладки: Экспресс-анализ – отражает основные данные о текущем уровне оптимизации сайта Подбор запросов – составление списка целевых запросов (семантическое ядро) для исследуемых сайтов Видимость сайта – формирование сводного отчета о положении анализируемого сайта в результатах поиска Яндекса, Рамблера и Google по выбранным поисковым запросам

Экспресс-анализ

В поле http:// введите адрес исследуемого сайта, нажмите кнопку Проверить, программа выполнит сбор данных и представит следующую информацию об анализируемом сайте:

• 
  Индексы цитирования Яндекса – ТИЦ и Google - PageRank;
  
• 
  Количество страниц, проиндексированных поисковыми системами Яндекс, Рамблер, Google, Апорт и Yahoo.
  
• 
  Количество ссылок на сайт, обнаруженных поисковыми системами Google, Яндекс, Yahoo.
  
• 
  Данные о наличии сайта в каталогах Яндекс, Рамблер Top100, Апорт и DMOZ.
  
• 
  Если на сайте будут обнаружены счетчик Рамблер Top100, утилита соберет данные о количестве посетителей и просмотренных страниц за последние 7 дней.
  
• 
  Если будут обнаружены счетчики статистических систем Top.Mail.ru, LiveInternet (Rax), SpyLog, HotLog, то будут даны ссылки на страницы этих поисковых систем.
  

Одновременно со сбором данных производится анализ титульной страницы сайта на наличие на странице следующих тегов и блоков информации:

• 
  HEADER – содержит заголовок ответа сервера. Если в процессе получения ответа произошло перенаправление сайта (HTTP Redirect), на кнопке HEADER появится признак R. При клике на кнопку в информационном окне будут показаны заголовки, выданные web-сервером при перенаправлении и выдаче страницы. Для получения дополнительной информации по заголовку можно воспользоваться внешним сервисом HTTP Header.
  
• 
  TITLE, KEYWORDS, DESCRIPTION – показывают содержимое тегов <title> <meta keywords> < meta description> соответственно (на кнопке в скобках отображается количество символов содержимого тега).
  
• 
  ROBOTS.TXT – показывает содержимое файла robots.txt. В случае, если в файле обнаружено правило, полностью запрещающее индексацию сайта (Disallow: /), на кнопке выводится предупреждение в виде восклицательного знака.
  
• 
  A – показывает содержимое тегов <a> (на кнопке в скобках отображается общее количество обнаруженных ссылок и количество ссылок, на внешние сайты. Домены третьего уровня, за исключением www, считаются внешним).
  
• 
  H – показывает содержимое найденных тегов c <h1> по <h6> (на кнопке отображаются только найденные номера тегов. Например, текст кнопки H 146 означает, что на титульной странице обнаружены теги <h1>, <h4> и

  . При клике на кнопку содержимое тегов будет показано в информационном окне в порядке возрастания номера тега).
  

  
  NOINDEX – показывает содержимое тега <noindex> (в тексте кнопки в скобках показывается количество обнаруженных тегов).
  

  
  STRONG, B – показывает содержимое тегов <strong> и <b>(при клике на кнопку в информационном окне будет показано, сначала содержимое тегов <strong>, затем <b>).
  

  
  EM, I — показывает содержимое тегов <em> и <i> (при клике на кнопку в информационном окне будет показано, сначала содержимое тегов <em>, затем <i>).
  

Текстовое окно, в которое производится выдача информации по кнопке, при необходимости может быть увеличено с помощью кнопки

Выпадающее меню Внешние сервисы позволяет провести дополнительный анализ сайта:

• 
  WHOIS – позволяет получить информацию о владельце домена и времени регистрации (возрасте) сайта.
  
• 
  Traceroute (RU) и Traceroute (COM) – позволяет дать оценку времени прохождения
  
• 
  IP-пакета до анализируемого сайта в российском сегменте Интернета и для зарубежных посетителей.
  
• 
  WayBack Machine – уникальный сервис, позволяющий увидеть историю развития сайта.
  
• 
  HTTP Header – позволяет детально изучить заголовки http-ответа сервера с дополнительной информацией: что означает та или иная строка в заголовке.
  
• 
  График загрузки – предоставляет детальную информацию по времени загрузки всех элементов титульной страницы сайта. Позволяет выявить узкие места и повысить скорость ответа сайта.
  
• 
  Поиск дубликатов – позволяет обнаружить в сети сайты, похожие на анализируемый.
  

В левой части экрана находятся список проанализированных сайтов и история прошедших проверок. При выборе из списка сайта, в соответствующих полях показываются данные, полученные в ходе последней проверки.

При выборе даты отображаются данные, полученные на момент выбранной даты. Настройки

В окне настроек на вкладке Данные перечислены виды данных, которые требуется собирать при анализе сайта. Если какие-то данные собирать не требуется, то их можно исключить из обработки.	На вкладке Копирование можно указать, какие именно данные требуется копировать в буфер обмена при нажатии кнопки копировать в буфер. Кроме того, можно выбрать тип разделителя строк для удобства копирования в документы разных форматов. Например, для копирования в MS Excel следует выбирать "\n", для копирования таблицы, находящейся в MS Word в качестве разделителя строк следует выбирать "\t".

Подбор запросов

В поле "Проверить запросы" укажите список слов или фраз, близких к тематике сайта. Нажмите кнопку Проверить утилита получит список поисковых запросов, которые пользователи задавали в сервисе Рамблер в течение прошедшего месяца и которые содержат слова, указанные в поле "Проверить запросы". Частота запросов обозначает, сколько раз их задавали в течение последних 30 дней. После загрузки списка запросов в поле "Варианты запросов", отметьте интересующие вас запросы и скопируйте их в список "Выбранные запросы" нажатием кнопки Выбрать или двойным щелчком мыши.

Удаление из списка "Выбранные запросы" ненужного варианта запроса – выбрать его и нажать кнопку , которая появляется в правом нижнем углу списка в момент выбора запроса или удалить ненужный запрос можно двойным щелчком мыши.

После формирования списка "Выбранные запросы" скопировать нажатием кнопки Перенести в раздел "Видимость сайта". При этом также происходит переход в раздел "Видимость сайта".

Проверить видимость сайта для уже существующего семантического ядра, частоту которого повторно проверять не требуется, список запросов можно перенести напрямую из поля «Проверить запросы» в раздел «Видимость сайта», нажав кнопку «Скопировать запросы», находящуюся справа от поля.

Сервис Видимость сайта

Для сбора информации о позициях нажмите кнопку Перенести скопируйте список выбранных запросов в разделе "Подбор запросов", укажите URL анализируемого сайта и нажмите кнопку Проверить. В списке отобранных запросов будут указаны позиции сайта в результатах поиска поисковых систем. Точка рядом с номером позиции, означает, что ссылка из результатов поиска введет на титульную страницу анализируемого сайта.

При щелчке мышью на номер найденной позиции открывается окно браузера, в которое загружается страница, ссылка на которую была найдена в результатах поиска.

В левой части экрана находятся список проанализированных сайтов и история прошедших проверок. При выборе одного из сайтов в соответствующих полях показываются данные, полученные в ходе последней проверки. При выборе даты, показываются данные, полученные на момент выбранной даты.

Для редактирования списка запросов, нажмите кнопку Редактировать список запросов. Текущий список будет скопирован в поле "Выбранные запросы" в раздел "Подбор запросов".

Конкуренты

Данная вкладка предназначена для определения страниц сторонних сайтов, которые конкурируют с анализируемым сайтом по указанным запросам. На базе такой информации, можно легко понять какие страницы на данный момент лучше оптимизированы под конкретный запрос и увидеть, как относительно них позиционируется страница анализируемого сайта.

Для того что бы данный сервис правильно определял конкурентов нужно чтобы были корректно указаны частоты запросов (колонка Частота), т.е что бы они были определены во вкладке "Подбор запросов" в одной из поисковых систем, а не просто скопированы в раздел "Определение позиций" без проверки.

Для каждого запроса определяется ТОП-10 в каждой из поисковых систем, отмеченных при сборе информации в разделе "Определение позиций".

При выборе запроса в окне "Запрос" в нижнем окне конкуренты будет показан список страниц из ТОП-10 для данного запроса.

Фильтрами ниже можно задать следующие параметры:

ТОП10 –только первые 10 запросов списка.

Только лучшие – только лучшие запросы для всех отмеченных поисковых систем (Яндекс, Рабмлер, Google)

Яндекс – включить в список запросы из ТОП-10 Яндекса

Рабмлер – включить в список запросы из ТОП-10 Рабмлера

Google – включить в список запросы из ТОП-10 Google

Страницы, которые присутствуют одновременно в нескольких топах, отображаются в списке только один раз, а их видимость складывается.

Например если страница имеет в Яндексе видимость 2000 и в Рамблер 500, то в списке она будет отображена один раз со значением видимости 2500.

Сортировка списка конкурентов осуществляется по значению видимости.

Соответственно если страница имеет высокую видимость в большинстве поисковых систем то она будет находится в начале списка конкурентов и при анализе ей нужно уделить наибольшее внимание.

Кроме того для списка конкурентов программа позволяет определить такие базовые параметры как тИЦ, PR и количество ссылок (упоминаний) по версии Яндекса. Соответственно в колонке "Ссылки(Я)" цифры обозначают кол-во страниц/сайтов на которых упоминается конкурентная страница.

В настройках данного раздела можно указать собирать ли данные о PR и ссылках именно для страницы присутствующей в списке или для титульной страницы сайта, на которой она расположена. тИЦ в любом случае определяется для всего сайта.

Кроме того можно указать что собранные данные повторно уже не должны собираться (по умолчанию) для того чтобы не делать излишнюю нагрузку на поисковые системы для повторного сбора только что полученной информации. Этот параметр рекомендуется отключать, если вы делаете повторную проверку через какой-то значительный промежуток времени.

Релевантные страницы

В разделе можно увидеть какие из страниц анализируемого сайта наиболее релевантные (максимально соответствуют) выбранному запросу.

Для этого для каждого запроса определяются ТОП-3 страниц для анализируемого сайта в каждой из отмеченных поисковых систем. После этого кликнув на интересующий запрос в окне "Запрос" в окне расположенном ниже можно увидеть список страниц релевантных данному запросу.

В столбце "Сервис" отображается на какой позиции находится какая страница.

Я.1 – страница находится в Яндексе на 1 позиции.

Я.2 и Я.3 – на второй и третьей соответственно.

Аналогично показаны страницы для Рамблера и Google.

При клике на позицию в данном столбце будет открыто окно браузера в котором можно убедится что программа правильно определила позиции в указанной поисковой системе (при клике на Я.х будет окрыт Яндекс, на Р.х - Рамблер, на G.х – Google).

В столбце "R" показано сколько раз данный адрес упоминался в других запросах как релевантный.

При клике на цифру в данном столбце откроется окно со списком запросов, по которым упоминается данная страница.

В столбце "Страница" отображается адрес релевантной страницы.

В нижней части окна находится фильтр, который позволяет отображать:

Все - все страницы. Фильтр выключен.

Пересекающиеся – в списке будут показаны только страницы, которые упоминаются как релевантные для нескольких запросов.

Уникальные – в списке будут показаны только страницы, которые упоминаются как релевантные для одного запроса.