IT-блог о веб-технологиях, серверах, протоколах, базах данных, СУБД, SQL, компьютерных сетях, языках программирования и создание сайтов.

Привет, посетитель сайта ZametkiNaPolyah.ru! Продолжаем рассматривать полезные программы для веб-разработчика и вебмастера и у меня теперь будет новый раздел SEO программы, в котором буду писать про приложения, облегчающие продвижение и оптимизацию сайта. В данной рубрике будут появляться подробные обзоры качественных приложений для продвижения сайта, опять же, качественных на мой взгляд. Как ни ни банально, но первое приложение, о котором я хотел бы написать и написал — Xenu Link. Эта чудесная программа, которая умеет многое и при этом бесплатная, хотя можно выделить одну функцию: с Xenu Link поиск и проверка битых ссылок на сайте превращается в легкое занятие, требующее небольших усилий.

Поиск и проверка битых ссылок на сайте. Внутренний аудит сайта с Xenu Link

Хоть поиск и проверка битых ссылок сайта — это основная функция Xenu Link, но не единственная. С небольшими оговорками Xenu можно назвать полноценным приложение для внутреннего аудита сайта. О том, как провести внутренний аудит сайта и какие функции есть у Xenu, помимо поиска и проверки битых ссылок на сайте, узнаете из этой статьи.

Где скачать Xenu Link. Как установить Xenu на Windows?

Раз мы задались вопросом: как проверить ссылки на сайте и найти битые ссылки, то давайте я сразу дам вам ответ, чтобы не оттягивать дело в долгий ящик. Проверить битые ссылки на сайте нам поможет приложение Xenu Link. Кстати, Xenu Link не только проверяет битые ссылки, но и дает массу полезной информации о внутренней оптимизации сайта, но об этом мы поговорим чуть позже.

Теперь о главном: где скачать Xenu Link. Скачивать Xenu я вам советую с официального сайта, и не рекомендую скачивать Xenu со всяких репозиториев по двум простым причинам: если вы будете скачивать Xenu с репозитория, то есть вероятность, что вместе с Xenu установите кучу ненужного хлама, которым, как раз таки, и зарабатывают владельцы репозиториев, вторая причина заключается в том, что вместо Xenu Link вы можете скачать вирус.

Установка Xenu Link на Windows довольно простая и не требует каких-либо пояснений. Чтобы установить Xenu просто запустите инсталлер и следуйте указаниям программы. Завершив установку Xenu, вы можете сразу ее запустить.

Знакомство с интерфейсом Xenu Link. Настройка Xenu LInk

Во-первых, отмечу, что интерфейс Xenu Link очень простой, можно даже сказать аскетичный. Кстати, при каждом запуске Xenu дает всевозможные подсказки, только на английском языке, так как у данного приложения нет русского интерфейса. Замечу, что все средства управления Xenu собраны в левом верхнем углу:

Интерфейс управления приложения по поиску и проверки битых ссылок на сайте Xenu Link

Давайте рассмотрим по порядку. Вкладка Help имеет два пункта: Tips and Tricks… — это подсказки по работе с Xenu, а вкладка About Xenu… — информация о версии программы, которая сейчас установлена. Вкладка Options отвечает за конфигурации и настройки Xenu. Давайте подробнее разберемся с тем, что позволяет настроить Xenu. У Xenu есть два варианта настроек: базовые настройки и расширенные. Скрин базовых настроек Xenu:

Базовые настройки приложения для внутреннего аудита сайта Xenu Link

В левом верхнем углу есть ползунок, который определяет количество параллельных HTTP запросов к серверу: Parallel Thread. Maximum Depth позволяет настроить максимальную глубину просмотра. Так же есть два чекбокса: один позволяет вводить логин и пароль для аутентификации по HTTP, если это требуется, второй чекбокс говорит Xenu о том, что HTTP коды перенаправления следует считать, как ошибки.

Xenu Link так же дает возможность настроить отчет и то, как нужно выводить данные в этом отчете. Первых два чекбокса позволяют настроить отображение битых ссылок (скорее всего, такие ссылки показывают код ошибки HTTP клиента). Битые ссылки можно упорядочить, собственно, по имени битых ссылок и по страницам, на которых они найдены. Broken Local Links позволяет настроить показ битых внутренних ссылок сайта.

Вы можете включить или выключить параметр показа ссылок, перейдя по которым браузер получает HTTP ответ сервера с кодом состояния, начинающимся на тройку (коды перенаправления).

Отчет Xenu можно настроить так, чтобы в отчет были включены ссылки на FTP сервер, для этого есть параметр FTP and Gopher URLs.

Xenu может проверить правильность URL ссылок, кстати, на мое блоге есть статья URI в HTTP, где описаны основы использования URL. За эту настройку отвечает пункт Valid Text URLs.

Рассматриваемая программа по результатам своей работы может составить карту сайта, для этого поставьте галочку напротив чекбокса Site Map.

Xenu может собрать статистические данные о сайте, для этого поставьте галочку напротив соответствующего чекбокса.

И последний пункт базовых настроек Xenu – Orphan Files или бесхозные файлы, позволяет анализировать Xenu файлы, которые были удалены, но с которыми у других документов или файлов осталась логическая связь.

Перейдем к расширенным настройкам Xenu. Скрин расширенных настроек вы можете найти ниже:

Расширенные настройки программы для проверки битых ссылок на сайте Xenu Link

Первый пункт Allow Cookies отвечает за настройку использования кук при составлении отчета Xenu. Автор приложения не рекомендует его использовать, почему? Прочитайте справку.

Fail all URLs with same failed host. Если галочка стоит напротив этого пункта, то Xenu будет считать, что если он не смог подключиться к сайту, то ссылка битая и, соответственно, все остальные ссылки битые.

Exclude MSO files позволяет исключить MSO файлы из проверки сайта Xenu.

Allow local files in remote check этот пункт разрешает проверять локальные файлы.

List local directorie. Если этот пункт включен, то Xenu в результате проверки сайта составит список локальных директорий.

Convert all URLs to lower case. Данный пункт настройки говорит о том, что Xenu должна преобразовывать регистр ссылок в нижний.

Иногда при анализе сайта при помощи Xenu бывают ситуации, когда HTTP сервер начинает ее блокировать и программа просто не может получить доступ к тому или иному ресурсу на сайте, поэтому у Xenu есть пункт, позволяющий настроить количество повторений проверки сайта: Retries.

Думаю, с настройками Xenu мы разобрались, давайте продолжим рассмотрение других пунктов. Во вкладки View вы можете отключать и включать Toolbar и статусную строку снизу.

По вкладке File вы можете запустить внутреннюю проверку сайта, а также загрузить и посмотреть предыдущие отчеты анализа сайта:

Вкладка File программы проверки сайта Xenu

Проверка и поиск битых ссылок на сайте при помощи Xenu

Теперь, собственно, о главном, о том, как проверить битые ссылки на сайте с помощью Xenu Link. Чтобы проверить битые ссылки на сайте вам нужно: нажать вкладку File, выбрать пункт Check URL,  после чего появится вот такое окно:

Запуск проверки сайта на битые ссылки в Xenu

В верхнюю строку вводите сайт, для которого хотите сделать проверку битых ссылок. И нажимаете кнопку ОК. Обращу ваше внимание на то, что время проверки битых ссылок у всех будет разное и зависит оно в большей степени от количества страниц на сайте, так как Xenu переходит по всем ссылкам на сайте.

Когда Xenu закончит проверку сайта и ссылок на сайте, она выдаст вот такое окно:

Внутренний аудит сайта в Xenu закончился

И спросит вы хотите получить отчет о сайте, сейчас мы нажимаем Retry или Нет (кому как повезет), но потом мы посмотрим отчет о сайте, сделанный Xenu. Обращу ваше внимание на то, что ссылки в Xenu кликабельны, нажав два раза левой кнопкой мыши, вы перейдете по ссылке, нажва правой кнопкой, вы получите дополнительные возможности:

Дополнительные действия с найденными Xenu ссылками

Думаю, особых пояснений к данному окну не требуется. Так же замечу, что сейчас мы получили список ссылок на сайте, это еще не отчет о сайте, который формирует Xenu. Ссылки в данном окне можно отсортировать по адресу, так вы сможете найти все внешние ссылки с вашего сайта; по статусу ссылки, который берется из кода состояния ответа HTTP сервера; по типу, так вы сможете найти все картинки, к примеру; размеру страницы, на которую ведет ссылка; по тайтлу, так вы сможете найти дубли страниц и дубли тайтлов; по дате создания документа (который записывается в HTTP заголовок Last-Modefied); по вложенности или уровню страницы.

Вообще, на это странице Xenu показывает ссылки, найденные на сайте и при этом подсвечивает специальным цветом:

1. Зеленый цвет говорит о том, что ссылка хорошая и ресурс, на который она ведет работает.
2. Красный цвет, скорее всего, говорит о том, что найдена ссылка битая, как более точно определить битые ссылки на сайте, мы поговорим чуть позже.
3. Серый цвет говорит нам о том, что Xenu еще не успел проверить эту ссылку на сайте.

Давайте теперь узнаем, как найти и проверить битые ссылки с помощью Xenu Link. Во-первых, вы можете нажать вкладку View и выбрать пункт: показать битые ссылки. Иногда бывает так, что сервер блокирует Xenu и ссылка на самом деле не битая, поэтому внимательно читайте столбец Status.

Во-вторых, вкладка File после проверки сайта и ссылок на сайте немного расширилась и теперь выглядит так:

Создать отчет о внутренней проверке сайта в Xenu

Наибольший интерес для нас представляет пункт Report, который позволяет получит отчет о внутреннем аудите сайта, нажав его вы получите вот такое окно:

Сформировать отчет внутреннего аудита сайта в Xenu

Здесь жмем Cancel. После чего Xenu сформирует отчет о ссылках на сайте в виде простого HTML документа и запустит его в браузере. В данной части статьи нас интересует два пункта отчета: Broken links, ordered by link и Broken links, ordered by page. Здесь собрана информация обо всех найденных битых ссылках на сайте, но упорядочена эта информация по-разному. В общем, пользуйтесь той сортировкой битых ссылок, с которой вам потом будет проще их удалять. Мы рассмотрели как найти и проверить битые ссылки на сайте с Xenu Link, давайте теперь посмотрим, что еще может это приложение.

Другие возможности Xenu для внутреннего аудита сайта

Возможности Xenu Link не ограничиваются только поиском и проверкой битых ссылок, хотя, на мой взгляд, этого было бы достаточно для многих случаев. С другой стороны, благодаря дополнительным возможностям Xenu из обычного робота для проверки битых ссылок, она превращается в чудесную программу, позволяющую провести внутренний аудит сайта. Давайте пойдем по пунктам.

1. Проверка и поиск битых ссылок на сайте. Да, я повторю этот пункт, так как это чертовски здорово, что можно бесплатно и быстро найти битые ссылки на сайте. Особенно, это актуально для сайтов, у которых очень много страниц, где отследить битые ссылки практически нереально вручную, а платить кому-то деньги за поиск битых ссылок глупо, когда есть Xenu.
2. Создать карту сайта в HTML формате. Если ваш сайт – это набор HTML страниц без какого-либо движка, пусть даже самописного, то Xenu – первый ваш помощник в создании карты сайта.
3. Когда мы запустили поиск битых ссылок на сайте, то в результате получили список всех страниц и всех ссылок сайта, как вы знаете, у любой страницы есть title и не есть гуд, когда тайтл одной страницы повторяется несколько раз, тогда и не будет дублей.
4. При помощи Xenu можно найти страницы на сайте, которые долго грузятся, соответственно, можно выявить причину того, почему они грузятся долго.
5. Xenu позволяет проверить внутреннюю перелинковку на сайте, очень полезно для его внутренней оптимизации.
6. Xenu проверяет не только ссылки, но и картинки и их атрибут Alt.
7. Иногда бывает так, что блог или сайт ведется бессистемно, автор этого блога долгое время страдал этим пороком, в этом случае могут появиться публикации с глубоким уровнем вложенности, что не есть хорошо.

Думаю, я вас убедил, что Xenu Link – это не только инструмент для поиска битых ссылок на сайте, но и целая система, позволяющая провести внутренний аудит, главное потом грамотно воспользоваться полученной информацией от этого аудита, чтобы провести эффективную внутреннюю оптимизацию.

Ошибки отчета при проверке сайта с Xenu Link

В процессе внутреннего аудита сайта с Xenu вы неизбежно столкнетесь с ошибками. Ошибки – это плохо, но знать эти ошибки нужно, чтобы их исправить в процессе внутренней оптимизации сайта. Кстати, автор блога очень удивился, когда провел аудит сайта с Xenu, увидев гору ошибок и кинулся исправлять эти ошибки. Давайте пройдемся по списку ошибок сайта, которые показывает Xenu:

1. Error 404. Здесь я не могу не написать про свою рубрику HTTP протокол, к которой есть даже навигация. Код ошибки клиента 404 говорит о том, что страница недоступна, самая вредная для нашего сайта ошибка.
2. 403 Forbidden. Ошибка, говорящая о том, что в доступе отказано. Она не так страшна и на нее в отчете Xenu можно не смотреть.
3. 12029 (No Connection). Эта ошибка возникает из-за отсутствия HTTP соединения с сервером. Для нашего сайта ничего плохого она не несет.
4. 503 (Service Unavailable). Код ошибки HTTP сервера, который говорит о том, что тот недоступен. Вероятно, это проблемы у вашего хостинга, но иногда бывает так, что и вашими стараниями вызвана эта ошибка.
5. 12002 (Timeout). Чаще всего эту ошибку можно увидеть, если ваш сайт писал недокодер или у вас убогий хостинг. Лучше сменить обоих.
6. 12038 (SSL certificate common name incorrect). Такая ошибка говорит о том, что имеются проблемы с сертификатом безопасности SSL.

Мы разобрались с ошибками Xenu, которые могут встретиться в процессе внутреннего аудита сайта или при анализе битых ссылок на сайте. Теперь давайте разберемся с последним пунктом нашей программы и проанализируем отчет, который создает Xenu Link в процессе проверки сайта.

Анализ отчета Xenu Link: внутренний технический аудит сайта

Если пролистать отчет о проверки сайта Xenu Link до самого низа, то можно увидеть две таблицы. Первая содержит информацию о том, какое содержимое и в каком количестве есть на сайте. Вторая таблица дает информацию о количестве битых ссылок на сайте в процентном соотношении. Пример первой таблицы:

Аудит содержимого сайта в Xenu LInk

Проанализировав данную таблицу можно существенно ускорить сайт в процессе его внутренней оптимизации. Вот так, ребята, эти ваши «крутые SEO оптимизаторы» просто запускают Xenu, которая за них проводит внутренний аудит сайта, а они берут данные и просто оформляют это всё дело в красивый отчет и дают «очень ценные рекомендации». Если кого-то эти строки задели, то знайте, что это просто шутка, но, как и в любой шутке здесь только доля шутки.

Вторая таблица дает информацию о количестве битых ссылок на сайте:

Отчет о найденных битых ссылка в Xenu Link

Здесь мне добавить нечего: найденные битые ссылки нужно удалять, таким образом вы заботитесь о своих посетителях и начинаете делать первые шаги к тому, чтобы начать нравиться Яндексу и Гуглу.