Содержание
Check Backlinks to Any Site
Зарегистрироваться
Бесплатные инструменты SEO /
Check your site for broken inbound and outbound links in seconds.
/
Анализатор авторитета веб-сайта
/
Проверка битых ссылок
Например,
ahrefs.com
yep.com
The most powerful backlink checker
Ahrefs has the <a1>second most active web crawler</a1> after Google, which means we have the <a2>best backlink database</a2> in the industry.
Our backlink index is updated with fresh data every 15 minutes.
See domain and page-level metrics for any target
Check any website, URL or subsection to see actionable and insightful SEO metrics:
Our proprietary Domain Rating (DR) metric is super-useful for judging the “backlink popularity” (strength) of a target.
Monitor the growth and decline of backlink profiles
See an interactive view of referring domains and pages over time.
Shows the cumulative growth or decline in referring domains over time.
Get a complete breakdown of the target’s backlink profile
See every page linking to your target in the detailed Backlinks report. Use powerful filters to dive deeper.
See estimated organic traffic to each linking page & referring domain
Get awesome insights into the popularity of the linking web page and website with organic traffic estimates. No other tool shows you this.
See all websites linking to your target with domain-wide metrics
Check the Referring domains report to see every linking domain, along with useful SEO metrics.
Рейтинг домена (DR)
Referring domains (followed)
Linked domains (followed)
Estimated organic traffic
Links to target (total & followed)
Find any linking domain with the handy search function.
See the most linked-to pages
Find «linkworthy» pages by researching your competitors’ most linked-to pages with the Best by links report.
Use the «404 not found» filter to find highly linked-to broken pages on any website and kickstart a broken link building campaign.
See a complete breakdown of all outbound links
The Linked domains report shows SEO metrics for every outbound linked domain.
Рейтинг домена (DR)
Ранг в Ahrefs (AR)
Total followed referring domains
Total followed linked domains
Estimated organic traffic
Number of links from the target (total & followed)
We also show the target’s broken outbound links in the Broken links report, and a full breakdown of outbound linking anchor text in the Anchors report.
In-depth link analysis features
Here are more features that make Ahrefs’ Backlink Checker special:
<strong>See followed and nofollowed links</strong> — The more quality followed backlinks a site has, the more trustworthy it is in the eyes of Google. Ahrefs shows you the complete picture of followed vs nofollowed links for any target.
<strong>Backlink anchor text</strong> — Analyze anchor texts to see how your competitors optimize their backlink profiles. Use anchor text analysis to detect possible negative SEO attacks on your website.
<strong>Disavow link spam</strong> — If you notice some suspicious backlink activity, you can add spammy links to a disavow file directly from the Backlink Checker. Importing this file into Google’s Disavow Tool takes only a few clicks.
<strong>Export to PDF and CSV</strong> — Need to report on your findings or download a report for further analysis? Simply export your data and reports to a PDF or CSV file.
<strong>Inbuilt filters, in every report</strong> — Analyze the data you care about, and nothing else.
In a nutshell, Ahrefs’ Backlink Checker is a powerhouse capable of pretty much any backlink research task.
We’re constantly evolving the tool and introducing more useful features and data for SEO professionals.
Руководства по линкбилдингу
The Beginner’s Guide to Link Building
Все, что вам нужно знать о линкбилдинге для SEO. Что это такое и как работает, что делает ссылку хорошей, как ее построить и многое другое.
9 Easy Link Building Strategies (That Anyone Can Use)
Are you struggling to build backlinks to your website? Try these 9 easy (yet effective) link building strategies today.
The Only 8 Link-Building Tools You Need (Free & Paid)
You don’t need dozens of link building tools. You just need 8 of them. Here are the 8 we recommend.
Приступить
Раскройте весь потенциал Ahrefs уже сегодня!
Посмотреть цены
Как Ahrefs считает ссылки и домены
Patrick Stox
Патрик Стокс — консультант по продукту, технический SEO-специалист и амбассадор бренда в Ahrefs. Он является организатором Raleigh SEO Meetup, конференции Raleigh SEO, Beer & SEO Meetup, конференции Findability и модератором /r/TechSEO.
Поделиться этой статьей
Содержание
Каждый инструмент для работы с обратными ссылками хранит разные ссылки.
При создании индекса Интернета компаниям приходится применять множество различных подходов к процессам сканирования, синтаксического анализа и индексирования данных. Хоть между индексами и будет много совпадений, также будут некоторые различия, появившиеся в следствие принятых каждой компанией решений.
Во имя прозрачности мы хотим рассказать людям больше об индексе ссылок Ahrefs.
- Что такое ссылка?
- Какие ссылки индексируются?
- Какие домены индексируются?
- Почему мы не видим все ссылки?
Что такое ссылка?
Ссылки переносят пользователей, нажавших по ним, с одной веб-страницы на другую. Есть много способов их создания, наиболее распространенным из которых является классический HTML-элемент <a>
с атрибутом href.
<a href="url">текст ссылки</a>
Однако можно создавать ссылки и с помощью других элементов, в том числе:
- Onclick
- Button
- Ng-click
- Option/value
- и другими
Какие ссылки индексируются?
В идеальном мире должно храниться все, что функционирует как ссылка. К сожалению, наш мир не идеален. Ни Ahrefs, ни Google не хранят ссылки всех типов, потому что загружать каждую страницу и переходить по каждой ссылке неэффективно. А это именно то, что вам придется сделать, если вы хотите найти все ссылки, которые предоставляются пользователям.
Вместо этого краулеры обычно выбирают страницы, возможно, рендерят их, а затем извлекают и записывают ссылки различных типов. Все краулеры работают по-разному, поэтому давайте поговорим о том, как это делаем мы в Ahrefs.
Ссылки, которые мы записываем
Вот типы ссылок, которые мы храним в нашем индексе.
Внешние ссылки
Ссылки с одного веб-сайта на другой, созданные с помощью классического HTML-элемента <a>
с атрибутом href.
Внутренние ссылки
Ссылки с одной страницы веб-сайта на другую страницу того же веб-сайта. В нашем индексе 22,21 трлн внутренних обратных ссылок. Это намного больше, чем количествоактивных внешних ссылок в нашей базе. Мы — единственный инструмент SEO, в котором вы можете получить доступ к этим данным без специального сканирования веб-сайта. Мы используем данные о внутренних ссылках при расчете рейтинга URL-адреса (UR), аналогично тому, как Google использует их при расчете PageRank.
Если вас интересует, когда мы в первый раз и в последний раз сканировали URL-адрес, вы можете узнать эту информацию из отчета “Лучшие по количеству ссылок” в Сайт Эксплорере. В отчете есть отдельные вкладки как для внешних, так и для внутренних ссылок.
Ссылки, которые мы частично записываем
Вот все ссылки, которые мы записываем при определенных обстоятельствах.
Ссылки, вставляемые с помощью JavaScript
Поскольку Google рендерит все страницы, они могут учитывать ссылки, которые вставляются с помощью JavaScript, но отсутствуют в HTML-коде. Масштабируемый рендеринг требует гораздо больше ресурсов, чем обычная загрузка HTML-страниц. В Ahrefs мы рендерим порядка 80 млн страниц каждый день. Вот почему мы записываем некоторые ссылки, вставленные с помощью JavaScript, но не все из них. В настоящее время мы являемся единственным инструментом SEO, который выполняет рендеринг во время обычного сканирования Интернета, поэтому у нас есть некоторые данные о ссылках, которых нет у других инструментов.
Однако мы учитываем ссылки, вставленные с помощью JavaScript, только если они выполнены в формате HTML-элемента <a>
с атрибутом href. Вы увидите эти ссылки в отчете “Бэклинки” по значку “JS”, например:
Ссылки со страниц с параметрами в URL-адресе
Параметры — это дополнения к URL-адресу, например ?tag=какойтотекст. Вы можете увидеть некоторые из этих URL-адресов в нашем индексе, но обычно использованные в них параметры отвечают за отображение разного контента. Во многих случаях страницы с параметрами отображают один и тот же контент. У нас есть много систем, которые обеспечивают консолидацию URL-адресов в канонические версии, и дополнительных предохранительных механизмов, отсекающих бесконечные пути сканирования. Другие инструменты могут не принимать таких же решений или не иметь подобных предохранительных механизмов. В результате они могут учитывать одну и ту же ссылку много раз.
Ссылки, которые мы стараемся не записывать
Вот ссылки, которые мы стараемся никогда не записывать.
Ссылки со страниц с параметрами в URL-адресе
Как упоминалось выше, есть полезные и плохие типы параметров. Мы стараемся не хранить те из них, которые дублируются.
Ссылки со страниц в бесконечных путях сканирования
Такие пути создают бесконечное количество возможных URL-адресов. Параметры — это лишь один из способов их формирования. Они также формируются через фильтры, динамический контент и неправильные относительные пути ссылок. Как упоминалось ранее, у нас есть много предохранительных механизмов для ссылок на страницах этого типа, которые помогают снизить вероятность появления таких ссылок в наших отчетах. Соблюдение каноникализации и способ приоритизации, который мы используем для сканирования страниц, — это лишь два таких предохранительных механизма. Любому индексу приходится иметь дело с этими бесконечными пространствами, но эти страницы потенциально могут раздувать количество ссылок.
Ссылки, которые мы не фиксируем
Ссылки, которые мы никогда не фиксируем.
Ссылки в PDF-файлах или других документах
Google конвертирует многие форматы документов в HTML и индексирует их, как любую другую страницу. Это означает, что они учитывают ссылки в этих документах. Я не верю, что какой-либо SEO-инструмент в настоящее время индексирует эти ссылки, но нам, вероятно, следует. Я думаю, что однажды мы будем делать это, но меня беспокоит то, что усилия и ресурсы, необходимые для этого, не окупятся. По словам аналитика Google Webmaster Trends Джона Мюллера, ссылки в PDF-файлах не имеют практического значения для поиска в Интернете.
Ссылки в элементах iframe
Тег iframe позволяет отображать одну страницу внутри другой страницы. По этой причине Ahrefs не учитывает ссылки в элементах iframe. Однако они показываются пользователям, поэтому другие инструменты могут их учитывать, даже если технически этот контент относится к другой странице. Google может учитывать или не учитывать эти ссылки.
Ссылки с неиндексированных страниц
Мы опускаем такие ссылки. Представители Google неоднозначно говорят о том, учитывают они их при подсчете ссылок или нет. Различные инструменты могут обрабатывать их по-разному.
something with noindex will never reach the serving index, but we will have the fetched copy for things like link graph calculation.
— Gary 鯨理/경리 Illyes (@methode) December 17, 2020
“Cсылка с noindex никогда не достигнет отображаемого индекса, но мы получим копию для таких вещей, как расчет графа ссылок.”
Одинаковые ссылки с нескольких IP-адресов
Интересный факт об Интернете: сайты могут отображать одну и ту же страницу с нескольких IP-адресов. В таких случаях индекс ссылок может учитывать одну и ту же ссылку несколько раз. Но не мы. Мы связываем ссылки со страницами, на которых они находятся.
Несколько ссылок, ведущих на одну и ту же страницу с одной страницы
В настоящее время мы записываем только одну версию ссылки на странице. Если вы сделаете ссылку на страницу в меню, а затем продублируете ее в основном тексте, мы засчитаем только одну из них. Мы можем изменить этот подход в будущем, чтобы предоставлять пользователям больше данных, но сейчас это работает именно так. Google учитывает все версии ссылки для передачи PageRank, но может использовать только один вариант текста анкора.
Другие элементы, связанные со ссылками, которые влияют на индекс
Понимание того, как мы подсчитываем ссылки, — это одно, но повлиять на то, что учитывается, а что нет, может множество других вещей.
Количество ссылок на странице
Не думаю, что у нас есть ограничение на количество ссылок, которые мы учитываем на странице, но у нас есть ограничение на размер страницы, что в конечном итоге может повлиять на количество ссылок, которые мы видим. Google рекомендует использовать не более нескольких тысяч ссылок на одной странице.
Редиректы и канонические теги
В Ahrefs мы доверяем всем редиректам и каноническим тегам и консолидируем ссылки, если веб-сайты просят нас об этом. Для Google это более сложно, поскольку они учитывают множество сигналов каноникализации, которые определяют, какая страница является ведущей в кластере каноникализации. Мы не усложняем, потому что невозможно узнать, как Google рассматривает каждую ситуацию, и наши пользователи были бы сбиты с толку, если бы мы каждый раз относились к каноническим тегам и редиректам по-разному.
В наших отчетах эти ссылки можно узнать по меткам “301”, “302” или “Canonical”, например:
Какие домены индексируются?
В Ahrefs есть отчет Ссылающиеся домены, в котором отображаются все домены, ссылающиеся на веб-сайт или веб-страницу.
Но как именно мы считаем домены?
Вам может показаться, что на этот вопрос легко ответить. Это же просто домен.com, ведь так? К сожалению, все немного сложнее, поскольку существует множество способов подсчета доменов. Один из вариантов — рассматривать каждый зарегистрированный домен как отдельный домен, и похоже, что именно так Google агрегирует их в Google Search Console. Другой — рассматривать как отдельный домен каждый поддомен. Также можно агрегировать некоторые разделы сайта, но не все (как это делает Google), пропуская каждый раздел в отдельном техническом стеке и т. д. Есть много вариантов.
В базе Ahrefs пост-проверку прошли около 175 млн доменов. Процесс проверки включает удаление спам-доменов и выделение некоторых поддоменов, для которых мы смогли определить, что разные пользователи контролируют разные области. Для этого мы используем собственный список, но есть и несколько похожий общедоступный список на сайте https://publicsuffix.org/list/.
Важно отметить, что разные определения доменов могут привести к серьезным вариациям ссылающихся доменов. Вот несколько примеров того, что другие, не Ahrefs, могут считать отдельными доменами.
- Поддомены мобильных версий (m.домен.com, mobile.домен.com и другие).
- Поддомены по странам и языкам (en.домен.com, fr.домен.com, de.домен.com, jp.домен.com и другие). В нашем индексе могут быть исключения из этого правила, например, wikipedia.org, но это не стандартная практика.
- Случайные поддомены (support.домен.com, images.домен. com и другие).
Еще одно решение, которое должны принять поставщики инструментов для работы с обратными ссылками, это то, следует ли им считать некоторые подпапки отдельными доменами. Например, я думаю, что большинство индексов ссылок будут учитывать разные блоги на известных платформах (например, user1.blogspot.com, user2.blogspot.com) как разные домены, потому что их контролируют разные пользователи. Но почему бы не применить аналогичный подход к таким сайтам, как medium.com/user1 или github.com/user1? В Ahrefs в настоящее время мы их не учитываем, но есть вероятность, что в будущем, когда мы узнаем, что разные люди будут контролировать каждую подпапку на сайте, мы применим именно такой подход.
Смысл в том, что существует множество способов подсчета доменов. Это очевидно, если посмотреть на различные результаты компаний, которые подсчитывают количество сайтов в Интернете. По данным Verisign, на третий квартал 2020 года во всех доменах высшего уровня зарегистрировано 370,7 млн доменов. По данным Netcraft, на ноябрь 2020 года зарегистрировано 1 229 948 224 сайта на 263 787 870 уникальных доменах с 193,8 млн активных сайтов. По данным Internet Live Stats, существует около 1,8 млрд веб-сайтов, из которых в настоящее время активны менее 200 миллионов. Очевидно, что у каждой компании своя методология подсчета доменов.
Напомним, что мы в Ahrefs берем все известные нам сайты и удаляем много спама и неактивных доменов, а затем добавляем некоторые из них на основе поддоменов на таких сайтах, как blogspot.com. Вот как мы приходим к общему количеству доменов около 175 млн. Другие индексы могут делать это по-другому и давать другие подсчеты.
Почему мы не видим все ссылки?
Поскольку мы находим обратные ссылки при сканировании Интернета, мы можем делать это только на сайтах, которые разрешили сканирование. Если владелец сайта блокирует AhrefsBot в своем файле robots.txt, мы не можем сканировать их сайт. Например, если вы получаете обратную ссылку с сайта website. com, а сайт website.com блокирует AhrefsBot, мы не можем сканировать их сайт, и ваша обратная ссылка не будет отображаться в Ahrefs. Блокировка IP-адресов, блокировка пользовательских агентов на стороне сервера (отличается от robots.txt), превышение времени ожидания при обращении к серверу, механизмы защиты от ботов и многое другое также могут повлиять на нашу способность сканировать некоторые веб-сайты. Масштабируемое сканирование Интернета — непростая задача.
У нас есть несколько индексов ссылок
Каждый инструмент должен принимать решения о хранении и извлечении данных. В Ahrefs мы разбиваем наши данные на несколько индексов.
- Активные — ссылки, которые по нашим данным все еще активны в Интернете. Этот индекс наилучшим образом отражает текущее состояние Интернета, и это то, что многие из наших пользователей сочтут наиболее полезным.
- Последние — ссылки, которые были активны в Интернете по нашим данным за последние 3–4 месяца.
- Исторические — все ссылки, которые мы обнаружили за всю историю наблюдения. Это наиболее полный список, но со многими ссылками, которые больше не существуют.
Вы можете переключаться между этими индексами в наших отчетах “Бэклинки” и “Домены-доноры”.
Другие индексы могут отображать все данные, которые они когда-либо записывали, и хотя это означает, что они могут отображать множество ссылок, многие из них могут больше не существовать.
Заключение
Мы хотим, чтобы вы, наши пользователи, располагали дополнительной информацией о нашем индексе. Это поможет вам,принимать информированные решения. Мы также хотим, чтобы вы сообщили нам, если вы считаете, что нам следует что-то изменить и почему.
Если в настоящее время вы сравниваете индексы ссылок или у вас есть вопросы о наших данных, не стесняйтесь обращаться к нам с любыми вопросами или за разъяснениями.
Перевела Олеся Коробка, владелец Fajela.com
Бесплатная проверка неработающих ссылок — Инструмент проверки мертвых ссылок от Ahrefs
Зарегистрироваться
Бесплатные инструменты SEO /
Проверьте свой сайт на наличие неработающих входящих и исходящих ссылок за считанные секунды.
Проверка обратной ссылки
/
Управление авторитета веб-сайта
/
Например,
AHREFS.COM
YEP.com
Powered Loading Link Data
Ахрефс.
Наш поисковый робот является
Перевод: Мы постоянно обнаруживаем новые неработающие ссылки.
Попрощайтесь с неработающими ссылками
Мгновенный просмотр каждой неработающей исходящей ссылки на вашем сайте. Отсортируйте и отфильтруйте список, чтобы определить приоритет исправлений.
Регулярно проверяйте наличие новых неработающих ссылок по мере их обнаружения. Пресекайте их в зародыше, прежде чем они негативно повлияют на SEO.
Восстановите сломанные страницы
Просмотрите мертвые страницы, на которые чаще всего ссылаются.
Восстановите или перенаправьте их на подходящие альтернативы, чтобы восстановить «ссылочный капитал» и потенциально улучшить рейтинг.
Устранение мертвых внутренних ссылок
Просмотреть все неработающие страницы со ссылками из других мест на вашем сайте.
Улучшите навигацию и возможности сканирования, удалив ссылки или восстановив или перенаправив мертвые страницы.
Запланировать обнаружение новых неработающих ссылок
Выполнять ежедневное, еженедельное или ежемесячное сканирование для проверки новых неработающих ссылок — как внутренних, так и внешних.
Сравните разницу в количестве проблем между сканированиями, чтобы отслеживать ход выполнения.
Поиск и исправление неработающих перенаправлений
Проверьте домены, ссылки на которые вы не помните — они могли быть перенаправлены.
Удалите или замените ссылки, чтобы улучшить взаимодействие с пользователем и убедиться, что вы не ссылаетесь на вредоносные веб-сайты, которые могут повредить вашей поисковой оптимизации.
Создайте больше ссылок
Превратите неработающие страницы ваших конкурентов, на которые чаще всего ссылаются, в возможности для создания неработающих ссылок.
Создайте что-то похожее на одну из их мертвых страниц, а затем попросите тех, кто ссылается на эту страницу, вместо этого ссылаться на вас.
Узнайте больше в нашем
Экспорт данных в два клика
Получите любой отчет Ahrefs в формате CSV за считанные секунды. Отправьте файл коллеге или фрилансеру, чтобы он передал на аутсорсинг важные SEO-задачи.
Руководства по построению ссылок
Создание битых ссылок: полное руководство
Узнайте, что такое создание битых ссылок, работает ли оно до сих пор и как с его помощью получить обратные ссылки.
Руководство для начинающих по линкбилдингу
Все, что вам нужно знать о линкбилдинге для SEO. Что это такое, как это работает, что делает ссылку хорошей, как ее построить и многое другое.
9 простых стратегий создания ссылок (которые может использовать каждый)
Вы изо всех сил пытаетесь создать обратные ссылки на свой веб-сайт? Попробуйте эти 9простые (но эффективные) стратегии линкбилдинга сегодня.
Начать
Начните использовать полную версию средства проверки битых ссылок Ahrefs уже сегодня!
Посмотреть цены
Как Ahrefs считает ссылки и домены
Патрик Стокс
Патрик Стокс — консультант по продуктам, специалист по технической оптимизации и представитель бренда Ahrefs. Он является организатором Raleigh SEO Meetup, Raleigh SEO Conference, Beer & SEO Meetup, Findability Conference и модератором /r/TechSEO.
СТАТИЯ СТАТИКА
Ежемесячный трафик 21
Связывание веб -сайтов 24
твиты 33
33 33
9
33 33
9
. . Как правило, чем больше веб-сайтов ссылаются на вас, тем выше ваш рейтинг в Google.
Показывает приблизительный месячный поисковый трафик к этой статье по данным Ahrefs. Фактический поисковый трафик (по данным Google Analytics) обычно в 3-5 раз больше.
Сколько раз этой статьей поделились в Твиттере.
Поделитесь этой статьей
Подпишитесь на еженедельные обновления
Подписка по электронной почте
Подпишитесь
Содержание
Каждый инструмент обратных ссылок будет хранить разные ссылки.
При создании веб-индекса компаниям приходится принимать множество решений в отношении сканирования, анализа и индексирования данных. Хотя между индексами будет много совпадений, также будут некоторые различия в зависимости от решений каждой компании.
Во имя прозрачности мы хотим, чтобы люди знали больше об индексе ссылок Ahrefs.
- Что такое ссылка?
- Какие ссылки индексируются?
- Какие домены индексируются?
- Почему мы не видим все ссылки
Что такое ссылка?
Ссылки переносят пользователей с одной веб-страницы на другую при нажатии. Существует множество способов их создания, наиболее распространенным из которых является классический элемент HTML
с атрибутом href.
Однако можно создавать ссылки с другими элементами, в том числе:
Какие ссылки индексируются?
В идеальном мире все, что функционирует как ссылка, должно быть сохранено. К сожалению, мы живем не в идеальном мире. Ни Ahrefs, ни Google не хранят все типы ссылок, потому что загружать каждую страницу и переходить по каждой ссылке — неэффективный процесс. Это именно то, что вам нужно сделать, если вы хотите найти все ссылки, которые работают для пользователей.
Вместо этого поисковые роботы обычно извлекают страницы, возможно, отображают их, затем извлекают и сохраняют различные типы ссылок. Все поисковые роботы работают по-разному, поэтому давайте поговорим о том, как мы работаем здесь, в Ahrefs.
Ссылки, которые мы храним
Вот типы ссылок, которые мы храним в нашем индексе.
Внешние ссылки
Ссылки с одного веб-сайта на другой, созданные с использованием классического элемента HTML
с атрибутом href.
Внутренние ссылки
Ссылки с одной страницы веб-сайта на другую страницу того же веб-сайта. В нашем индексе 22,21 триллиона внутренних обратных ссылок. Это намного больше, чем количество внешних ссылок в реальном времени. Мы — единственный инструмент SEO, в котором вы можете получить доступ к этим данным без специального сканирования веб-сайта. Мы используем данные внутренних ссылок при расчете рейтинга URL (UR) аналогично тому, как Google использовал бы их при расчете PageRank.
Если вы хотите узнать, когда мы впервые и в последний раз просканировали URL-адрес, вы можете проверить отчет «Лучшее по ссылкам» в Site Explorer. Есть вкладки как для внешних, так и для внутренних ссылок.
Ссылки, которые мы можем хранить
Здесь перечислены все ссылки, которые мы храним при определенных обстоятельствах.
Ссылки, вставленные с помощью JavaScript
Поскольку Google отображает все страницы, они могут учитывать ссылки, вставленные с помощью JavaScript, но не находящиеся в коде HTML. Рендеринг в масштабе требует гораздо больше ресурсов, чем просто загрузка HTML-страниц. В Ahrefs мы рендерим около 80 миллионов страниц в день. Вот почему некоторые из этих ссылок будут вставлены с помощью JavaScript, но не все. В настоящее время мы являемся единственным SEO-инструментом, который обрабатывает данные во время обычного сканирования Интернета, поэтому у нас есть некоторые данные о ссылках, которых нет в других инструментах.
Однако мы учитываем только ссылки, вставленные с помощью JavaScript, если они имеют формат элемента HTML
с атрибутом href. Вы увидите, что эти ссылки помечены в отчете об обратных ссылках как «JS», например:
Ссылки со страниц с параметрами URL
Параметры – это дополнения к URL, например ?tag=something. Вы можете увидеть некоторые из этих URL-адресов в нашем индексе, но обычно это параметры, отображающие другой контент. Во многих случаях страницы с параметрами могут отображать один и тот же контент. У нас есть множество систем для объединения URL-адресов с каноническими версиями и дополнительной защиты от бесконечных путей сканирования. Другие инструменты могут не принимать такие же решения или иметь такие же средства защиты. В результате они могут учитывать одну и ту же ссылку много раз.
Ссылки, которые мы стараемся не хранить
Вот ссылки, которые мы стараемся не хранить.
Ссылки со страниц с параметрами URL
Как упоминалось выше, есть хорошие и плохие типы параметров. Мы стараемся не хранить те, которые дублируются.
Ссылки со страниц в бесконечных путях сканирования
Эти пути создают бесконечное количество возможных URL-адресов. Параметры — это один из способов их формирования, как и фильтры, динамический контент и неработающие относительные пути для ссылок. Как упоминалось ранее, у нас есть много средств защиты для ссылок на этих типах страниц, чтобы они с меньшей вероятностью отображались в наших отчетах. Соблюдение канонизации и то, как мы расставляем приоритеты при сканировании страниц, — это лишь две из этих мер защиты. Каждому индексу придется иметь дело с этими бесконечными пространствами, но эти страницы могут увеличить количество ссылок.
Ссылки, которые мы не храним
Вот все ссылки, которые мы никогда не храним.
Ссылки в PDF-файлах или других документах
Google преобразует многие форматы документов в HTML и индексирует их так же, как и любую другую страницу. Это означает, что они учитывают ссылки в этих документах. Я не верю, что какой-либо SEO-инструмент в настоящее время индексирует эти ссылки, но мы, вероятно, должны. Я думаю, что однажды мы это сделаем, но я также обеспокоен тем, что усилия и ресурсы, необходимые для этого, не будут стоить того. По словам аналитика Google Webmaster Trends Джона Мюллера, ссылки в PDF-файлах не имеют никакого практического значения для веб-поиска.
Ссылки в iframe
iframe позволяют отображать другую страницу внутри страницы. Из-за этого Ahrefs не считает ссылки в фреймах. Однако они отображаются пользователям, поэтому другие инструменты могут их учитывать, даже если контент технически принадлежит другой странице. Google может учитывать или не учитывать эти ссылки.
Ссылки с не проиндексированных страниц
Мы удаляем эти ссылки. Представители Google неоднозначно отзываются о том, используют ли они их при расчете ссылок или нет. Разные инструменты могут принимать разные решения.
что-то с noindex никогда не достигнет индекса обслуживания, но у нас будет полученная копия для таких вещей, как расчет графа ссылок. — Гэри 鯨理/경리 Illyes (@methode) 17 декабря 2020 г.
Одни и те же ссылки с разных IP-адресов
Интересный факт о Интернете заключается в том, что сайты могут обслуживать одну и ту же страницу с нескольких IP-адресов. В этом случае индекс ссылок может учитывать одну и ту же ссылку несколько раз. Мы этого не делаем. Мы связываем ссылки со страницами, на которых они находятся.
Несколько ссылок на одну и ту же страницу с одной страницы
В настоящее время мы записываем только одну версию ссылки на странице. Если вы ссылаетесь на страницу в меню, а затем снова в теле контента, мы засчитаем только одну из этих ссылок. Мы можем изменить это в будущем, чтобы предоставить пользователям больше данных, но это текущее состояние. Google будет учитывать все версии ссылок для передачи PageRank, но может использовать текст привязки только одной версии.
Другие элементы, связанные со ссылками и влияющие на индекс
Количество ссылок на страницу
Я не думаю, что у нас есть ограничение на количество ссылок, которые мы подсчитываем на странице, но у нас есть ограничение на размер страницы, которое в конечном итоге может повлиять на количество видимых ссылок. Google рекомендует не более нескольких тысяч ссылок на страницу.
Перенаправлено или канонизировано
В Ahrefs мы доверяем всем перенаправлениям и каноническим тегам и объединяем ссылки там, где это указано на веб-сайтах. Для Google это сложнее, так как у них много сигналов канонизации, которые определяют, какая страница лидирует в каноническом кластере. Мы делаем вещи простыми, потому что невозможно знать, как Google рассматривает каждую ситуацию, и это могло бы смутить наших пользователей, если бы мы каждый раз относились к каноническим и редиректам по-разному.
Эти ссылки отмечены в наших отчетах тегами «301», «302» или «Канонический», например:
Какие домены индексируются?
В Ahrefs у нас есть отчет Ссылающиеся домены , в котором показаны все домены, ссылающиеся на веб-сайт или веб-страницу.
Но как именно считать домены?
Казалось бы, на этот вопрос легко ответить. Это просто domain.com, верно? К сожалению, все немного сложнее, так как существует множество способов подсчета доменов. Один из вариантов — рассматривать каждый зарегистрированный домен как домен — именно так Google объединяет их в Google Search Console. Другой способ — рассматривать каждый поддомен как отдельный домен. Вы также можете агрегировать некоторые разделы сайта, а не другие (что делает Google), просматривать каждый раздел в другом технологическом стеке и т. д. Есть много вариантов.
У нас в Ahrefs около 175 миллионов доменов после проверки. Процесс проверки включает в себя удаление спам-доменов и выделение некоторых поддоменов, в которых мы определили, что разные пользователи контролируют разные области. Мы используем для этого пользовательский список, но есть несколько похожий общедоступный список на https://publicsuffix.org/list/.
Важно отметить, что разные определения домена могут привести к большим различиям в ссылающихся доменах. Вот несколько примеров того, что другие, не Ahrefs, могут считать отдельными доменами:
- Субдомены мобильных версий (m.domain.com, mobile.domain.com и т. д.)
- Субдомены страны/языка (en.domain.com, fr.domain.com, de.domain.com , jp.domain.com и т. д.). В нашем индексе могут быть исключения, такие как wikipedia. org, но это не стандартная практика.
- Случайные поддомены (support.domain.com, images.domain.com и т. д.)
Еще одно решение, которое должны принять поставщики инструментов для создания обратных ссылок, – следует ли им считать некоторые подпапки разными доменами. Например, я думаю, что большинство индексов ссылок будут учитывать разные блоги на известных платформах (например, user1.blogspot.com, user2.blogspot.com) как разные домены, потому что ими управляют разные пользователи. Но почему бы не сделать то же самое для таких сайтов, как medium.com/user1 или github.com/user1? Мы в Ahrefs в настоящее время не делаем этого, но есть шанс, что мы сможем это сделать в будущем, когда мы знаем, что разные люди контролируют каждую подпапку на сайте.
Дело в том, что существует множество способов подсчета доменов. Это становится очевидным, если вы посмотрите на разные цифры от компаний, которые подсчитывают сайты в Интернете. По данным Verisign, в третьем квартале 2020 года во всех TLD было зарегистрировано 370,7 млн доменов. По данным Netcraft, в ноябре 2020 года насчитывалось 1 229 948 224 сайта в 263 787 870 уникальных доменах с 193,8 миллионами активных сайтов. Согласно Internet Live Stats, существует примерно 1,8 миллиарда веб-сайтов, из которых в настоящее время активно менее 200 миллионов. У каждой компании явно своя методология подсчета доменов.
Напомним, что мы в Ahrefs делаем: берем все известные нам сайты и удаляем много спама и неактивных доменов, а затем добавляем некоторые для поддоменов на таких сайтах, как blogspot.com. Вот как мы подошли к общему количеству доменов ~ 175 миллионов. Другие индексы могут делать это по-другому и выдавать другие значения.
Почему мы не можем видеть все ссылки
Поскольку мы находим обратные ссылки при сканировании Интернета, мы можем делать это только на тех сайтах, которые нам разрешено сканировать. Если владельцы сайтов заблокируют AhrefsBot в своем файле robots.txt, мы не сможем просканировать их сайт. Например, если вы получаете обратную ссылку с сайта website. com, а веб-сайт.com блокирует AhrefsBot, мы не сможем просканировать их сайт, и ваша обратная ссылка не будет отображаться в Ahrefs. Блокировка IP-адресов, блокировка пользовательского агента с серверов (отличная от robots.txt), тайм-ауты серверов, защита от ботов и многое другое также могут повлиять на нашу способность сканировать некоторые веб-сайты. Сканировать Интернет в масштабе – непросто.
У нас есть несколько индексов ссылок
Каждый инструмент должен принимать решения о хранении и извлечении данных. Мы в Ahrefs разделяем наши данные на несколько индексов.
- Live — ссылки, которые мы видим, которые все еще активны в Интернете. Это лучше всего отражает текущее состояние Интернета и является наиболее полезным для многих наших пользователей.
- Недавние — ссылки, которые мы видели активными в Интернете за последние 3–4 месяца.
- Исторический — все ссылки, которые мы когда-либо видели.