Методология

Как сервис собирает домены зоны ru и считает статистику: что считается сайтом и активным, когда идёт обход, как распознаются CMS и сфера, какого размера выборка и где границы точности.

Откуда домены

Список доменов зоны ru берётся из реестра зоны (данные Статдом) и обновляется по мере поступления новых выгрузок. Каждый домен попадает в реестр один раз; повторные записи отбрасываются.

Что считается сайтом и активным

Сайтом считается домен, который отвечает по HTTP. Активным — домен, ответивший кодом 2xx или 3xx в момент последнего наблюдения. Домены без ответа остаются в реестре, но в доли активных не входят.

Когда проводится обход

Наблюдение идёт недельным циклом: домены реестра обходятся так, чтобы каждый попал в наблюдение раз в неделю. Агрегаты считаются по понедельникам и складываются в исторический ряд — прошлые недели не пересчитываются.

Как определяются CMS и сфера

CMS, сервер и CDN определяются автоматически по техническим признакам ответа сайта. Сфера сайта определяется автоматически по словам на главной странице и словарю сфер. Это отметки для отбора, а не диагноз: совпало несколько — берётся первая по словарю.

Размер выборки

Каждое число статистики сопровождается неделей измерения и размером выборки — сколько активных сайтов вошло в расчёт доли. Доли считаются от числа активных сайтов недели.

Ограничения

Наблюдается публичный ответ сайта, а не его внутреннее устройство. Признаки технологий и сферы распознаются автоматически и могут ошибаться на нетипичных сайтах. Домены без ответа в доли активных не входят, поэтому доля активных отражает наблюдаемую часть реестра.