Posted:
Июл 16, 2023
Comments:
0 Comments

Все поддомены: Как найти поддомены за считанные минуты? / Хабр

Содержание

Что такое поддомены и зачем они нужны

Когда бизнес создает свой сайт, кажется, что его можно бесконечно наполнять контентом: рассказывать о новых продуктах и услугах или завести блог. Но в некоторых случаях для решения новых задач эффективнее создать сайт на отдельном поддомене. Расскажем, что это такое, и объясним, когда и как поддомены могут быть полезны бизнесу. 

Что такое поддомен

Поддомен, или субдомен, — это отдельный домен, часть домена более высокого уровня. Чаще всего поддоменом называют домен третьего уровня. Проще говоря, это своего рода «подсайт», который выглядит и работает как самостоятельный ресурс. На него могут попадать пользователи, которые даже не знают о существовании основного домена. Например, на поддомен news.mail.ru пользователи приходят, чтобы узнать новости, а на biz.mail.ru — для регистрации корпоративного облачного хранилища. 

Имя поддомена состоит из названия основного сайта и собственного имени. У основного ресурса базы недвижимости cian. ru много поддоменов для разных регионов, адреса которых выглядят так: ryazan.cian.ru, spb.cian.ru, omsk.cian.ru.

Поддомен базы недвижимости «Циан» для Рязанской области

Зачем нужны поддомены

Поддомены сайта нужны не всем и не всегда. Их стоит использовать владельцам крупных интернет-ресурсов, для работы с несколькими сегментами целевой аудитории или тем, чей бизнес работает в нескольких регионах. 

Продвигать сайт в поисковых системах

Компания планирует продвигаться в высококонкурентной тематике. Чтобы попасть в топ поисковой выдачи, нужно использовать много высокочастотных ключевых слов. Но поисковые системы ограничивают разрешенное число высокочастотных ключей, например на главной странице сайта допустимо размещать не больше трех. Обойти это ограничение поможет продвижение сайта на поддомене. 

Так как, по сути, поддомен — отдельный ресурс, у него свое семантическое ядро и набор ключевых слов. Создав несколько поддоменов, можно распределить высокочастотные ключи между основным доменом и поддоменами и в результате привлечь больше трафика.

У бизнеса есть филиалы в нескольких регионах. «Яндекс» рекомендует создавать поддомены тем компаниям, у которых есть представительства в разных регионах.

Поддомены дают преимущество для продвижения в региональной выдаче. Это объясняется тем, что результаты поиска по коммерческим запросам подбираются с учетом местоположения пользователя. Например, когда пользователь ищет, как правильно отрегулировать окно, поисковик выдаст примерно те же результаты, что и человеку, живущему в соседнем городе. Но если решить заказать новые окна и ввести этот запрос в поисковик, в топе выдачи будут сайты компаний, которые работают в городе пользователя. Так настроен поисковый алгоритм — для него важна географическая привязка.

Результаты выдачи «Яндекса» при запросе из Рязани

Результаты выдачи «Яндекса» при запросе из Санкт-Петербурга

Создать удобную навигацию 

У компании несколько проектов или сервисов. Если бизнес ведет несколько проектов с разной спецификой, логично выделять для каждого продукта отдельный поддомен. У «Яндекса», например, свои поддомены для доставки еды — eda.yandex.ru, для образовательного проекта — academy.yandex.ru, для маркетплейса — market.yandex.ru. 

Поддомен «Яндекса» для сервиса такси

Поддомен «Яндекса» для образовательного сервиса

На сайте представлены товары из разных категорий. Поддомены подходят маркетплейсам и крупным интернет-магазинам с большим ассортиментом. Таким образом сервисы грамотно структурируют контент, чтобы пользователям было проще находить нужные товары.

Например, портал drom.ru выделил разные поддомены для продажи легковых автомобилей, спецтехники и запчастей. 

Поддомен для продажи легковых автомобилей

Поддомен для продажи грузовых автомобилей и спецтехники

Продукты предназначены для разных сегментов аудитории. Когда бизнес ориентирован на разные целевые аудитории, поддомены помогают их сегментировать. Например, разделить направления b2b и b2c. Так часто делают банки и мобильные операторы: создают отдельные поддомены для работы с частными клиентами и с малым или крупным бизнесом.

Региональный поддомен МТС для частных клиентов

Поддомен МТС для владельцев малого бизнеса

Повысить безопасность основного домена

Если нужно протестировать новые функции. Вместо локального тестового сервера можно использовать поддомен и уже на нем осваивать новые плагины и менять дизайн или функциональность сайта. Это обезопасит основной ресурс от понижения в поисковой выдаче и сохранит его репутацию. 

Безопасность в случае санкций. Если на поддомен наложат санкции, это не отразится на основном ресурсе.

Обеспечить удобный доступ с разных устройств 

Существенная часть трафика на сайты идет со смартфонов, поэтому стоит позаботиться о том, чтобы на сайт было удобно зайти с любого устройства. 

Крупные сайты со сложной структурой и «тяжелым» контентом бывает непросто адаптировать для мобильных устройств. Решением может стать отдельный поддомен, где будет находиться урезанная версия. Плюс для пользователя — сайт будет быстро загружаться и комфортно читаться. Плюс для владельца — такой вариант проще реализовать.

Ускорить работу сайта

Поддомены помогают снизить нагрузку на основной сайт. Например, если на ресурсе размещено много изображений и это замедляет загрузку сайта. Если переместить часть данных на отдельный поддомен, браузер будет воспринимать запросы как адресованные разным серверам, а скорость работы сайта увеличится.

Что нужно учитывать при создании поддоменов

Поисковики по-разному «относятся» к поддоменам. Продвижение поддоменов сложно реализовать в Google. Причина в том, что он часто воспринимает поддомены не как отдельные ресурсы, а как разделы основного сайта. Поэтому в результатах поиска, вероятнее всего, не будет выводить одновременно основной ресурс и его поддомен. 

Важно правильно оптимизировать поддомен, иначе поисковики могут принять его за клон основного сайта. Чтобы избежать такой ситуации, советуем соблюдать определенные условия: 

  • создавать уникальный контент для каждого поддомена; 
  • присваивать поддоменам региональность;
  • перелинковывать их с основным сайтом, чтобы пользователь мог попасть с главной страницы на региональную.

Для технической поддержки потребуется больше ресурсов. Поддомен — отдельный ресурс, поэтому важно обеспечивать техническую поддержку каждого поддомена и продвигать их как самостоятельные сайты. Конечно, для этого понадобится больше специалистов, но нагрузка распределится между сотрудниками, и у каждого появится своя зона ответственности.

С чего начать

Чтобы понять, стоит ли компании использовать поддомены для оптимизации работы бизнеса или для продвижения в Сети, нужно проконсультироваться с SEO-специалистами. Они проанализируют сайт и дадут конкретные рекомендации. Для самостоятельного создания поддомена воспользуйтесь подробной инструкцией. 

Выводы

  1. Поддомены особенно полезны крупным интернет-магазинам и маркетплейсам, компаниям с филиалами в регионах и бизнесам, работающим с разными сегментами целевой аудитории. 
  2. Поддомены помогают продвигаться в высококонкурентной тематике и в регионах, создавать удобную навигацию, ускорять работу сайта.  
  3. С помощью поддомена компании могут протестировать нововведения перед запуском на основном сайте. 

Как узнать все поддомены у домена?

Во время пентестов очень часто возникает задача просканировать все поддомены у целевого домена. Делать это вручную не очень удобно, поэтому сегодня мы предлагаем вам подборку инструментов для автоматизации сканирования поддоменов.

Чем больше используемых методов, тем больше шансов найти интересные поддомены, которые другие могли пропустить.

Некоторые спецы рекомендуют использовать только несколько инструментов (таких как Amass, Massdns, Subfinder & Gobuster). Правда люди, у которых плохое подключение к Интернету и не VPS, не смогут использовать эти высокоэффективные и быстрые инструменты. Поэтому выбирайте то, что работает для вас!

Методы

  • Scraping
  • Brute-force
  • Alterations & permutations of already known subdomains
  • Online DNS tools
  • SSL certificates
  • Certificate Transparency
  • Search engines
  • Public datasets
  • DNS aggregators
  • Git repositories
  • Text parsing (HTML, JavaScript, documents…)
  • VHost discovery
  • ASN discovery
  • Reverse DNS
  • Zone transfer (AXFR)
  • DNSSEC zone walking
  • DNS cache snooping
  • Content-Security-Policy HTTP headers
  • Sender Policy Framework (SPF) records
  • Subject Alternate Name (SAN)

Linux tools

AltDNS

Subdomain discovery through alterations and permutations

https://github. com/infosec-au/altdns

Installation

git clone https://github.com/infosec-au/altdns.git
cd altdns
pip install -r requirements.txt

Usage:

Generate a list of altered subdomains: ./altdns.py -i known-subdomains.txt -o new_subdomains.txt

Generate a list of altered subdomains & resolve them: ./altdns.py -i known-subdomains.txt -o new_subdomains.txt -r -s resolved_subdomains.txt

Other options

-w wordlist.txt: Use custom wordlist (default altdns/words.txt)

-t 10 Number of threads

-d $IP: Use custom resolver

Amass

Brute force, Google, VirusTotal, alt names, ASN discovery

https://github.com/OWASP/Amass

Installation

go get -u github.com/OWASP/Amass/...

Usage

Get target’s ASN from http://bgp.he.net/

amass -d target. com -o $outfile

Get subdomains from ASN: amass.netnames -asn $asn

Assets-from-spf

Parse net blocks & domain names from SPF records

https://github.com/yamakira/assets-from-spf

Installation

git clone https://github.com/yamakira/assets-from-spf.git
pip install click ipwhois

Usage

cd the-art-of-subdomain-enumeration; python assets_from_spf.py target.com

Options

--asn: Enable ASN enumeration

BiLE-suite

HTML parsing, reverse DNS, TLD expansion, horizontal domain correlation

https://github.com/sensepost/BiLE-suite

Installation

aptitude install httrack
git clone https://github.com/sensepost/BiLE-suite.git

Usage

List links related to a site: cd BiLE-suite; perl BiLE.pl target. com target

Extract subdomains from the results of BiLe.pl: ` cat target.mine grep -v “Link from” cut -d’:’ -f2 grep target.com sort uniq`

Bing

Usage

Find subsomains: site:target.com

Find subdomains & exclude specific ones: site:target.com -site:www.target.com

Censys_subdomain_enum.py

pip install censys
git clone https://github.com/appsecco/the-art-of-subdomain-enumeration.git

Add your CENSYS API ID & SECRET to the-art-of-subdomain-enumeration/censys_subdomain_enum.py

  • Usage
  • cd the-art-of-subdomain-enumeration; python censys_enumeration.py target.com

Cloudflare_enum.py

Extract subdomains from Cloudflare

DNS aggregator

https://github.com/appsecco/the-art-of-subdomain-enumeration/blob/master/cloudflare_subdomain_enum.py

Installation

pip install censys
git clone https://github. com/appsecco/the-art-of-subdomain-enumeration.git

Usage

the-art-of-subdomain-enumeration; python cloudflare_subdomain_enum.py [email protected] target.com

Crt_enum_psql.py

Query crt.sh postgres interface for subdomains

https://github.com/appsecco/the-art-of-subdomain-enumeration/blob/master/crt_enum_psql.py

Installation

pip install psycopg2
 git clone https://github.com/appsecco/the-art-of-subdomain-enumeration.git

Usage

cd python the-art-of-subdomain-enumeration; python crtsh_enum_psql.py target.com

Crt_enum_web.py

Parse crt.sh web page for subdomains

https://github.com/appsecco/the-art-of-subdomain-enumeration/blob/master/crt_enum_web.py

Installation

pip install psycopg2
 git clone https://github.com/appsecco/the-art-of-subdomain-enumeration. git

Usage

cd python the-art-of-subdomain-enumeration; python3 crtsh_enum_web.py target.com

CTFR

Enumerate subdomains using CT logs (crt.sh)

https://github.com/UnaPibaGeek/ctfr

Installation

git clone https://github.com/UnaPibaGeek/ctfr.git
cd ctfr
pip3 install -r requirements.txt

Usage

cd ctfr; python3 ctfr.py -d target.com -o $outfile

Dig

Zone transfer, DNS lookups & reverse lookups

Installation

Installed by default in Kali, otherwise:

aptitude instal dnsutils

Usage

dig +multi AXFR target.com dig +multi AXFR $ns_server target.com

Domains-from-csp

  • Description
  • Extract domain names from Content Security Policy(CSP) headers
  • https://github.com/yamakira/domains-from-csp
  • Installation
git clone https://github. com/yamakira/domains-from-csp.git
pip install click
  • Usage
  • Parse CSP header for domains: cd domains-from-csp; python csp_parser.py $URL
  • Parse CSP header & resolve the domains: cd domains-from-csp; python csp_parser.py $URL -r

Dnscan

  • Description
  • AXFR, brute force
  • https://github.com/rbsec/dnscan
  • Install
git clone https://github.com/rbsec/dnscan.git
cd dnscan
pip install -r requirements.txt
  • Usage
  • Subdomain brute-force of a domain: dnscan.py -d target.com -o outfile -w $wordlist
  • Subdomain brute-force of domains listed in a file (one by line): dnscan.py -l $domains_file -o outfile -w $wordlist
  • Other options:
  • -i $file: Output discovered IP addresses to a text file
  • -r: Recursively scan subdomains
  • -T: TLD expansion

Dnsrecon

  • Description
  • DNS zone transfer, DNS cache snooping, TLD expansion, SRV enumeration, DNS records enumeration, brute-force, check for Wildcard resolution, subdomain scraping, PTR record lookup, check DNS server cached records, mDNS records enumeration…
  • https://github. com/darkoperator/dnsrecon
  • Installation
  • aptitude install dnsrecon on Kali, or:
git clone https://github.com/darkoperator/dnsrecon.git
cd dnsrecon
pip install -r requirements.txt
  • Usage
  • Brute-force: dnsrecon -d target.com -D wordlist.txt -t brt
  • DNS cache snooping: dnsrecon -t snoop -D wordlist.txt -n 2.2.2.2 where 2.2.2.2 is the IP of the target’s NS server
  • Options
  • --threads 8: Number of threads
  • -n nsserver.com: Use a custom name server
  • Output options
  • --db: SQLite 3 file
  • --xml: XML file
  • --json: JSON file
  • --csv: CSV file

Dnssearch

  • Description
  • Subdomain brute-force
  • https://github.com/evilsocket/dnssearch
  • Installation
go get github. com/evilsocket/dnssearch
  • Add ~/go/bin/ to PATH by adding this line to ~/.profile: export PATH=$PATH:/home/mima/go/bin/
  • Usage
  • dnssearch -domain target.com -wordlist $wordlist
  • Other options
  • -a bool: Lookup A records (default true)
  • -txt bool: Lookup TXT records (default false)
  • -cname bool: Show CNAME records (default false)
  • -consumers 10: Number of threads (default 8)

Fierce

  • Description
  • AXFR, brute force, reverse DNS
  • https://github.com/bbhunter/fierce-domain-scanner (original link not available anymore)
  • Installation
  • Installed by default on Kali
  • Usage fierce -dns target.com

Gobuster

  • Description
  • todo
  • https://github.com/OJ/gobuster
  • Installation
git clone https://github. com/OJ/gobuster.git
cd gobuster/
go get && go build
go install
  • Usage
  • gobuster -m dns -u target.com -w $wordlist
  • Other options:
  • -i: Show IP addresses
  • -t 50: Number of threads (default 10)

Google

  • Search engine
  • Usage
  • Find subsomains: site:*.target.com
  • Find subdomains & exclude specific ones: site:*.target.com -site:www.target.com -site:help.target.com

Knock

  • Description
  • AXFR, virustotal, brute-force
  • https://github.com/guelfoweb/knock
  • Install
apt-get install python-dnspython
git clone https://github.com/guelfoweb/knock.git
cd knock
nano knockpy/config.json # <- set your virustotal API_KEY
python setup.py install
  • Usage
  • Use default wordlist: knockpy target. com
  • Use custom wordlist: knockpy target.com -w $wordlist
  • Resolve domain name & get response headers: knockpy -r target.com or knockpy -r $ip
  • Save scan output in CSV: knockpy -c target.com
  • Export full report in JSON: knockpy -j target.com

Ldns-walk

  • Description
  • DNSSEC zone walking
  • Installation
  • aptitude install ldnsutils
  • Usage
  • Detect if DNSSEC NSEC or NSEC3 is used:
  • ldns-walk target.com
  • ldns-walk @nsserver.com target.com
  • If DNSSEC NSEC is enabled, you’ll get all the domains
  • If DNSSEC NSEC3 is enabled, use Nsec3walker

Massdns

  • Description
  • DNS resolver
  • https://github.com/blechschmidt/massdns
  • Installation
git clone https://github.com/blechschmidt/massdns. git
cd massdns/
make
  • Usage
  • Resolve domains: cd massdns; ./bin/massdns -r lists/resolvers.txt -t AAAA -w results.txt domains.txt -o S -w output.txt
  • Subdomain brute-force: ./scripts/subbrute.py wordlist.txt target.com | ./bin/massdns -r lists/resolvers.txt -t A -o S -w output.txt
  • Get subdomains with CT logs parser & resolve them with Massdns: ./scripts/ct.py target.com | ./bin/massdns -r lists/resolvers.txt -t A -o S -w output.txt
  • Other options:
  • -s 5000: Number of concurrent lookups (default 10000)
  • -t A (default), -t AAAA, -t PTR…: Type of DNS records to retrieve
  • Output options
  • -o S -w output.txt: Save output as simple text
  • -o F: Save output as full text
  • -o J: Save output as ndjson

Nsec3walker

  • Description
  • DNSSEC NSEC3 zone walking
  • https://dnscurve. org/nsec3walker.html
  • Installation
wget https://dnscurve.org/nsec3walker-20101223.tar.gz
tar -xzf nsec3walker-20101223.tar.gz
cd nsec3walker-20101223
make
  • Usage
./collect target.com > target.com.collect
./unhash  target.com.collect > target.com.unhash
cat target.com.unhash | grep "target" | wc -l
cat target.com.unhash | grep "target" | awk '{print $2;}'

Rapid7 Forward DNS dataset (Project Sonar)

  • Description
  • Public dataset containing the responses to DNS requests for all forward DNS names known by Rapid7’s Project Sonar
  • https://opendata.rapid7.com/sonar.fdns_v2/
  • Installation
  • aptitude install jq pigz
  • Usage
wget https://scans.io/data/rapid7/sonar.fdns_v2/20170417-fdns.json.gz
cat 20170417-fdns.json.gz | pigz -dc | grep ".target.org" | jq`

San_subdomain_enum. py

  • Description
  • Extract subdomains listed in Subject Alternate Name(SAN) of SSL/TLS certificates
  • https://github.com/appsecco/the-art-of-subdomain-enumeration/blob/master/san_subdomain_enum.py
  • Installation
  • git clone https://github.com/appsecco/the-art-of-subdomain-enumeration.git
  • Usage
  • cd python the-art-of-subdomain-enumeration; ./san_subdomain_enum.py target.com

Second Order

  • Description
  • Second-order subdomain takeover scanner
  • Can also be leveraged as an HTML parser to enumerate subdomains
  • https://github.com/mhmdiaa/second-order
  • Installation
  • go get github.com/mhmdiaa/second-order
  • Usage
  • Create a new copy of the default config.json file: cp ~/go/src/github.com/mhmdiaa/second-order/config.json ~/go/src/github.com/mhmdiaa/second-order/config-subs-enum.json
  • And edit ` ~/go/src/github. com/mhmdiaa/second-order/config-subs-enum.json to replace “LogCrawledURLs”: false with “LogCrawledURLs”: true`
  • second-order -base https://target.com -config config.json -output target.com
  • Look for new subdomains in the resulting folder (./target.com)

Subbrute

  • Description
  • Brute-force
  • https://github.com/TheRook/subbrute
  • Installation
aptitude install python-dnspython
git clone https://github.com/TheRook/subbrute.git
  • Usage
  • Test a single domain: ./subbrute.py target.com
  • Test multiple domains: ./subbrute.py target1.com target2.com
  • Test a list of domains: ./subbrute.py -t domains.txt
  • Enumerate subdomains, then their own subdomains:
./subbrute.py target.com > target.out
./subbrute.py -t target.out
  • Other options
  • -s wordlist. txt: Use a custom subdomains wordlist
  • -p: Print data from DNS records
  • -o outfile.txt: Save output in Greppable format
  • -j JSON: Save output to JSON file
  • -c 10: Number of threads (default 8)
  • -r resolvers.txt: Use a custom list of DNS resolvers

Subfinder

  • Description
  • VirusTotal, PassiveTotal, SecurityTrails, Censys, Riddler, Shodan, Bruteforce
  • https://github.com/subfinder/subfinder
  • Installation:
  • go get github.com/subfinder/subfinder
  • Configure API keys: ./subfinder --set-config VirustotalAPIKey=0x41414141
  • Usage
  • Scraping: ./subfinder -d target.com -o $outfile
  • Scraping & brute-force: subfinder -b -d target.com -w $wordlist -o $outfile
  • Brute-force only: ./subfinder --no-passive -d target.com -b -w $wordlist -o $outfie
  • Other options:
  • -t 100: Number of threads (default 10)
  • -r 8. 8.8.8,1.1.1.1 or -rL resolvers.txt: Use custom resolvers
  • -nW: Exclude wildcard subdomains
  • -recursive: Use recursion
  • -o $outfile -oJ: JSON output

Sublist3r

  • Description
  • Baidu, Yahoo, Google, Bing, Ask, Netcraft, DNSdumpster, VirusTotal, Threat Crowd, SSL Certificates, PassiveDNS
  • https://github.com/aboul3la/Sublist3r
  • Installation
git clone https://github.com/aboul3la/Sublist3r.git
cd Sublist3r
pip install -r requirements.txt
  • Usage
  • Scraping: ./sublist3r.py -d target.com -o $outfile
  • Bruteforce: ./sublist3r.py -b -d target.com -o $outfile
  • Other options:
  • -p 80,443: Show only subdomains which have open ports 80 and 443

Theharvester

  • Description
  • Tool for gathering subdomain names, e-mail addresses, virtual hosts, open ports/ banners, and employee names from different public sources
  • Scraping, Brute-force, Reverse DNS, TLD expansion
  • Scraping sources: Threatcrowd, Crtsh, Google, googleCSE, google-profiles, Bing, Bingapi, Dogpile, PGP, LinkedIn, vhost, Twitter, GooglePlus, Yahoo, Baidu, Shodan, Hunter
  • https://github. com/laramies/theHarvester
  • Installation
  • aptitude install theharvester
  • Usage
  • Scraping: theharvester -d target.com -b all
  • Other options:
  • -h output.html: Save output to HTML file
  • -f output.html: Save output to HTML & XML files
  • -t: Also do TLD expansion discovery
  • -c: Also do subdomain bruteforce
  • -n: Also do a DNS reverse query on all ranges discovered

vhost-brute

  • Description
  • vhosts brute-force
  • https://github.com/gwen001/vhost-brute
  • Installation
aptitude install php-curl
git clone https://github.com/gwen001/vhost-brute.git
  • Usage
  • php vhost-brute.php --ip=$ip --domain=target.com --wordlist=$outfile
  • Other options:
  • --threads=5: Maximum threads (default 1)
  • --port: Set port
  • --ssl: Force SSL

Virtual-host-discovery

  • Description
  • vhosts brute-force
  • https://github. com/jobertabma/virtual-host-discovery
  • Installation
  • git clone https://github.com/jobertabma/virtual-host-discovery.git
  • Usage
  • cd virtual-host-discover; ruby scan.rb --ip=1.1.1.1 --host=target.com --output output.txt
  • Other options
  • --ssl=on: Enable SSL
  • --port 8080: Use a custom port
  • --wordlist wordlist.txt: Use a custom wordlist

Virustotal_subdomain_enum.py

  • Description
  • Query VirusTotal API for subdomains
  • DNS aggregator
  • https://github.com/appsecco/the-art-of-subdomain-enumeration/blob/master/virustotal_subdomain_enum.py
  • Installation
  • git clone https://github.com/appsecco/the-art-of-subdomain-enumeration.git
  • Usage
  • python virustotal_subdomain_enum.py target.com 40

Online tools

Search engines

  • Baidu
  • Yahoo
  • Google
  • Bing
  • Yandex
  • Exalead
  • Dogpile

Specialized search engines

  • ZoomEye
  • FOFA
  • Shodan
  • ThreatCrowd

Certificate transparency

  • Crt. sh
  • Certspotter.com
  • Google Transaprency report
  • Facebook CT Monitoring
  • Certstream
  • CertDB
  • Censys.io

Public datasets

  • Scans.io
  • Riddler
  • SecurityTrails
  • Common Crawl
  • PassiveTotal / RiskIQ Community API
  • DNSDB
  • Forward DNS dataset
  • WhoisXML API
  • PremiumDrops.com

Online DNS tools & DNS aggregators

  • VirusTotal
  • Dnsdumpster
  • Cloudflare
  • Netcraft
  • FindSubdomains
  • viewdns.info
  • Site Dossier

Git repositories

  • Github
  • Gitlab

Wordlists

  • all.txt
  • commonspeak2-wordlists
  • SecLists lists

Click to rate this post!

[Total: 6 Average: 4.2]

Бесплатный поиск поддоменов | Найти все субдомены веб-сайта

Найти и изучить все субдомены одним щелчком мыши

Неправильный URL

Получить данные о трафике и ключевых словах любого субдомена

Что вы увидите в отчетеОбратите внимание, что информация будет недоступна, если субдомен скрыт или недоступен.

«>

Доля трафика

Общий трафик

Общая стоимость трафика

Всего ключевых слов

Местоположение

Доля трафика

Инструмент показывает процент трафика, который субдомен приносит на анализируемый веб-сайт. Эта метрика показывает долю трафика для выбранного местоположения и периода.

Общий трафик

Инструмент показывает объем органического трафика поддомена. SE Ranking рассчитывает ожидаемый рейтинг кликов, объем поиска и текущий рейтинг ключевых слов, чтобы оценить это значение.

Общая стоимость трафика

Этот показатель показывает предполагаемую стоимость органического трафика, который субдомен получает при таргетинге на все обнаруженные ключевые слова. Инструмент отображает стоимость в эквиваленте цен Google Ads.

Всего ключевых слов

Общее количество ключевых слов, по которым субдомен занимает место в органическом поиске. Нажмите, чтобы получить больше данных по каждому ключевому слову: трафик, сложность, объем поиска, конкуренция и функции SERP.

Местоположение

Анализ производительности поддоменов в любом месте. Выберите любую из 190 стран, чтобы получить доступ к данным на уровне страны.

Дата

Получите подробные исследовательские отчеты за выбранный месяц. Получите доступ к историческим данным, чтобы получить подробную информацию за любой прошедший месяц, начиная с февраля 2020 года.

FAQ

Как найти поддомены?

Существует несколько способов поиска поддоменов:

  • Вручную, с помощью сайта : *оператор в Google
  • Проверкой записей DNS с помощью команды nslookup
  • С помощью нашего онлайн-сканера поддоменов или аналогичные инструменты

Как проверить записи DNS поддомена?

Вы можете найти записи DNS с помощью команды nslookup в командной строке. Он показывает все записи DNS для данного домена, включая список поддоменов. Команда работает для операционных систем Windows, Linux и macOS.

Как субдомены отображаются в Google?

Субдомен отображается как отдельный результат поиска. Большинство поисковых систем, включая Google, рассматривают поддомены как отдельные сайты — они сканируют, индексируют и ранжируют их независимо от основного сайта. Поэтому оптимизация основного домена и его поддоменов одинаково важна.

Можно ли скрыть поддомены?

Да, субдомены можно скрыть. Есть несколько способов сделать это:

  • Скрыть от сканеров с помощью запретить директиву в файле robots.txt
  • Скрыть от индексации — использовать директиву noindex или none в метатеге robots в HTML-коде страницы
  • Установить HTTP-заголовки X-Robots-Tag to noindex или none на сервере поддоменов

Можно ли скрыть поддомены от инструментов сканирования?

Полностью скрыть субдомен от сканирования невозможно. Средства проверки поддоменов используют общедоступные регистры DNS для поиска информации. Но даже если сканер обнаружил поддомен, это не обязательно означает, что страница общедоступна — ее содержимое может быть скрыто.

Можно ли захватить субдомен?

Перехват поддомена происходит, когда поддомен указывает на неактивную внешнюю службу, но CNAME, используемый для этой службы, все еще находится в записях DNS. Хакеры могут настроить виртуальный хост для поддомена и получить над ним контроль.

Является ли субдомен отдельным сайтом?

С точки зрения SEO поддомены — это отдельные сайты. Они связаны с доменным именем, но не с самим сайтом. Поддомены используются для разных задач:

  • локализация сайта для различных регионов
  • разделение категорий товаров, услуг или информации
  • публикация пользовательского контента
  • отдельная отрисовка приложения сайта
  • тестирование новых элементов сайта

Является ли WWW поддоменом?

Технически да. Вы можете найти его среди других поддоменов в результатах поиска, но он часто перенаправляет на основной домен. Когда Интернет был впервые создан, адрес www. префикс использовался для различения сайтов, использующих интернет-протокол. Сегодня некоторые хостинг-провайдеры автоматически создают поддомен WWW для всех сайтов и настраивают редирект.

Сколько поддоменов может иметь домен?

Теоретически ограничения на количество поддоменов нет, но некоторые DNS-серверы устанавливают ограничения. Например, GoDaddy ограничивает пользователей 500 поддоменами.

Поднимитесь на вершину результатов поиска с помощью SEO-платформы SE Ranking

Более 30 инструментов всего за $18 в месяц

Отслеживание рейтинга ключевых слов

100% точная проверка позиции в рейтинге в любом регионе/устройстве/поисковой системе.

От 250 ключевых слов в месяц

Аудит сайта

Проверьте свой сайт по 130 параметрам и узнайте, как исправить технические неполадки.

От 40 000 страниц в месяц

Исследование конкурентов

Узнайте стратегии конкурентов и проанализируйте всю нишу.

От 20 отчетов в день

Исследование ключевых слов

Расширьте список ключевых слов вашего сайта или создайте новый.

От 20 отчетов в день

Проверка обратных ссылок

Узнайте, какие веб-сайты ссылаются на ваших конкурентов или клиентов.

От 20 доменов в день

Мониторинг обратных ссылок

Следите за статусом ваших обратных ссылок и отслеживайте их эффективность.

из 6000 обратных ссылок в месяц

Попробуйте платформу бесплатно

Почему 800 000+ пользователей присоединились к рейтингу SE

Большие базы данных

анализировать данные на более 3 миллиардах ключевых слов в 68 странах, плюс мы постоянно расширяем наши списки Databases. .

Добавьте свои ключевые слова

Если вы работаете в узкой нише и у нас нет данных по вашим поисковым запросам, просто загрузите их вручную и сервис соберет всю актуальную информацию.

Экспорт любых отчетов

SE Ranking не имеет ограничений на экспорт данных. Вы можете экспортировать каждый доступный отчет для дальнейшего анализа.

Гибкое ценообразование

Вы сами определяете цену, выбирая количество ключевых слов для отслеживания и частоту проверки их позиций в рейтинге. Вы можете платить только за те инструменты, которыми действительно пользуетесь.

Получить помощь на любом этапе

После регистрации в сервисе с вами свяжется менеджер, который поможет разобраться, как работает платформа и какую пользу она может принести вашему проекту.

Множество учебных материалов

Мы предлагаем канал YouTube, блог, вебинары, а также справочный центр с большим количеством практических статей и видеороликов. Мы всегда заняты созданием новых форматов, чтобы вам было проще и быстрее освоить SEO.

Удобное мобильное приложение

Вы можете легко управлять своей SEO-стратегией прямо с телефона. И если что-то пойдет не по плану, вы получите уведомление.

Возможность формировать платформу в соответствии с вашими потребностями

Видите что-то, что не имеет смысла, не работает или отсутствует на платформе? Просто свяжитесь с нами, и мы посмотрим, что мы можем сделать.

API

Используйте API для более эффективного управления большими или сложными учетными записями. Автоматически создавать, настраивать или удалять проекты.

Как найти все поддомены доменного имени?

Есть несколько причин, по которым вы можете захотеть найти все поддомены домена, но в целом эти причины сводятся либо к организации какой-либо атаки на веб-сайт (что мы не одобряем), либо к защите себя от такая атака, включая аудит ваших субдоменов, чтобы убедиться, что в вашем файле зоны DNS нет неиспользуемых субдоменов.

Возможно, вы также надеетесь получить полный список всех служб, на которые указывает доменное имя, например, чтобы передать его другому провайдеру DNS.

В этой статье мы рассмотрим, что такое субдомен с технической точки зрения, и как вы можете или не можете (и почему нет!) получить общую картину субдоменов доменного имени.

Что такое субдомен?

Начнем с основ.

Когда вы регистрируете доменное имя, реестр домена (то есть организация, которая управляет делегированием доменных имен в конкретном доменном имени верхнего уровня или TLD, также иногда называемом в просторечии расширением или окончанием домена) делегирует полномочия над зоной DNS этого доменного имени вам.

Помните: система доменных имен иерархична. Это означает, что полномочия корневого домена сосредоточены в IANA, части ICANN, ответственной за делегирование доменных имен верхнего уровня реестрам, которые затем делегируют полномочия людям, покупающим доменные имена.

Это означает, что если вы регистрируете доменное имя example.com, реестр .com делегирует вам полномочия над example.com и, так сказать, любой другой «дочерней ветвью» этого дерева доменов.

И точно так же, как .com имеет полномочия от IANA для создания любого нового домена .com, который кто-либо запрашивает, вы также имеете право создавать любую новую дочернюю ветвь дерева «example.com».

Таким образом, вы можете сделать foo.example.com, www.example.com, или www.foo.example.com, или www.foo.www.foo.example.com.

Эти дочерние ветки, конечно же, мы называем субдоменами.

Как создать субдомен

Способ создания субдомена в зарегистрированном вами доменном имени — это просто вопрос связывания этого субдомена с ресурсом в вашем файле зоны DNS. Тип записи DNS, которую вы будете использовать, может зависеть от того, какой тип ресурса вы на самом деле связываете с ней.

Однако существует один тип записи DNS, который на сегодняшний день наиболее часто используется для субдоменов: запись CNAME.

CNAME — это запись «Каноническое имя». В отличие от других типов записей DNS, которые создают отношение «один к одному» между поддоменом и ресурсом (например, запись A), CNAME фактически превращает поддомен в псевдоним другого доменного имени. Другими словами, он сопоставляет этот субдомен с другим доменом.

На самом деле это дает гораздо большую гибкость, и именно поэтому тип записи CNAME на сегодняшний день является наиболее часто используемым типом записи для создания поддоменов.

Что можно делать с поддоменом?

Поддомены могут использоваться для любого ресурса. Чаще всего они используются для определения отдельных пространств имен, таких как отдельные, но связанные веб-сайты, или обозначают что-то в структуре веб-сайта. Например, нередко можно увидеть такие реализации, как shop.example.com для интернет-магазина данного веб-сайта или системы оплаты и mail.example.com для размещенной службы веб-почты. На заре Всемирной паутины поддомен www использовался для веб-сайта, связанного с доменным именем, в то время как простой домен (без поддомена) предназначался для более «общего» использования (например, для почтовой службы).

Субдомены также часто используются как способ «расширить» DNS за пределы основных служб. Так обстоит дело с идентифицированной почтой DomainKeys или DKIM. DKIM — это система, использующая DNS для аутентификации отправителя электронной почты с использованием аутентификации с открытым ключом. Часть открытого ключа аутентификации хранится в DNS в записи типа TXT.

Запись DKIM использует поддомены как часть синтаксиса хранения этого ключа. Все записи DKIM являются записями TXT на субдомене субдомена _domainkey (например, selector._domainkey.example.com).

Другим примером этого является проверка управления доменом через DNS для создания сертификата SSL/TLS.

В этом случае центр сертификации SSL/TLS (CA) просит, чтобы кто-либо, запрашивающий создание сертификата SSL/TLS, подтвердил, что он действительно является владельцем рассматриваемого доменного имени (или сотрудником/представителем владельца) .

Центр сертификации запрашивает, чтобы запросившая сертификат добавила конкретную запись CNAME в свой файл зоны DNS, что фактически создает поддомен (обычно на случайной строке символов, например ’12a345b6c78d90efg1234hi56j’), который указывает на определенный, похожий субдомен со случайными символами их собственного доменного имени.

Несомненно, есть и другие интересные варианты использования субдоменов, но это дает вам общее представление о некоторых способах использования субдоменов.

Подводя итог, важно знать, что поддомен — это «дочерняя ветвь» данного доменного имени. В иерархической системе DNS это часть «пространства имен», делегируемого владельцу доменного имени при регистрации этого доменного имени в реестре.

Поддомены можно использовать по-разному. В частности, они часто используются для автономных веб-сайтов с некоторой связью с веб-сайтом, размещенным на чистом домене, или с конкретными услугами, предлагаемыми веб-сайтом, но не всегда. Однако в этих случаях обычно используется запись CNAME. Иногда они создаются для того, чтобы использовать DNS для проверки доменного имени в той или иной форме или для других случаев использования.

В любом случае поддомены создаются в файле зоны DNS доменного имени.

Теперь мы готовы перейти к разговору о том, как можно идентифицировать поддомены данного доменного имени.

Где можно найти все поддомены доменного имени?

В файле зоны

Из приведенного выше объяснения вы, вероятно, уже поняли, что лучший способ определить поддомены данного доменного имени — просмотреть зону DNS.

Если вы являетесь владельцем или администратором доменного имени — и, в частности, у вас есть доступ к файлу зоны DNS этого домена — это тривиально. Вам просто нужно посмотреть файл зоны DNS.

Если вы управляете своим DNS у регистратора, такого как Ганди, это доступно в интерфейсе вашего регистратора.

Как найти файл зоны DNS в Gandi [ссылка на: https://docs.gandi.net/en/domain_names/common_operations/dns_records.html#editing-your-dns-records]

Вы должны быть в состоянии отсортируйте список DNS-записей по «Имени» и, таким образом, получите список всех поддоменов (поддоменами будет все, что не @).

Вы также можете сортировать по «Типу» и просматривать только те, у которых есть тип CNAME, если вы хотите исключить записи TXT и записи MX.

Еще один способ получить список всех ваших поддоменов с помощью интерфейса Gandi, который особенно полезен для доменных имен с большим количеством поддоменов, когда вам нужен список всех поддоменов нескольких доменных имен или и того, и другого, — это использование нашего Функция экспорта DNS.

Вы можете использовать эту функцию для создания и загрузки CSV-файла всего файла зоны вашего домена или файлов зон нескольких доменных имен. Затем вам просто нужно отсортировать столбцы по имени или типу записи.

Можете ли вы запросить DNS для всех субдоменов?

Краткий ответ: нет. Вы не можете просто запросить у DNS список всех поддоменов определенного домена.

Когда вы запрашиваете DNS, например, когда вы запрашиваете веб-страницу в своем браузере или в окне терминала с помощью команд `host`, `dig` или `nslookup` (в большинстве случаев они функционально одинаковы, поэтому мы не будем вдаваться в различия здесь). Они работают, когда вы запрашиваете домен или субдомен, который уже известен. Однако если вы пытаетесь получить список всех субдоменов, дело в том, что субдомены еще не известны. Когда вы запрашиваете DNS, подразумевается, что вы уже знаете домен или поддомен, который ищете.

Однако есть одно частичное исключение.

Можно ли получить список всех субдоменов через перенос зоны?

Технически да. И это частичное исключение, упомянутое выше. Технически вы можете получить список всех поддоменов, если ваш запрос использует перенос зоны (он же AXFR).

Для этого запроса вы должны использовать `host`, используя модификаторы -a и -l:

 host -a -l example.com

В этом примере `-a` эквивалентно `ANY` , это сигнализирует о том, что вывод будет подробным, а `-l` означает использование передачи зоны. Другими словами, команда использует передачу зоны для перечисления всех хостов в домене, то есть всех поддоменов.

Однако с этим методом есть огромная проблема, и это вопрос разрешений.

Передача зоны — она же AXFR — как правило, отключена для большинства запрашивающих.

Почему передача зоны отключена на большинстве доменов?

Сначала поговорим о том, что такое передача зоны.

Передача зоны, или AXFR (A в AXFR означает «Авторитетный», а XFR означает «Передача») — это протокол для репликации файла зоны DNS.

Основной сценарий использования AXFR — дублирование зоны DNS между первичным сервером имен и вторичным сервером имен. То есть для регистрации вашего доменного имени требуется как минимум два DNS-сервера имен — первичный и вторичный. Их может быть больше, но это базовое требование. Поскольку вторичный сервер является резервным, перенос зоны можно использовать для передачи всего содержимого файла зоны на вторичный сервер имен.

На заре DNS или, по крайней мере, протокола передачи зон было мало причин ограничивать использование этого протокола. Но вскоре стало ясно, что возможность отобразить всю зону доменного имени предоставляет потенциальным злоумышленникам слишком много открытой информации, чтобы быть в безопасности.

В частности, если кто-то захочет подделать или отравить ваш DNS, им будет очень полезно иметь полную копию файла зоны.

Таким образом, в целях безопасности протокол передачи зон теперь почти повсеместно ограничен на DNS-серверах либо по IP-адресу, либо по подписи передачи зон. Но некоторые злоумышленники все же попытаются обойти эти ограничения — и преуспеют.

Какими способами, помимо поиска в DNS, вы можете найти поддомены?

На этом этапе мы отметим, что законные варианты использования для получения списка всех поддоменов доменного имени начинают уменьшаться. Если вы не можете получить доступ к файлу зоны, скорее всего, основная причина, по которой вы пытаетесь перечислить все свои поддомены, — это какой-то аудит, возможно, аудит безопасности или тест на проникновение.

Поскольку незащищенные поддомены могут представлять серьезную угрозу безопасности, стоит знать, какие другие варианты доступны на случай, если они вам понадобятся.

Однако, не имея прямого доступа к файлу зоны, вы можете быть уверены только в наличии частичного списка субдоменов.

Brute force/угадывание

Самая очевидная и самая сложная стратегия — просто использовать грубую силу, то есть угадывание.

Некоторые субдомены определены практически для каждого доменного имени, например www, и другие, очень распространенные, например магазин или почта. Но, пройдя и попробовав DNS-запрос с помощью dig, nslookup или host для максимально возможного количества поддоменов, вы можете найти некоторые скрытые. Вы можете попробовать использовать сценарий, в противном случае это может занять много времени.

Можно ли использовать обратный поиск DNS для поиска субдоменов?

Один из способов обнаружения скрытых субдоменов — сначала определить IP-адрес, на который они могут указывать, и диапазоны IP-адресов, на которые они нацелены. Если вы можете найти некоторые поддомены, просто угадывая, скажем, mail.example.com и www.example.com, и вы заметите, что они указывают на разные IP-адреса в одном и том же диапазоне, вы можете обоснованно предположить, что другие поддомены могут использовать другие адреса. IP-адреса в том же диапазоне.

Для поиска доменного имени, соответствующего IP-адресу, необходимо выполнить обратный поиск DNS или, другими словами, обратный поиск DNS. Вы можете использовать те же команды, которые мы использовали выше для поиска DNS: `dig` и `host`. С `host` вам просто нужно выполнить команду типа `host 123.45.678.910`, чтобы выполнить обратный поиск DNS. С `dig` вам нужно будет добавить `-x`, чтобы ваш запрос был `dig -x 123.45.678.910`.

Однако этот метод далеко не надежный. Если вы используете какие-либо CNAME для своих субдоменов, обратный поиск DNS не поможет их идентифицировать, потому что CNAME, как объяснялось выше, является псевдонимом, поэтому IP-адрес будет связан с доменом, на который указывает CNAME.

Какие еще существуют способы поиска поддоменов?

Также стоит упомянуть, что существует множество онлайн-инструментов, инструментов поиска субдоменов, которые можно использовать для поиска субдоменов, обычно путем сканирования сети в поисках записей субдоменов и информации о субдоменах.

Здесь вы можете найти список инструментов, которые могут искать субдомены.

Поиск списка всех поддоменов

Существует ряд причин, по которым вам может понадобиться получить список всех поддоменов определенного доменного имени, особенно если вы являетесь владельцем этого доменного имени. Как правило, вы хотели бы получить такой список как часть аудита вашего доменного имени и связанных с ним ресурсов, и это особенно верно в отношении аудитов безопасности.

В конечном счете, лучший способ получить список всех поддоменов доменного имени — это получить доступ к файлу зоны DNS этого доменного имени. Однако просто наличие доступа не обязательно делает его легким. Если вы не можете использовать протокол Zone Transfer для прямого копирования зоны доменного имени, вы часто можете просмотреть ее на веб-сайте управления службой DNS (или у регистратора, или у хостинг-провайдера, в зависимости от того, где у вас есть DNS). Ваш провайдер может также предлагать такие услуги, как функция экспорта DNS Gandi, где вы можете загрузить CSV-файл одной или нескольких ваших зон DNS, что делает возможным полный список ваших поддоменов на одном или нескольких доменных именах.

Если у вас нет доступа к файлу зоны, это будет сложнее, но не невозможно. Существует ряд различных методов, которые вы можете использовать, в том числе угадывание/грубая сила, обратный поиск DNS и специализированные онлайн-инструменты. Чтобы получить наиболее полный список, вам, вероятно, придется объединить все три.

This entry was posted in Продвижение