User-agent: *

Allow: *graphql
Allow: /api/graphql

# Exclusions
Disallow: /bin/
Disallow: /var/
Disallow: /cart/
Disallow: /checkout/
Disallow: /write-a-review/
Disallow: /my-account/
Disallow: /order-confirmation/
Disallow: /products/product-comparison/
Disallow: /search/
Disallow: /*?search
Disallow: /*?category
Disallow: /*%5Bfilter
Disallow: /*?pr_rd_page

# Member Parameters
Disallow: /global/*/?member
Disallow: /product/*/?member
Disallow: /category/*/?member
Disallow: /brands/*/?member

# CVS, SVN directory and dump files
Disallow: /*.CVS
Disallow: /*.Zip$
Disallow: /*.Svn$
Disallow: /*.Idea$
Disallow: /*.Sql$
Disallow: /*.Tgz$

# Google's Adsense
User-agent: Mediapartners-Google
Allow: /

# Google's Storebot
User-agent: Storebot-Google
Allow: /

# Google's Adbot
User-agent: AdsBot-Google
Allow: *graphql
Allow: /api/graphql


# Social Media Bots
User-agent: Facebot
Allow: /global/*/?member
Allow: /product/*/?member
Allow: /category/*/?member
Allow: /brands/*/?member
User-agent: facebookexternalhit
Allow: /global/*/?member
Allow: /product/*/?member
Allow: /category/*/?member
Allow: /brands/*/?member
User-agent: FacebookBot
Allow: /global/*/?member
Allow: /product/*/?member
Allow: /category/*/?member
Allow: /brands/*/?member
User-agent: Twitterbot
Allow: /global/*/?member
Allow: /product/*/?member
Allow: /category/*/?member
Allow: /brands/*/?member

# Chinese Bots 
User-agent: Baiduspider
Disallow: /
User-agent: 360Spider
Disallow: /
User-agent: Yisouspider
Disallow: /
User-agent: PetalBot
Disallow: /
User-agent: Bytespider
Disallow: /
User-agent: Sogou web spider
Disallow: /
User-agent: Sogou inst spider
Disallow: /
User-agent: Robozilla
Disallow: /
User-agent: yahoo-mmcrawler
Disallow: /
User-agent: psbot
Disallow: /
User-agent: asterias
Disallow: /
User-agent: yahoo-blogs/v3.9
Disallow: /
User-agent: Yandex
Disallow: /
User-agent: BLEXBot
Disallow: /
User-agent: Nutch
Disallow: /

#Blocking bots and spiders
User-agent: Bravebot
Disallow: /
User-agent: iAskBot
Disallow: /
User-agent: PingdomPageSpeed
Disallow: /
User-agent: LinerBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: harsilbot
Disallow: /
User-agent: Bytespider
Disallow: /
User-agent: Orbbot
Disallow: /
User-agent: YelpBot
Disallow: /
User-agent: ZoominfoBot
Disallow: /
User-agent: SeznamBot
Disallow: /
User-agent: AwarioBot
Disallow: /
User-agent: trendictionbot
Disallow: /
User-agent: Gabanzabot
Disallow: /
User-agent: zoombot
Disallow: /
User-agent: YaK
Disallow: /
User-agent: PetalBot
Disallow: /
User-agent: BitSightBot
Disallow: /
User-agent: Sidetrade indexer bot
Disallow: /
User-agent: UptimeRobot
Disallow: /
User-agent: 2ip bot
Disallow: /
User-agent: YodaoBot
Disallow: /
User-agent: StractBot
Disallow: /
User-agent: DataForSeoBot
Disallow: /
User-agent: MojeekBot
Disallow: /
User-agent: Mail.RU_Bot
Disallow: /
User-agent: BLEXBot
Disallow: /
User-agent: coccocbot-web
Disallow: /
User-agent: PubMatic Crawler Bot
Disallow: /
User-agent: SeekrBot
Disallow: /
User-agent: SurdotlyBot
Disallow: /
User-agent: DuckAssistBot
Disallow: /
User-agent: Snap URL Preview Service
Disallow: /
User-agent: YandexFavicons
Disallow: /
User-agent: aiHitBot
Disallow: /
User-agent: superpagesbot
Disallow: /
User-agent: Cincraw
Disallow: /
User-agent: StartmeBot
Disallow: /
User-agent: DuckDuckBot
Disallow: /
User-agent: Qwantbot
Disallow: /
User-agent: archive.org_bot
Disallow: /
User-agent: iaskspider
Disallow: /
User-agent: Sogou Push Spider
Disallow: /
User-agent: Baiduspider
Disallow: /

#Crawl Delays
User-agent: rogerbot
Crawl-delay: 10
User-agent: dotbot
Crawl-delay: 10
User-agent: AhrefsBot
Crawl-delay: 10
User-agent: MJ12bot
Crawl-delay: 10
User-agent: SemrushBot
Crawl-delay: 1
User-agent: SiteAuditBot
Crawl-delay: 10
User-agent: SemrushBot-BA
Crawl-delay: 10
User-agent: SemrushBot-SI
Crawl-delay: 10
User-agent: SemrushBot-SWA
Crawl-delay: 10
User-agent: SemrushBot-CT
Crawl-delay: 10
User-agent: SplitSignalBot
Crawl-delay: 10
User-agent: SemrushBot-COUB
Crawl-delay: 10
User-agent: Pinterestbot
Crawl-delay: 10


Sitemap: https://www.doitbest.com/sitemap.xml


#    ==============================================================================   
#  ================================================================================== 
# ===@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@===
# ===@@==========================================================================@@===
# ===@@==========================================================================@@===
# ===@@==========================================================================@@===
# ===@@=======@@@@@@@@@@=================================@@@@====================@@===
# ===@@======@@@@@@@@@@@@@@@@===========================@@@@@@===@@@@============@@===
# ===@@======@@@@@@@@@@@@@@@@@@@=========================@@@@====@@@@============@@===
# ===@@========@@@@@@=====@@@@@@@======@@@@@@@=================@@@@@@@===========@@===
# ===@@========@@@@@@@======@@@@@@++@@@@@@@@@@@@@======@@@@@@==@@@@@@@@@@========@@===
# ===@@========@@@@@@@=======@@@@@@@@@@@@@@@@@@@@@======@@@@@=@@@@@@@@@@@========@@===
# ===@@======================@@@@@@@@@========@@@@@======@@@@====@@@@============@@===
# ===@@======================@@@@@@@@==========@@@@@=====@@@@====@@@@============@@===
# ===@@========@@@@@@@=======@@@@@@@@==========@@@@@=====@@@@====@@@@============@@===
# ===@@========@@@@@@========@@@@@@@@==========@@@@@=====@@@@====@@@@============@@===
# ===@@========@@@@@@========@@@@@@@@@========@@@@@======@@@@====@@@@@===========@@===
# ===@@========@@@@@@@@@@@@@@@@@==@@@@@@@@@@@@@@@@=======@@@@====@@@@@@@@@@@=====@@===
# ===@@========@@@@@@@@@@@@@@@======@@@@@@@@@@@@@========@@@@======@@@@@@@@======@@===
# ===@@===========@@@@@@@==============@@@@@@============@@@@========@@@@@=======@@===
# ===@@==========================================================================@@===
# ===@@======@@@@@@@@@@@@@@@=====================================@@@@============@@===
# ===@@======@@@@@@@@@@@@@@@@@===================================@@@@============@@===
# ===@@=========@@@@======@@@@@======+@@@@@@=======+@@@@@@+=====@@@@@============@@===
# ===@@=========@@@@======@@@@@====@@@@@@@@@@@===@@@@@@@@@@@@@@@@@@@@@@@@========@@===
# ===@@=========@@@@======@@@@===@@@@@@@@@@@@@@=@@@@@@@@@@@@@@@@@@@@@@@@@========@@===
# ===@@=========@@@@@@@@@@@@@===@@@@@=======@@@@@@@@@===========@@@@@+===========@@===
# ===@@=========@@@@@@@@@@@@@==@@@@@@=======@@@@@@@@@@==========@@@@@============@@===
# ===@@=========@@@@@=====@@@@@@@@@@@@@@@@@@@@@@**@@@@@@@@@======@@@@============@@===
# ===@@=========@@@@=======@@@@@@@@@@================@@@@@@@@====@@@@============@@===
# ===@@=========@@@@=======@@@@@@@@@@====================@@@@@===@@@@============@@===
# ===@@=========@@@@======@@@@@*@@@@@@@=====@@@==@@======@@@@@===@@@@@===========@@===
# ===@@=========@@@@@@@@@@@@@@@====@@@@@@@@@@@@==@@@@@@@@@@@@@====@@@@@@@@@======@@===
# ===@@=========@@@@@@@@@@@@========@@@@@@@@@@===@@@@@@@@@@========@@@@@@========@@===
# ===@@==========================================================================@@===
# ===@@==========================================================================@@===
# ===@@==========================================================================@@===
# ===@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@===
#  ==================================================================================