# [2026.09.01] Barkrowler 크롤러 차단 User-agent: Barkrowler Disallow: / # [2026.09.01] GenomeCrawlerd 크롤러 차단 User-agent: GenomeCrawlerd Disallow: / # [2026.09.02] Baiduspider 크롤러 차단 User-agent: Baiduspider Disallow: / # [2026.09.02] Turnitin 크롤러 차단 User-agent: Turnitin Disallow: / # [2026.09.02] AteveSearchSourceUrlDiscovery 크롤러 차단 User-agent: AteveSearchSourceUrlDiscovery Disallow: / # [2026.11.07] SEO 툴 백링크 크롤러 차단 (검색 노출과 무관, 과다 요청) User-agent: SERankingBacklinksBot Disallow: / User-agent: AhrefsBot Disallow: / User-agent: SemrushBot Disallow: / User-agent: MJ12bot Disallow: / User-agent: DotBot Disallow: / # 구글, 네이버를 포함한 다른 모든 크롤러는 전체 허용 # [2026.11.07] 단, 코인 상세 페이지의 page 파라미터 변형은 제외 (목록 페이지 ?page= 는 허용) User-agent: * Allow: / Disallow: /*/cryptocurrencies/*?page= Disallow: /*/cryptocurrencies/*&page= Disallow: /cryptocurrencies/*?page= Disallow: /cryptocurrencies/*&page=