samclarke/robots-parser

NodeJS robots.txt parser with support for wildcard (*) matching.

语言：JavaScript · GitHub 星标：168 · Fork：19

话题：javascript · nodejs · rfc-9309 · robots-exclusion-standard · robots-parser · robots-txt · user-agent

在 GitHub 上查看原仓库