| 蜘蛛 | 404 路径 | Nginx 建议配置 (自动编号) | User-Agent |
|---|---|---|---|
| Douyin | /wap/product.asp?cate=1&page=5 |
location = /wap/product.asp?cate=1&page=5 { rewrite ^/wap/product\.asp?cate=1&page=5$ /new_path/n001.html last; } |
Mozilla/5.0 (Linux; Android 5.0) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; Bytespider; https://zhanzhang.toutiao.com/) |