网络爬虫

  • apache禁止网络爬虫采集

    apache禁止网络爬虫采集

    Apache中禁止网络爬虫,不能写到Dirctory中,要写到Location中<Location />SetEnvIfNoCase User-Agent "spider" bad_botBrowserMatchNoCase bingbot bad_botBrowse...

    kavinkavin 2018.05.05 2997浏览 0
1