crawler.sites

来自「一个简单的在互联网上抓包的程序」· SITES 代码 · 共 12 行

<crawler>
  <proxy>proxy.internal:3128</proxy>
  <maxPages>1000000</maxPages>
  <typeFilter>.*?(pdf).*?</typeFilter>
  <siteList>
http://ethesys.ntcpe.edu.tw/ETD-db/
http://etdncku.lib.ncku.edu.tw/ETD-db/
  </siteList>
</crawler>