Skip to content

Latest commit

 

History

History
43 lines (33 loc) · 1.38 KB

README.md

File metadata and controls

43 lines (33 loc) · 1.38 KB
Raw

UPOL-Search-Engine

UPOL Search engine is search engine for upol.cz domain, topic of Master thesis on Department of Computer Science UPOL

Are you about to block my crawler?

Contact me before you do that please.

What's the goal of the UPOL-Crawler?

Goal of the UPOL-Crawler is crawl http://upol.cz domain for gathering all avalible links on this domain. UPOL Crawler respect robots.txt so you can use it if you need to limit my crawler.

  User-Agent: UPOL-Crawler
  Disallow: *

Full user-agent string

Mozilla/5.0 (compatible; UPOL-Crawler/[version]; +https://github.com/UPOLSearch/UPOL-Search-Engine)

UPOL-Search-Engine (Czech)

UPOL Search engine je search engine pro upol.cz doménu. Projekt je součástí diplomové práce na Katedře Informatiky UPOL.

Chystáte se zablokovat tento crawler?

Pokud je to možné kontaktujte mě.

Co je cílem UPOL Crawler?

Cílem crawleru je procházet doménu http://upol.cz za účelem získání všech dstupných odkazů na této doméně. UPOL Crawler respektuje soubor robots.txt, tudiž je možné využít tento soubor pro zablokování crawleru.

  User-Agent: UPOL-Crawler
  Disallow: *

Celkový user-agent

Mozilla/5.0 (compatible; UPOL-Crawler/[version]; +https://github.com/UPOLSearch/UPOL-Search-Engine)