Brain Cancer in NeuralCrawler

Today Andrey and I discovered that NeuralCrawler we created - got brain cancer: Out of 844,467 pages - 99.5% is useless junk from 2 sub-domains: "boystown.giftlegacy.com" and "boystowngift.org"

So far we attribute the cause of that cancer spread to a couple of bugs:
1) Creating extra links with every redirect (unfortunately problematic domains generate links with random sessionId and then redirect from one to another).
2) Not deleting old page links after reparsing page content.

Дядя ватник

У меня два дяди: один живёт в России, другой - в Украине.
Сегодня, в разговоре со своим российским дядей я в первый раз мимоходом упомянул, что Россия оттяпала Крым.
Дядя немедленно переключился на эту тему и выдал мне российскую версию украинской истории. Дядя рассказал, что:
1) Украина - никогда не была независимым государством.
2) Западные страны вообще и США в особенности влезли в Украину и натравили украинцев на русских.
3) Западные страны всегда хотели превратить Россию в слабую страну.
Ещё Тэтчер хотела оставить в России 15 миллионов жителей.
4) В Украине не было власти в тот момент когда в Крыму провели референдум по отделению от Украины.
5) Если бы не ввод российских войск в Крым - в Крыму (и в Украине вообще) обязательно было бы много убитых.
6) Ещё до отделения Крыма - на Украине уже начали убивать про-российски настроенное население в больших количествах.

Источник информации дяди - российское телевидение.
Которое очень открытое и приглашает аккредитованных журналистов и прочих гостей со всех стран на популярные официальные телеканалы.

Подводя итоги, дядя предсказал, что несмотря ни на что, Крым - несомненно останется в составе России.