StackOverflowException in AngleSharp.Parser

[dennisgorelik]

PostJobFree crawler found web page that causes fatal crash in AngleSharp parser:

using AngleSharp.Parser.Html;
.....
string pageHtml = LoadUrlContent("http://onestop.fiu.edu/financial-aid/loans/")
var parser = new HtmlParser();
var document = parser.Parse(pageHtml);
document.QuerySelectorAll("a"); // Fatal crash: "An unhandled exception of type 'System.StackOverflowException' occurred in AngleSharp.dll".

We cannot catch that exception and it simply restarts the whole process (PostJobFreeService Windows service).
That is very frustrating.

In development environment that crash is not always reproducible.
When we run code above in test - it just works.
But if we run the same code under Visual Studio debugger - it crashes with 'System.StackOverflowException'.

Update:
https://github.com/AngleSharp/AngleSharp/issues/523
AngleSharp library maintainers noticed that problematic page contains a lot of "<content /><content /><content /><content />" attributes.
view-source:http://onestop.fiu.edu/financial-aid/loans/

Obviously it is not an excuse to fail. Hopefully their latest build would fix the problem.

Comments

[juan_gandhi]

Вот такие у них парсеры. Я бы поэкспериментировал. И, кстати, есть и другие варианты, селениум, например, когда живую страницу сканишь с помощью простого джаваскрипта (тот же querySelectorAll).

[dennisgorelik]

> Вот такие у них парсеры.

"У них" - это у кого?
У "программистов" вообще?
У тех, кто пишет под C#.NET?

> Я бы поэкспериментировал.

В каком направлении?
Минимизировать размер тестируемой распарсиваемой страницы, которая приводит к StackOverflowException?

> селениум

А Селениум надёжно работает и не повисает ни на чём?
И как у него с производительностью?

[juan_gandhi]

У Сишарпа.
Экспериментировать, например, с селениумом. Надежность у него не 100%, конечно. Производительность тоже не супер.

Но есть одно важное свойство - страница у него живая, а не как у тебя, когда просто по url считывается страница. Нынче же хитро, single-page app с джаваскриптом кругом.

[dennisgorelik]

> У Сишарпа.

AngleSharp is a third-party library.

Does Java platform have reliable parsers (that do not crash their process with any input)?

> Надежность у него не 100%, конечно.

Sigh...

> Нынче же хитро, single-page app с джаваскриптом кругом.

We do not care much about javascript-generated data.
At least yet.
There are plenty of data available in pure HTML.
We should make that basic HTML crawling/parsing process stable first.

AngleSharp library maintainers hint that recent build may solve the failure problem... will see.

[juan_gandhi]

Это понятно, что не сам сишарп. А проблемы с программистами на нем. Джава - те же проблемы.

[dennisgorelik]

> Джава - те же проблемы.

Есть ли заветное место, где программисты есть, но проблем с программистами нет?

[juan_gandhi]

НАСА?

[dennisgorelik]

Challenger?

А если серьёзно - в НАСА они пишут программы очень, очень долго.
В постоянно меняющемся мире это очень большая проблема.