Преобразуем выражение:
a^2 - 8ab + 17b^2 - 2b + 3 = (a^2 - 8ab + 16b^2) + b^2 - 2b + 1 + 2 = (a - 4b)^2 + (b - 1)^2 + 2
Так как (a - 4b)^2 ≥ 0 и (b - 1)^2 ≥ 0, то (a - 4b)^2 + (b - 1)^2 + 2 ≥ 2 > 0
Следовательно, неравенство a^2 - 8ab + 17b^2 - 2b + 3 > 0 доказано.