17. a(a + 5b) - (a + b)(a - b).

Раскроем скобки в первом слагаемом и применим формулу разности квадратов во втором слагаемом: $$a^2 + 5ab - (a^2 - b^2) = a^2 + 5ab - a^2 + b^2 = 5ab + b^2$$. Ответ: $$5ab + b^2$$