Найдем квадрат разности:
$$ (5\sqrt{b} - 6\sqrt{y})^2 = (5\sqrt{b})^2 - 2 \cdot 5\sqrt{b} \cdot 6\sqrt{y} + (6\sqrt{y})^2 = 25b - 60\sqrt{by} + 36y $$.
Ответ: $$ 25b - 60\sqrt{by} + 36y $$.