Используем формулу квадрата разности: $$(a - b)^2 = a^2 - 2ab + b^2$$
В нашем случае: $$(x - 5y)^2 = x^2 - 2 \cdot x \cdot 5y + (5y)^2 = x^2 - 10xy + 25y^2$$
Ответ: $$x^2-10xy+25y^2$$