Чтобы возвести двучлен в квадрат, воспользуемся формулой квадрата разности: $$(a-b)^2 = a^2 - 2ab + b^2$$
В нашем случае $$a = b^5$$, $$b = r^3$$.
Тогда:
$$(b^5 - r^3)^2 = (b^5)^2 - 2 \cdot b^5 \cdot r^3 + (r^3)^2 = b^{10} - 2b^5r^3 + r^6$$
Ответ: $$b^{10} - 2b^5r^3 + r^6$$