Для решения данного примера необходимо сгруппировать слагаемые и вынести общий множитель за скобки.
$$ab^3 - 3b^3 + ab^2y - 3b^2y = (ab^3 - 3b^3) + (ab^2y - 3b^2y)$$
Теперь вынесем общий множитель $$b^3$$ из первой скобки и $$b^2y$$ из второй скобки.
$$b^3(a - 3) + b^2y(a - 3)$$
Теперь вынесем общий множитель $$(a-3)$$ за скобки.
$$(a - 3)(b^3 + b^2y)$$
Из второй скобки можно вынести $$b^2$$.
$$(a - 3)b^2(b + y)$$
Ответ: $$b^2(a-3)(b+y)$$