5. Разложите на множители: а) \(n^4-n^3-n+1\); б) \(ax+x^2+ay-y^2\).

а) Сгруппируем слагаемые:

\[n^4-n^3-n+1=n^3(n-1)-(n-1)=(n-1)(n^3-1).\]

Разложим разность кубов:

\[(n-1)(n^3-1)=(n-1)(n-1)(n^2+n+1)=(n-1)^2(n^2+n+1).\]

б) Сгруппируем слагаемые:

\[ax+x^2+ay-y^2=x(a+x)+y(a-y).\]

В данном виде общего множителя нет, поэтому дальнейшее разложение на множители над многочленами с целыми коэффициентами невозможно.

Ответ: а) \((n-1)^2(n^2+n+1)\); б) \(x(a+x)+y(a-y)\).