a) Раскроем скобки и приведем подобные слагаемые:
$$5x^2 - (3 - 4x - x^2) = 5x^2 - 3 + 4x + x^2 = (5x^2 + x^2) + 4x - 3 = 6x^2 + 4x - 3$$
Ответ: $$6x^2 + 4x - 3$$