Раскроем скобки:
$$10a^5 - 7a^3 - (-a^5 + 6a^2 - 8a^3) + a^2 = 10a^5 - 7a^3 + a^5 - 6a^2 + 8a^3 + a^2$$
Приведем подобные слагаемые:
$$10a^5 - 7a^3 + a^5 - 6a^2 + 8a^3 + a^2 = (10a^5 + a^5) + (-7a^3 + 8a^3) + (-6a^2 + a^2) = 11a^5 + a^3 - 5a^2$$
Ответ: $$11a^5 + a^3 - 5a^2$$