Сначала возведём в квадрат первую скобку:
$$(-3a^3b)^2 = (-3)^2 cdot (a^3)^2 cdot b^2 = 9a^6b^2$$.
Теперь умножим полученное выражение на вторую скобку:
$$9a^6b^2 cdot (-\frac{5}{4}a^4b) = 9 cdot (-\frac{5}{4}) cdot a^6 cdot a^4 cdot b^2 cdot b = -\frac{45}{4} a^{6+4} b^{2+1} = -\frac{45}{4} a^{10} b^3$$.
Ответ: $$- \frac{45}{4} a^{10} b^3$$