11. 5 \frac{3}{\sqrt{x}-1} - cos² 3x.

К сожалению, для данной функции сложно найти первообразную в элементарных функциях. Поэтому ответ приводится в виде интеграла:

$$F(x) = \int (\frac{3}{\sqrt{x}-1} - \cos^2 3x) dx$$

Используем формулу понижения степени: $$\cos^2 \alpha = \frac{1 + \cos 2\alpha}{2}$$

$$F(x) = \int \frac{3}{\sqrt{x}-1} dx - \int \frac{1 + \cos 6x}{2} dx$$

$$F(x) = 3 \int \frac{dx}{\sqrt{x}-1} - \frac{1}{2} \int dx - \frac{1}{2} \int \cos 6x dx$$

$$F(x) = 3 \int \frac{dx}{\sqrt{x}-1} - \frac{x}{2} - \frac{1}{2} \cdot \frac{1}{6} \sin 6x + C$$

$$F(x) = 3 \int \frac{dx}{\sqrt{x}-1} - \frac{x}{2} - \frac{1}{12} \sin 6x + C$$

Для интеграла $$\int \frac{dx}{\sqrt{x}-1}$$ можно сделать замену $$t = \sqrt{x}$$, тогда $$x = t^2$$ и $$dx = 2t dt$$.

$$\int \frac{dx}{\sqrt{x}-1} = \int \frac{2t}{t-1} dt = 2 \int \frac{t}{t-1} dt$$

$$\int \frac{t}{t-1} dt = \int \frac{t-1+1}{t-1} dt = \int (1 + \frac{1}{t-1}) dt = t + \ln|t-1| + C_1$$

Возвращаясь к исходной переменной:

$$\int \frac{dx}{\sqrt{x}-1} = 2(\sqrt{x} + \ln|\sqrt{x}-1|) + C_1$$

Тогда первообразная:

$$F(x) = 6(\sqrt{x} + \ln|\sqrt{x}-1|) - \frac{x}{2} - \frac{1}{12} \sin 6x + C$$

Ответ: $$6(\sqrt{x} + \ln|\sqrt{x}-1|) - \frac{x}{2} - \frac{1}{12} \sin 6x + C$$