5. sin²x+2 sinxcosx=3 cos²x

Перенесем все члены в одну сторону:

$$\sin^2 x + 2 \sin x \cos x - 3 \cos^2 x = 0$$

Это однородное тригонометрическое уравнение. Разделим обе части на $$\cos^2 x$$ (предполагая, что $$\cos x \neq 0$$. Если $$\cos x = 0$$, то $$\sin^2 x = 0$$, что невозможно, так как $$\sin^2 x + \cos^2 x = 1$$).

$$\frac{\sin^2 x}{\cos^2 x} + 2\frac{\sin x \cos x}{\cos^2 x} - 3\frac{\cos^2 x}{\cos^2 x} = 0$$

$$\\mathrm{tg}^2 x + 2 \mathrm{tg} x - 3 = 0$$

Сделаем замену: пусть $$y = \mathrm{tg} x$$. Тогда уравнение примет вид:

$$y^2 + 2y - 3 = 0$$

Найдем дискриминант: $$D = b^2 - 4ac = 2^2 - 4 \cdot 1 \cdot (-3) = 4 + 12 = 16$$.

Найдем корни $$y$$:

$$y_1 = \frac{-b + \sqrt{D}}{2a} = \frac{-2 + 4}{2 \cdot 1} = \frac{2}{2} = 1$$

$$y_2 = \frac{-b - \sqrt{D}}{2a} = \frac{-2 - 4}{2 \cdot 1} = \frac{-6}{2} = -3$$

Теперь вернемся к замене:

Случай 1: $$\mathrm{tg} x = 1$$

$$x = \frac{\pi}{4} + \pi k$$, где $$k \in \mathbb{Z}$$

Случай 2: $$\mathrm{tg} x = -3$$

$$x = \mathrm{arctg}(-3) + \pi n$$, где $$n \in \mathbb{Z}$$

Ответ: $$x = \frac{\pi}{4} + \pi k$$ и $$x = \mathrm{arctg}(-3) + \pi n$$, где $$k, n \in \mathbb{Z}$$