Решение:
$$cos 2x + cos^2x + sin x cos x = 0$$
$$cos^2x - sin^2x + cos^2x + sin x cos x = 0$$
$$2 cos^2x - sin^2x + sin x cos x = 0$$
$$2 cos^2x - (1 - cos^2x) + sin x cos x = 0$$
$$3 cos^2x + sin x cos x - 1 = 0$$
$$3 cos^2x + sin x cos x - (sin^2x + cos^2x) = 0$$
$$2 cos^2x + sin x cos x - sin^2x = 0$$
Разделим обе части на $$cos^2x$$ (если $$cos x = 0$$, то $$sin x = 0$$, что невозможно, так как $$sin^2x + cos^2x = 1$$):
$$2 + tg x - tg^2x = 0$$
$$tg^2x - tg x - 2 = 0$$
Пусть $$t = tg x$$, тогда:
$$t^2 - t - 2 = 0$$
$$D = (-1)^2 - 4 * 1 * (-2) = 1 + 8 = 9$$
$$t_1 = \frac{1 + \sqrt{9}}{2 * 1} = \frac{1 + 3}{2} = \frac{4}{2} = 2$$
$$t_2 = \frac{1 - \sqrt{9}}{2 * 1} = \frac{1 - 3}{2} = \frac{-2}{2} = -1$$
Если $$tg x = 2$$:
$$x = arctg(2) + \pi k, k \in \mathbb{Z}$$
Если $$tg x = -1$$:
$$x = arctg(-1) + \pi k, k \in \mathbb{Z}$$
$$x = -\frac{\pi}{4} + \pi k, k \in \mathbb{Z}$$
Ответ: $$x = arctg(2) + \pi k, k \in \mathbb{Z}$$; $$x = -\frac{\pi}{4} + \pi k, k \in \mathbb{Z}$$