Используем основное тригонометрическое тождество: \( \sin^2 \alpha + \cos^2 \alpha = 1 \).
\( \cos^2 \alpha = 1 - \sin^2 \alpha \)
\( \cos^2 \alpha = 1 - (-\frac{5}{13})^2 = 1 - \frac{25}{169} = \frac{169 - 25}{169} = \frac{144}{169} \)
\( \cos \alpha = \pm \sqrt{\frac{144}{169}} = \pm \frac{12}{13} \)
Так как \( \pi < \alpha < \frac{3\pi}{2} \), угол \( \alpha \) находится в третьей четверти, где косинус отрицателен. Следовательно, \( \cos \alpha = -\frac{12}{13} \).
Ответ: \(-\frac{12}{13}\).