Пусть общее количество отметок равно x. Тогда количество пятёрок составляет 40% от x, то есть 0,4x. Четвёрок столько же, сколько и пятёрок, то есть тоже 0,4x. Троек - 6.
Всего отметок x, и они состоят из троек, четвёрок и пятёрок. Значит,
$$0,4x + 0,4x + 6 = x$$
$$0,8x + 6 = x$$
$$x - 0,8x = 6$$
$$0,2x = 6$$
$$x = \frac{6}{0,2} = 30$$
Ответ: Всего Сережа получил 30 отметок в четверти.