Это сравнительное предложение, сравнивающее население двух стран. Мы сравниваем два объекта (Великобританию и США), поэтому используется сравнительная степень прилагательного. Правильный вариант: a smaller.
Ответ: a smaller