Слово 'lumps' (кусочки/комочки) является исчисляемым существительным. Поэтому перед ним следует использовать 'a few', а не 'a little'.
Ответ: This lemon drink is sour. Put a few lumps of sugar in it.