В данном предложении нужно убрать "when", так как оно является лишним, поскольку "time" уже указывает на время.
Ответ: Do you remember the time that we went there?