Вопрос 'What _______ you _______ (do) last weekend?' четко указывает на прошедшее время ('last weekend'), поэтому используется Past Simple: Did you do? Ответ 'We _______ to the rose garden.' также относится к прошедшему времени: We went to the rose garden.
Ответ: Did you do? - We went