Для составления вопроса используется модальный глагол 'could' в прошедшем времени, так как речь идет о способности в прошлом.
Ответ: Could you swim when you were four?