Предложение описывает действие, которое произошло в прошлом ('when I was living in London'). Следовательно, нам нужна глагольная форма прошедшего времени.
Рассмотрим варианты:
Фраза 'pick it up' означает 'научиться чему-либо' или 'начать заниматься чем-либо'. Так как действие произошло в прошлом, правильно использовать форму прошедшего времени.
I didn't know you could speak English. Yes, I picked it up when I was living in London.