Правильный вариант: would have gone.
Если бы вчера не было дождя, мы бы поехали в путешествие.
Краткое пояснение: В условных предложениях третьего типа (Third Conditional) используется структура: If + Past Perfect, would have + Past Participle.
Проверка за 10 секунд: Условное предложение третьего типа.
Доп. профит: Читерский прием: Запомни структуру условных предложений: If + Past Perfect, would have + Past Participle.