В данном предложении бабушке и дедушке - это однородные члены предложения, которые являются дополнениями.
Ответ: Мы часто приезжали в гости к бабушке и дедушке.