В данном предложении пропущено абсолютное притяжательное местоимение, которое указывает на принадлежность дома говорящему. Из предложения "My grandparents live there" следует, что дом принадлежит говорящему и его семье.
The big house at the end of the street is ours. My grandparents live there.
Ответ: ours