В данном предложении речь идёт о состоянии в прошлом, которое предшествовало другому действию в прошлом (началу школы). Поэтому используется Past Perfect.
Глагол 'be' в Past Perfect имеет форму 'had been'.
Выбираем вариант, соответствующий Past Perfect.
Правильный вариант — 'had never been'.
Ответ: I had never been really slim in my childhood, so when I started school I was worried about PE.