Do you think this hat goes with my jacket?
Фразовый глагол go with означает сочетаться с чем-либо. В данном контексте, вопрос о том, сочетается ли шляпа с курткой.
Фразовый глагол go off означает выключаться, отключаться или портиться. В данном контексте, использование off не подходит по смыслу.
Ответ: with