— Они погрузили свои пожитки на машины и разъехались кто куда, — заключил А.

— Вопрос только(,) куда? По лагерям? По загородным домам? Куда, по-твоему, местным податься? 

Проблемная запятая в скобках. Если это уточнение, то должна быть, но ведь одиночные вопросительные слова не обособляются в конце предложения. Но хочется поставить.