Из Розенталя ( http://old-rozental.ru/punctum_uk.php?pid=260#ppp_4 ; § 33, п. 4, 3)) известно, что запятой **не** отделяются *неполные придаточные* предложения, состоящие *из одного союзного слова* (относительного местоимения или наречия):
*Он ушёл и не сказал **куда**; Трудно сказать **почему**.*

Наш случай близок ко *второму* примеру, где главное предложение в СПП - безличное (ср. "вопрос почему - неизвестно почему - трудно сказать почему"). Это подтверждается и поиском по книгам (google books): в результатах на запрос "*вопрос-только-куда*" либо просто отсутствует запятая (зачастую так выглядит законченное предложение, напр.: А. Адамов, "Со многими неизвестными", Воен. изд-во СП "Панас", 1992), либо ставится *двоеточие* (буквальная трактовка слова "вопрос"); реже ставится интонационное *тире*. Поскольку в нашем случае в конце стоит *вопросительный знак*, после слов "вопрос только" логично было бы поставить **двоеточие**.