Из Розенталя ( http://old-rozental.ru/punctum_uk.php?pid=260#ppp_4 ; § 33, п. 4, 3)) известно, что запятой не отделяются неполные придаточные предложения, состоящие из одного союзного слова (относительного местоимения или наречия): Он ушёл и не сказал куда; Трудно сказать почему.
Наш случай близок ко второму примеру, где главное предложение в СПП - безличное (ср. "вопрос почему - неизвестно почему - трудно сказать почему"). Это подтверждается и поиском по книгам (google books): в результатах на запрос "вопрос-только-куда" либо просто отсутствует запятая (зачастую так выглядит законченное предложение, напр.: А. Адамов, "Со многими неизвестными", Воен. изд-во СП "Панас", 1992), либо ставится двоеточие (буквальная трактовка слова "вопрос"); реже ставится интонационное тире. Поскольку в нашем случае в конце стоит вопросительный знак, после слов "вопрос только" логично было бы поставить двоеточие.