Двоеточие здесь неуместно, так как передается косвенная речь.
Валгина, Розенталь. 363. Косвенная речь:
Косвенная речь - это передача чужого высказывания в форме придаточного предложения... При отсутствии в прямой речи вопросительных местоименных слов косвенный вопрос выражается при помощи частицы ли в роли союза, например: Генерал осведомился, не сын ли я Андрея Петровича Гринева (П.). (Ср.: Генерал осведомился: «Вы сын Андрея Петровича Гринева?» или «Не сын ли вы Андрея Петровича Гринева?»).
Вообще-то говоря, знак вопроса здесь тоже неуместен, так как придаточное не содержит прямого вопроса.
Они прищуривались и спрашивали его, не разведчик ли он.
Но если Вы хотите предать сильно выраженную вопросительную интонацию, то знак вопроса можно поставить:
Они прищуривались и спрашивали его, не разведчик ли он?
Розенталь. §76. Вопросительный знак:
2. Вопросительный знак ставится в конце сложноподчиненного предложения, если придаточное предложение содержит в себе прямой вопрос, например: Всякого рода нарушения, уклонения, отступления от правил приводили его в уныние, хотя, казалось бы, какое ему дело? (Чехов).
Примечание. Если придаточное предложение образует косвенный вопрос, то в конце сложноподчиненного предложения вопросительный знак обычно не ставится, например: Не знаю, сколько времени я пробыл в этом положении (Л Толстой); Ты не сказала нам, почему не ходишь в училище (Федин). Постановка вопросительного знака после предложения с косвенным вопросом встречается, если последний содержит сильно выраженную вопросительную интонацию, например: Не понимаю, что тебе нужно? (Чехов); Я спросил, как же он стал отшельником? (Горький).