Задавшись было вопросом, откуда же идёт этот звук, я тут же получил ответ.
Нацкорпус показывает различные варианты:
Какой же из этих вариантов верен? Не знаю, как называется подобная структура предложения, поэтому не знаю, как поискать и где.
Первый вариант — это предложение с косвенным вопросом. В нем не выражена вопросительная интонация. Оно является правильным и грамматически, и стилистически.
Kocвeнный вoпpoc – этo вoпpoc, пepeдaнный в фopмe кocвeннoй peчи. Пpимep: Oн и бeлoкypый дoктop тoнoм экзaмeнaтopoв, чyвcтвyющиx cвoю нeyмeлocть, cтaли cпpaшивaть y Aндpeя Eфимычa, кaкoй ceгoдня дeнь, cкoлькo днeй в гoдy (Чexoв). Oн мaлo интepecoвaлcя, ecть ли y нeгo вpaги в лaбopaтopии (Гpaнин).
Вариант возможный, но сомнительный. Если уж оставлять знак вопроса и кавычки, то без двоеточия, как вопрос с названием. Да и не нужна здесь вопросительная интонация.
Я видел подобное предложение в Нацкорпусе:
Сначала нас коробило сопоставление священника, праздников и водки. Но задавшись вопросом: что ему делать? За деньги и в будни не пойдут. [А. А. Фет. Из деревни. 4 (1871)]
Как там было 150 лет назад у Фета, наверное, можно выяснить. Но этот электронный вариант кажется вообще неверным.
Кроме косвенного вопроса, можно использовать вариант с прямой речью:
Задавшись было вопросом: "Откуда же идёт этот звук?"— я тут же получил ответ.
У Роозенталя: http://old-rozental.ru/punctuatio.php?sid=159#pp159
На вопрос мой: «Жив ли старый смотритель?» — никто не мог дать мне удовлетворительного ответа (П.).
Тире ставится после вопросительного/восклицательного знака, которым заканчивается прямая речь.
Выбор варианта по желанию автора. Прямая речь обладает большей выделительной способностью, при этом можно предать вопросительную интонацию.
Пример деепричастного оборота с частицей "было":
Вошел в сарай, решив было улечься на сиденье, но, покачав головой, вышел и, постелив старую доху прямо на землю, под сосенкой, бухнулся на нее. [Вячеслав Рыбаков. Вода и кораблики (1992)]
Мне кажется, что не надо ничего изобретать — ваш первый вариант вполне себе хорош.
Последний вариант вообще никуда не годится. После деепричастного оборота напрашивается завершение мысли в том же предложении, вы же обрываете его и выдаёте результат этого действия новым предложением.
И ещё: я никогда не слышал сочетаний деепричастий с "было" в том смысле, что вы хотите передать, — только сделал что-то, как... С глаголами — да, конечно, но не с деепричастиями или причастиями.
