Как мне кажется, нормальный порядок слов такой: "Да, бывал, но я не понимаю, какое отношение это имеет к делу".
Скорее всего, здесь имеет место инверсия — нарушение обычного порядка слов в предложении.
"В литературе инверсия - стилистический прием, при котором используется нестандартный порядок слов, придающий предложению красивое звучание и особый смысл. С его помощью писатель может сделать акцент на каком-либо действии или слове...
...Подведем итог, перечислив достоинства инверсии: инверсия позволяет сделать акцент на определенном слове или словосочетании; расставляет в предложении смысловые нагрузки; в поэтическом тексте инверсия задает ритм; в прозе с помощью инверсии можно расставить логические ударения; инверсия передает отношение автора к героям и эмоциональное состояние автора; инверсия оживляет текст и делает его более читабельным и интересным".
Что такое инверсия? | Elhow
В приведенном примере инверсия, действительно, выделяет смысловой центр высказывания и передает эмоциональное состояние героя.