Есть такая версия:
Буквально — "тот, кто трясет лбом".
Изначально это слово означало "дурак, остолоп, скалозуб", позднее — "бездельник". Слово "лоб" связано с понятиями "голова, ум".
Вероятно, тот, кто трясет лбом, считался пустоголовым, глупым.
Источник неизвестен, распространено в интернете.
У меня же есть предположение, что так пренебрежительно называли священников.