Вот что писал Розенталь (синонимичные сочетания здесь выделены мной):
http://www.evartist.narod.ru/text1/47.htm
Не являются вводными и не выделяются запятыми слова и словосочетания: авось, буквально, будто, вдобавок, в довершение, вдруг, ведь,
в конечном счете, вот, вряд ли, все-таки, далее, едва ли,
исключительно, именно, как будто, как бы, как раз, к тому же,
между тем, небось, по предложению, по постановлению, по решению,
приблизительно, примерно, притом, почти, поэтому, просто, решительно,
словно, якобы и др.
Встречающийся применительно к этим словам пунктуационный разнобой
связан с различными причинами: в одних случаях сказывается то
обстоятельство, что некоторые из перечисленных слов относятся к так
называемым модальным частицам, которые могут употребляться и как
частицы и как вводные слова; в других играют роль смысловые оттенки,
присущие отдельным словам и допускающие их обособление; наконец,
возможно влияние прежних правил или индивидуальной авторской
пунктуации.
Далее там приводится пример того, как в некоторых контекстах словосочетание в довершение всего (синонимичное нашему) может быть употреблено в функции вводного:
а) В довершение всего начался дождь (Чехов);
б) И, в довершение всего, ни вилок, ни ножей (Салтыков-Щедрин).
Из этого следует, что рассматриваемое синонимичное словосочетание не следует отделять запятой, если нет особых оснований считать его вводным. Последнее возможно при передаче сбивчивой разговорной речи, например:
Этот рассеянный прохожий, плюс ко всему, рассеивал семечки по
асфальту.