Я так отвечу. Не знаю, какой знак там может стоять, но точно не запятая. Даже если нет такого правила про запятую, то его следовало бы выдумать.
С запятой нарушается не только структура текста, но и смысл искажается.
Что мы имеем при наличии запятой? Сложносочиненное предложение, первая часть которого осложнена рядом однородных сказуемых.
Он... хотел вернуться... и... попытался, но скользнул... , и палец его замер.
Совершенно непонятно, к чему тут логически пришита вторая часть. Замечу, кстати, что все разговоры про общий член "но" просто лишены смысла, "но" не соединяет два предложения, а лишь вводит элемент в ряд однородных сказуемых.
Теперь как это трактовать без запятой.
Он... хотел вернуться... и... попытался, (1) но скользнул... , и палец его замер.
Тоже СС, но совсем другой структуры. На цифре (1) первая часть сложносочиненного предложения кончается – и начинается вторая часть, в свою очередь состоящая из двух ССП – "хотел" (определенно-личное, неполное с опущенным подлежащим "он") и "палец... замер" (определенно-личное, полное, двусоставное).
Так вот "но" в данном случае вводит два предложения, занимающих структурно один уровень, то есть однородных. Вот эта-то однородность и позволяет обойтись без запятой.
Общим же членом для двух предложений является... первая часть ССП, то есть "он хотел... и попытался".
Подобных примеров у Розенталя нет. Ссылаться на него в части, что он возражает против отсутствия запятой в подобных случаях, просто некорректно.
Зато есть недвусмысленная формулировка:
- Перед союзами и, да (в значении и), или, либо запятая не ставится, если части сложносочиненного предложения объединены каким-либо общим элементом.
Подчеркиваю – у Р. – каким-либо. Никаких ограничений или оговорок на это "либо" Розенталь не приводит.
Другой вопрос, что там может стоять вместо запятой... Боюсь, что ничего хорошего там поставить нельзя. По тем же причинам. Любой знак (тире, точка с запятой, многоточие) сломает структуру предложения, разделив его совсем не на те части, которые подразумеваются автором.
Касательно того, что "скользнул" надо/можно трактовать не как однородное сказуемое, а как самостоятельное предложение.
Совсем недавно мне дали ссылку (не Вы ли, Sharon?) на то, что Валгина, пусть и с оговоркой, допускает подобный подход (что впрочем для меня совершенно не было новостью). Искать сейчас просто не имею возможности, но если вопрос станет ребром – найду попозже.