Не оставляя по себе следов — это не оставляя после себя следов, предлог ПО со значением времени (сравнить: по окончании школы — после окончания школы).
Из словаря:
По себе. 1. По своим силам, вкусам или требованиям. -2. После своего отъезда; после своей смерти. Оставить по себе добрую память.
Часто используется именноФорма по себе с временным значение в этом выражении.основном используется в устойчивых выражениях: оставить по себе память, оставить по себе след.
Примеры:
Людям так хотелось оставить по себе хоть какую-нибудь память… [Д. С. Лихачев. Воспоминания (1995)]
Иначе говоря, университетская библиотека Рикке убедила нас, как много может сделать один человек и сколь значителен след, который он в состоянии оставить по себе на земле. [С. А. Дангулов. Танге (1981)]
Примечание
В современном языке предлог ПО в основном управляет дательным падежом (например: каждый выбирает по себе…), но раньше он использовался и в других падежах.
До настоящего времени сохранилась форма предложного падежа со значением времени (по приезде, по окончании, по истечении) и форма предложного падежа с изъяснительным значением (скучать по вас).
Эти формы падежного управления можно отнести к постепенно устаревающим.