Никакое это не исключение. Варианты "рельс" и "рельсов" современными словарями фиксируются как равноправные. Но в выражении "сойти с рельсов" уже усматривается нечленимость, чтобы не сказать идиоматичность. Так что в данном сочетании желательно именоименно "с рельсов".