Ну, ходить на сторону, по бабам/мужикам и проч. - самоочевидно. Так что слово ходить как евфемизм вполне понятно. А левая сторона в разных контекстах всегда символизировала что-то незаконное, грязное, грешное и прротивопоставлялачтьпротивопоставлялась правой, правильной и праведной. Вот сам вопрос, почему именно такое отношение к сторонам (и даже рукам) появилось у многих и разных народов, не очень понятен. Хотя отдельные предположения есть. Например, в некоторых культупахкультурах левая рука (как менее сильная и значит - менее нужная) использовалась для туалетных надобностей.