Правильно: Я, вообще-то, не люблю купаться".
В данном предложении это вводное слово со значением "вообще говоря" (вводное слово относится ко всему сообщению и служит для его оценки). В состав предложения вводное слово н входит и произносится с особой интонацией исключения (паузы, измененный темп речи).
Сочетание "вообще-то" может быть частицей, если в предложении есть сопоставление: Я вообще-то не люблю купаться, но сейчас очень жарко (сделаю исключение).
В этом случае частица является необходимым структурным элементом для выражения сопоставительных отношений (ВООБЩЕ-ТО...НО), входит в состав предложения и не обособляется.
ДОПОЛНЕНИЕ
Можно ли отличить друг от друга следующие слова, которые используются для проверки вводного слова "вообще-то": обычно, в большей части случаев, на самом деле? Можно ли догадаться, для чего они говорятся - для нашего сведения или еще зачем? Как в этом случае отличить частицу от наречия, можно ли их вообще различить? Вот уж поистине – всё от лукавого. Поэтому давайте очистим сознание и на время забудем обо всех правилах.
Перед нами слова: ВООБЩЕ, ВООБЩЕ-ТО, ВООБЩЕ ГОВОРЯ, и у них один корень, который наводит нас на мысль о каком-то обобщении. Вы можете обособить эти слова и назвать их вводными, а можете не обособлять, считая частицей (наречием). Решим нашу задачу для конкретных примеров:
1) Поплывем на ту сторону? – Нет, я не люблю плавать. – Не бойся, здесь неглубоко. – Да я вообще не люблю плавать.
2) Поплывем на ту сторону? – Я, вообще-то (вообще говоря), не люблю плавать. – Не бойся, здесь неглубоко. – Ладно, поплыли.
3) Поплывем на ту сторону? – Я вообще-то не люблю плавать, но ладно, поплыли.
Таким образом, исходя из разных ситуаций, мы определяем, когда обобщение относится к слову(1), когда оно обобщает ситуацию (2) и когда используется при сопоставлении в качестве части союза. (3). У нас есть разная семантика, разная грамматика и разная интонация. Если у нас всё это есть, то правила не нужны. А если и нужны, то только для того, чтобы объяснить другим уже принятое решение.