Но ведь я произнёс только числительное без слова "девушки"
Да, произнесли без указания на личности, но имели в виду всё-таки девушек. Артём, Вы употребили ситуативно-неполное предложение. Не назван член предложения, ясный из ситуации: Я надену это синее. (К.Федин) По обстановке мы знаем, что платье.
- Вам с мясом или с капустой? И мы понимаем, что речь о пирожках, потому что спрашивает продавец пирожков.
Вот и здесь все видят, что речь о девушках, значит, и правила о собирательных числительных нужно применять с учётом женского пола личностей, о которых идёт речь.
Так что — Я за ними двоими будет некорректно. Учитывая правила тона (вежливость/воспитанность), сама фраза невежлива по отношению к девушкам (они же рядом и слышат). Если так важно указать число, можно сказать: "Я за этими двумя девушками". Или уж вовсе без числительного, если лень тратить слова: - Я вот за ними.