Числительное как особая часть речи складывалась в русском языке в течение длительного времени (с 14 по 18 век). Что касается собирательных числительных, то они изначально составляли особый класс, а именно класс СОБИРАТЕЛЬНО-РАЗДЕЛИТЕЛЬНЫХ СЛОВ. Раньше говорили: "на ужинѣ двоя рыба" - это означало рыба двух сортов. Со временем такое значение «деления на группы» сошло на нет, и собирательные слова стали дублировать количественные числительные.
Также происходило сужение области применения этой группы числительных. Если изначально во всех славянских языках они изменялись по родам и числам и сочетались с любыми существительными, то в современном русском языке осталась одна форма - ед. ч. ср. р. При этом собирательные числительные в основном могут сочетаться (помимо pluralia tantum) только с существительными мужского и общего рода.
По словам Виноградова, «в оборотах двое мужчин (но две женщины), трое крестьян (но три крестьянки) и т. д. пережиточно отражается та стадия в развитии языка, когда категория одушевленности еще не сложилась, а категория лица охватывала названия лиц только мужского пола».
Интересно что форма двое/трое еще в 19 веке существовала наряду со старой формой двои/трои, которая сочеталась с неодушевленными предметами, например: "Остановимся, может быть, сутки на двои" (Фонвизин). "Он мог так пробыть хоть трои сутки" (Гончаров).У Пушкина: "Сделаны были трои триумфальных ворот" ("Материалы для истории Петра I").
Утверждение грамматики собирательных числительных и в 19 веке вызывало ожесточенные споры между лингвистами, например: "Мы употребляем двое... Мы не смеем употребить двои... но народ употребляет обе формы, он говорит: двои ключи. Образованный или лучше испорченный наш язык оскорбляется таким выражением и называет его простонародным... Наше употребление: двое — не смело и даже смешно, мы говорим: двое молодцов, но не скажем двое человек, не скажем двое женщин, двое ведер, предаваясь какому-то темному и прихотливому такту слуха, привычки" (К. Аксаков).