[Грамота][1] утверждает, что кавычки нужны.  

Вопрос № 286493   
Скажите, пожалуйста, как пишется фраза: **на счет "три"** — с кавычками или без?  
  
Ответ справочной службы русского языка  
**Написание в кавычках правильно.**  

В книгах же написание различно (причем соотношение это приблизительно равное).  

***— На счет три** стреляю по конечностям, – дослав патрон в патронник, сузил глаза я: — Раз...    
Гаишники оказались на редкость сообразительными и **на счет «два»** послушно раскорячились у своей легковушки...* (И. Деревянко)  

***— Бросаем на счет три**, — предложил Гришка.  
— Считай, давай.  
— Раз... два...  
**На счете «два»** дед Митяй отпустил бревно, упал, зарываясь носом в мягкую землю...*  
(Е. Худаев)  

***На счет три** – закрыть глаза, заткнуть уши и пригнуть голову* (В. Хлыстов-Юнг).  
[***Стреляю на счет «три»***][2] — название книги (А. Байкалов).  




  [1]: http://new.gramota.ru/spravka/buro/search-answer?s=%D0%9D%D0%B0%20%D1%81%D1%87%D1%91%D1%82
  [2]: https://www.labirint.ru/books/265701/