Разумеется, прочь будет обстоятельством.
Пошел — самостоятельное простое глагольное сказуемое. Оно не нуждается в конкретизации, а само по себе имеет смысл. Мы можем сказать просто: он пошёл, — и смысл будет ясен. А можем добавить обстоятельство: Пошёл куда? прочь/домой/на улицу.
Вероятно, задавая этот вопрос, вы хотели понять, является ли пошёл прочь составным именным сказуемым. Чтобы убедиться, что перед вами не составное именное сказуемое, попробуйте поменять предполагаемую связку на форму глагола быть. Если замена невозможна — перед вами не составное именное сказуемое. Например:
Он казался грубым / Он был грубым — замена возможна, перед нами составное именное сказуемое.
В вашем примере замена невозможна.
Таким образом, прочь не является частью сказуемого — оно обстоятельство.