Очевидно, что можно сказать тот поезд, что сейчас проехал. "Что" тут вместо "который". А правильно я понимаю, что следующее словосочетание со "что" уже будет неверным?
в том поезде, что я сейчас ехал (в котором)
Правильно понимаете. А. Зализняк говорил:
Употребления что в такой роли (т. е. вместо который) строго ограничено именительным и винительным падежами.