Оба варианта возможны, выбор зависит от контекста.
Данную грамматическую конструкцию можно рассматривать различным образом: а) как пояснение: решил (что сделать?) "провести эксперимент", а именно "проверить". б) как несогласованное определение: решил провести эксперимент (какой?).
У Розенталя: При отсутствии пояснительного союза вместо запятой перед пояснительным членом предложения часто ставится тире: "Иногда что-нибудь хочется сделать — почитать". Возможна также постановка двоеточия (чтобы избежать двух тире): "Предложен и другой путь: использование некоторых видов морских растений — водорослей, богатых многими ценными веществами". Можно заметить, что предложение и без заключительной части смотрится вполне корректно, в том числе с точки зрения интонации: Предложен и другой путь: использование некоторых видов морских растений.
(1) Я решил провести эксперимент: проверить реакцию X на Y. Логически выделена вторая часть, поясняющая первую, двоеточие, наличие паузы, предупреждающей о дальнейшем пояснении.
(2) Я решил провести эксперимент ─ проверить реакцию X на Y. Выделяется первая часть, вторая часть является обособленным несогласованным определением.