Руслан, добрый день!
Церковь должна быть православной, даже если там нет икон( бывает что их земеняют настенные росписи). Но обязательно должен быть освященный Пресотл, на котором совершается Божественная Литургия. Это нужно выяснить, прежде чем начать посещать этот храм.
С уважением, отец Аркадий.