Церковь Всех Святых при Ново-Тихвинском монастыре не имела колокольни, и это была единственная церковь на территории города, построенная в византийском стиле. Здание храма было соединено с жилой двухэтажной постройкой, на первом этаже которой располагалась богадельня на 80 человек, на втором — больница на 20 коек. В 1920 году церковь закрыли. Долгое время в храме размещался окружной военный госпиталь. В начале XXI века храм возвращён Церкви, открыт с апреля 2005 года после двухлетней реставрации в 2003–2004 годах.