Деревянный двухэтажный особняк, окружённый плодовым садом, — одно из старейших зданий Туринска, памятник истории федерального значения. Его построил декабрист Василий Ивашев по проекту своего отца. Его семья переехала в новый дом в марте 1840 года. Одновременно в доме поселился и декабрист И. И. Пущин, прибывший на поселение в Туринск. Жизнь Ивашевых в этом доме была недолгой. После смерти хозяина, Василия Ивашева (в декабре 1840 года), его тёща пробыла в доме вместе с внуками до июня 1841-го, пока не увезла их в Симбирскую губернию. В феврале 1842 года в доме поселился декабрист Е. П. Оболенский — друг Пущина, также переведённый на поселение в Туринск. В конце XIX — начале XX века в доме располагался полицейский участок. В годы Великой Отечественной войны дом занимала школа, с конца 1960-х по 1986 год — детский сад № 4. Музей декабристов на народных началах работал в Туринске с 1963 года. Экспозицию в мемориальном особняке Ивашева задумали создать в 1987 году и открыли после реставрации дома в 1993-м.

В 2020 году был отремонтирован фасад музея, в рамках Национального проекта «Культура».