Здание, построенное в первой половине XVIII века, принадлежало сначала суконным фабрикантам Тулиновым, а затем их родственнику Филиппу Вигелю. Тулиновы прославились тем, что основали единственную в городе частную суконную мануфактуру, которая просуществовала 130 лет и все это время принадлежала одной семье. Мануфактура входила в состав крупнейших суконных предприятий крепостной России.
В свое время фамильный особняк был огромным и роскошным домом: в его архитектуре сочетались готика, барокко и ампир. По одной из легенд, во времена заядлого театрала Николая Тулинова в доме устраивались домашние представления, во время которых в нишах стен стояли живые
Впоследствии в особняке размещались губернское земство и роддом, проводились заседания «Делегатского собрания», ставшего прообразом Советов. Сейчас в одном крыле находится онкологический диспансер, а основное здание пустует.
Исторический памятник находится в плачевном состоянии. Так, под угрозой исчезновения прекрасная лепнина, в том числе женские маски, самые старые в воронежской архитектуре.