Жить на постоянной основе в столь далекой глубинке братья не собирались. Приезжали сюда лишь наездами, как правило, для шумного отдыха и охоты. Поэтому их вполне устраивал деревянный барский дом, на каменном фундаменте, что стоял у села. Такое положение сохранялось и в начале 19 века, когда после раздела огромного имения между Алексеем и Владимиром Орловыми, Усолье отошло к последнему, самому младшему из братьев Орловых.
Все изменилось после большого пожара 31 августа 1812 года, когда по неосторожности местного дьяка выгорело почти все село. Оставались в целости только два храма и с пяток крестьянских изб на дальнем краю села, за озерами. Именно тогда Владимир Григорьевич Орлов задумался о постройке нового барского дома и вотчинной конторы, каменной, безопасной от пожара.
Пока продолжалась война с Наполеоном, приступить к постройке усадебных зданий не представлялось возможным, многие жители Усольской вотчины были в ополчении Симбирского полка. Усолье, уничтоженное огнем, требовало восстановления. Крестьянские семьи, живущие в землянках, явно были не способны поддерживать прибыльность хозяйства. А потому, до 1814 года крестьяне из других сел помогали усольцам, из бесплатно отпускаемого графского леса отстраивать село. И только после завершения Отечественной войны владельцы вернулись к идее постройки Усадьбы.
И вот здесь, на этом этапе, вмешивается Провидение. Мы не будем называть Владимира Григорьевича прижимистым, скорее он был очень рачительным хозяином, который учитывал каждую копейку, заработанную его крестьянами и другими работниками. Всегда вкладываясь только в то, что принесет очевидную прибыль семье. А потому и задумывался в Усолье не дворец, а каменный барский дом и вотчинная контора, чуть в стороне от села. Но вот сын Владимира Григорьевича, Григорий Владимирович, был человеком увлеченным, любил поэзию, и другие искусства, тратил большие средства на издания книг русских писателей и покупки произведений искусств, написал несколько книг по истории искусства Италии. Потратился на свою знаменитую коллекцию из 4000 автографов выдающихся людей 17-18 веков (И. Ньютона, Т. Мура, Д.Г. Байрона, П.Б. Шелли, В. Скотта и других). В общем, по словам своего отца, Григорий делал всегда не то и не так.
Занимаясь хозяйством в Усолье, именно Григорий делает батюшке «сюрприз» - заказывает дорогостоящий проект и начинает постройку роскошного дворца, не рассчитав заранее средства, чем вызвал недовольство своего отца.