Начало истории Усольской вотчины восходит к 1767 г., когда фаворит Екатерины II граф Григорий Орлов и его младший брат Владимир Орлов сопровождали императрицу в ее путешествии по Волге. В сопровождении огромной охраны и свиты императрица отправилась в путешествие по Волге от Твери до Симбирска (Ульяновск). Во время стоянки в имении Головкино, что принадлежало старшему брату Ивану Орлову, Екатерине II устроили пышный прием.
Жива романтическая легенда о том, что Григорий Орлов привез Екатерину II в Усолье и решил показать ей красивые места с горы Светелка. В этой легенде говорится, что Григорий Орлов внес императрицу на гору и она увидев такую красоту сказала: «Вот тебе, Гришенька, моя правая рука, а с нею и вся Самарская Лука!». На самом деле Екатерина закончила свое путешествие в Симбирске и никогда не была в Усолье. А дело было так - заблаговременно до приезда императрицы, братья поручили симбирскому помещику Афанасию Мещеринову побывать на Самарской Луке и осмотреть усольскую вотчину и незамедлительно доложить Орловым. По возвращению доклад гласил: «в целой России по обилию лесов,лугов и пахотных земель,рыбных ловель и всяких угодий». Братья решили проверить эти слова и отправились до Усолья. Григорий отправился по Волге на лодке, а младший Владимир по суше. Встретились братья в селе Новодевичье 6 июня 1767 г., на следующий день Владимир побывал в Усолье. Слова Афанасия Мещеринова подтвердились о природном богатстве этих мест, и братья обратились к императрице о даровании земель в нераздельное пользование всем пятерым братьям.
Отказать в просьбе графу Григорию и его братьям императрица не могла. Весной 1768 г. последовал указ об «обмене» их малоземельных вотчин, разбросанных по разным губерниям империи на огромное компактно расположенное владение с 9536 душ м.п.
По поручению братьев за усольской вотчиной присматривал до конца своей жизни старший из Орловых Иван. Здесь был выстроен просторный двухэтажный графский дом на каменном фундаменте о 16-ти комнатах. По левую сторону от него стоял флигель, где жил управляющий, по правую руку находилась «застольная» и кухня, для снабжения которых рядом были вырыты два погреба и ледник, поставлен мучной амбар. Были построены и подсобные помещения: мастерские, конный двор, каретный сарай, птичий и псарный дворы. В первом содержались соколы, ястребы и другие ловчие птицы, обучаемые сокольничими. Заботу о псарном дворе взял на себя Афанасий Мещеринов, знаток охотничьих собак и постоянный компаньон Ивана Орлова в охотничьих забавах.
Дворовый штат Усольской вотчины составлял более 200 человек. Ко всему этому надо добавить, что в самой усадьбе и за ее пределами стояли многочисленные амбары, сараи, гумна, скотные и птичьи дворы, строения ткацкой фабрики, салотопни и другие строения надобные для жизни. Открыли некоторые заводы - мыловаренный, свечной, конный, кожевенный, винокуренный, поташный.
Еще в 1770 г. по предложению Владимира Орлова, тогда он был директором Академии наук, в селе было устроено училище для детей дворовых и крестьян, где готовились прежде всего грамотные служащие для работы в вотчинной администрации усадьбы.
Примечательно, что усольское училище было первым на территории будущей Самарской губернии, впоследствии Самарской области, так как в Самаре первое училище было открыто лишь в 1824 году.
В 1771 году - первыми в губернии - Орловы открыли на свои средства больницу для крестьян. Она имела шесть палат для больных, лабораторию для приготовления лекарств, 3 комнаты для лекаря. С 1804 года в нем работал выписанный из Вены лекарь Гетте.
В 1812 году в Усолье случился страшный пожар в котором сгорели усадебные постройки и почти вся деревня. К тому времени усадьбой управлял последний оставшийся в живых младший брат Владимир Орлов, и он повелел построить новые постройки из камня по плану, который был разработан Х.И. Сахаровым. Проектировали здания крепостные архитекторы графа Орлова Х. Сахаров и А. Цуканов при консультации известного - московского - архитектора Д. Жилярди. Работа была большая, расширение и реконструкция дворца продолжалась потом многие десятилетия, пока он наконец не приобрел тот вид в котором и дошел до нас.