Сельцо Андреевское было пожаловано императрицей Елизаветой Петровной Михаилу Илларионовичу Воронцову (1714-1767) за участие в дворцовом перевороте 1741 г. и возведении ее на российский престол. За активную дипломатическую деятельность в 1744 г. М.И. Воронцов был возведен Карлом VII в графское достоинство Римской империи, которое также распространялось на его братьев (т.к. у него не было сыновей) и их нисходящее потомство. В 1758 г. М.И. Воронцов стал канцлером Российской империи. По сути, ему обязан возвышением весь род Воронцовых.
После смерти М.И. Воронцова в 1767 г. с. Андреевское перешло к его брату Роману Илларионовичу Воронцову (1717-1783), с которым связано благоустройство имения и начало строительства здесь дворцово-паркового ансамбля. Окрестные земли перешли в собственность Воронцовых в качестве приданого супруги Р.И. Воронцова Марфы Ивановны Сурминой. Вотчина Воронцовых включала три села и более двух десятков деревень. Но ее центром было село Андреевское, где располагалась контора вотчинного правления.
Р.И. Воронцов, как и его брат, Михаил, приближенный к императрице Елизавете Петровне, стал одним из богатейших людей России. С приходом к власти Петра III его положение при дворе укрепилось, поскольку его дочь Елизавета Романовна была фавориткой нового императора. Однако при Екатерине II он был сначала в опале, но затем восстановил свое положение при дворе, в том числе, благодаря дружбе с императрицей его дочери, Екатерины Воронцовой (в замужестве – Дашковой), будущего знаменитого директора Санкт-Петербургской Академии наук, президента Императорской российской Академии и видного деятеля Российского Просвещения. В 1778 г. с образованием Владимирского наместничества Р.И. Воронцов стал первым владимирским генерал-губернатором (а в дальнейшем – ещё и пензенским и тамбовским наместником). В его правление был принят регулярный план застройки Владимира, проведён ремонт и реконструкция Золотых ворот, открыта первая почтовая контора. В то же время, Р.И. Воронцов отличался мздоимством и поборами, чем наносил большой ущерб вверенным ему губерниям и за что получил прозвище «Роман – большой карман». По легенде, Екатерина II даже прислала ему на именины подарок с намёком – большой кошелёк, получив который, Роман Воронцов вскоре заболел и умер. Тем не менее, из уважения к заслугам первого губернатора и по его завещанию, Р.И. Воронцов был погребен во владимирском Дмитриевском соборе, не имевшем некрополя.
Родовое гнездо Андреевское Роман Илларионович отстраивал с размахом, соответствовавшим его финансовым возможностям и статусу семьи. Усадебный комплекс проектировал и руководил строительством личный архитектор Воронцовых – Николай Петрович фон Берк (Фонберк). Он же создавал и первый регулярный план застройки Владимира, уже как губернский архитектор. По рационализму организации пространства Андреевское скорее напоминало маленький городок, нежели дворянскую усадьбу. На защищенной естественными водными преградами с трёх сторон территории (междуречье Пекши и Нергели, образующее участок в виде полуострова) была чётко выделена центральная площадь, улицы, слобода служителей, каменные сооружения различного назначения. Улицы, проспекты, площади, дворы усадьбы были вымощены диким камнем-булыжником.
Центральное место в усадебном ансамбле занимал трёхэтажный каменный дворец, который был соединен с одноэтажным вытянутым зданием, образующим каре вокруг парадного двора. Над арочным въездом во двор возвышалась ярусная надвратная башня, завершенная восьмигранником с высоким куполом и шпилем. Она центрировала вокруг себя не только здание дворца, но доминировала во всем усадебном ансамбле.
