В конце XIV в. Йогайла основал Вильнюсский епископат и отдал Вяркяй во владение епископам. Первые постройки епископского поместья XVI в., с каменными подвалами и фундаментом, были деревянными.

Первым владельцем каменного дворца был Вильнюсский епископ Константинас Казимерас Бжостовскис, который владел Вяркяй в конце XVII в. – начале XVIII в. По его инициативе был создан Вяркяйский ансамбль (окруженный болотами и лесами) с характерной трехосной композицией: дворцом – Тринапольской церковью с монастырем – Кальварийской церковью с часовнями Крестного пути. Дворец епископа, в виде замка, вырос примерно в 1690 г. на высоком береги Нярис, у обрыва. Он был квадратным, трехэтажным, с покрытыми кровлей угловыми башнями.

В конце XVIII в. Вяркяй отошли в собственность к Игнотасу Массальскису, Он начал ремонт и реконструкцию дворца и других зданий ансамбля, а также построек в долине Нярис. Новый и величественный Вяркяйский архитектурный ансамбль в стиле классицизма создали Мартинас Кнафкус и его ученик Лауринас Стуока-Гуцявичюс. Сначала работами руководил архитектор М. Кнафкус (1769-81 г.). Он подобрал место под новую резиденцию, составил общий план ансамбля. Под его руководством были возведены боковые корпуса – оффицины, часть старых зданий была разрушена. Продолживший работы (до 1788 г.) Л. Стуока-Гуцявичюс подготовил новый проект центрального здания, завершил все работы над внешним фасадом центрального здания, внутри оборудовал парадную лестницу огромный зал с куполом. Ему приписывают авторство павильона, мельницы с запрудой, проездных домов, и прочих строений.

С середины XIX в. Вяркяйский дворец принадлежал князю Людвику Витгенштейну и его наследникам. Благодаря усилиям князя закипела работа по реконструкции: была произведена перепланировка парка, с уменьшением его верхней части, установлена новая ограда, ворота, сторожка, пристроена восточная оффицина – в конце её северной части достроена башня и сделана пристройка с большим залом, к другому концу была присоединена оранжерея из стеклянно-металлических конструкций, до фундамента был разрушен центральный корпус... По-иному была распланирована площадь перед дворцом, устроен фонтан. Вокруг площади протянулась новая дорога. Фольварк превратился в хозяйство, приносящее прибыль. Сын князя Петер продолжил начатые отцом работы: перестроил корпуса фольварка, привел в порядок водные сооружения, развивал рыболовство. Началась продажа поместной земли, вырубка лесов. В конце-концов, Витгенштейны распродали половину поместья. Начался период упадка Вяркяйяского ансамбля – строились типовые дачи и виллы...

Многочисленный урон нанесла Вяркяйскому архитектурному ансамблю Первая мировая война. В период между двумя войнами в его зданиях размещался пансионат и дачи. Перед Второй мировой войной – школа животноводства, в советские времена – школа председателей колхозов, животноводческий техникум. С 1960 г. ансамбль принадлежал Академии Наук. В настоящее время здесь работает Институт ботаники.

Для главных зданий усадьбы Вяркяйского поместья характерен стиль классицизма. Хозяйственные постройки – в стиле народного искусства. Некоторые элементы этого ценного ансамбля не сохранились, вместо роскошного центрального здания остались лишь подвалы с арочными потолками; другие были изменены, перестроены. Центральное здание разрушено около 1842 г. Усадьба Вяркяйского поместья – дворцовый ансамбль ныне состоит из множества сохранившихся построек: западной и восточной оффицин, павильона, съезжих домов (конюшен), ледника, сторожки, оранжерей, двух водяных мельниц, виллы, риги, коровника, подвалов прежнего дворца, старой почты, домов служащих, конюха, егеря, мельника и столяра, административного здания, котельной, водонапорной башни, фонтана, осветительных столбов, остатков альтаны, фрагмента ограды с воротами.

В настоящее время уникальный ансамбль Вяркяйского дворца охраняется Вяркяйским ландшафтно-архитектурным заказником. Вяркяй всегда привлекали чудесной природой, красивыми богатыми зданиями, легендами и содержательной историей.