У 1800 році Ян Ганський розпочав будівництво палацу у Вержховні, яке завершив його син Вацлав. Будівля, витримана в стилі ампір, складається з центральної частини та двох флігелів. У 1810 р. поруч була споруджена родинна каплиця Ганських. З 1819 року маєток належав Евеліні Ржевуській, дружині Вацлава. Палац став відомим завдяки Онорею Бальзаку, який, будучи другим чоловіком Евеліни, працював тут над багатьма своїми творами.

З 1922 року в палаці діяла сільськогосподарська школа, пізніше перетворена на філію Київського сільськогосподарського інституту. Сьогодні тут знаходиться аграрний коледж. У 1959 році було відкрито меморіальну кімнату Бальзака, а в 1995 році почав діяти Житомирський обласний музей Оноре де Бальзака. Наприкінці 1980-х років було проведено капітальний ремонт палацу.