Памятное место, где в XIX веке встречались декабристы-уроженцы Смоленщины. Дворянская усадьба была построена в восемнадцатом веке, принадлежала дядюшке декабриста Каховского. Барский трехэтажный дом был выстроен из кирпича, неподалёку стояла церковь. К озеру спускались террасы зимнего сада. На озере оборудована купальня. В усадьбе был выкопан искусственный пруд-лукоморье, по мотивам сказок А. С. Пушкина, рядом с которым рос большой вековой дуб. Территория лукоморья была обнесена кирпичной стеной (разобрана после революции крестьянами соседних деревень на постройки). На территорию парка были завезены медведи. Между усадьбой Белый Холм и рядом расположенным мелким поместьем Ржавец была вымощена дубовая дорога с перилами, для слепого барина из Ржавца. Он сам мог прийти по этой дороге к соседям.
В период войны 1812 года усадьба не была разорена. Возможно, обессилившие в отступлении французы наведывались в дом, так как после революции во время разрушения дома обнаружили спрятанные между перекрытиями этажей винтовки французского образца 1812 года.
Под церковью был найден фамильный склеп.
Усадьбой после смерти Каховского владели: купец Митлашевский, обедневшие дворяне Косовы.
В 18-19 годах двадцатого века в дворянском доме располагался политтехникум, в котором учился А. Т. Твардовский.