"Дом Стюсси" это второе здание музея. Оно было построено в конце XIX века Теодором Стюсси, выходцем из Швейцарии, который был некоторое время управляющим в имении Трубецкого и, по мнению баковцев, подозрительно быстро разбогател на этой должности. По воспоминаниям современников, Теодор, которого в простонародье называли Фёдором, силы был недюжинной, но крестьян боялся. Потому в доме и кирпичные стены метровой толщины, и окошки - маленькие. А из здания напрямую к Ветлуге вёл тайный подземный ход на случай бунта.

Несколько залов первого этажа музей использует для выставок. Обычно здесь можно увидеть изделия местных мастеров народных промыслов, специальные экспозиции, которые разворачивают для детей. В одном из залов музей решил оставить печатный станок и стол наборщика: в советское время здание принадлежало типографии, и сегодня старое оборудование превратилось в музейные экспонаты, которые интересом разглядывают посетители. Есть тут и зал, где проходят конференции, лекции, интересные встречи.