Он разместился в доме, где жил историк Тимофей Грановский. Были организованы комнаты писателей: Николая Лескова, Леонида Андреева, Дмитрия Писарева, Ивана Бунина, Алексея Апухтина, Марко Вовчок, Михаила Пришвина и Тимофея Грановского.
Дом, в котором находится музей, — один из немногих сохранившихся старинных дворянских особняков. Он был построен в середине XIX века по проекту архитектора И.Ф. Тибо-Бриньоля на пересечении улиц Георгиевской (ныне Тургенева) и Садовой (ныне Горького).