Дом построен купцом И. С. Душкиным в 1872 году на месте усадьбы, купленной в 1800 году генерал-майором Андреем Аракчеевым (братом приближенного императора Александра I графа Алексея Аракчеева, часть детства которого прошла в родительском доме в Бежецке).
На рубеже XIX-XX веков часть второго этажа дома занимала камера городского суда. Николай Гумилев и Анна Ахматова во время своих частых приездов в Бежецк (недалеко отсюда находилось имение матери Гумилева Слепнёво) регулярно останавливались здесь. Их сын, историк Лев Гумилев, жил здесь в 1917-1929 годах. На фасаде мемориальная доска: «В этом доме с 1917 по 1929 г. жил выдающийся ученый Л. Н. Гумилев».