Здание, стилизованное под готику и увенчанное башенкой со шпилями, расположено на пересечении улиц Крылова и Салтыкова-Щедрина. Оно было построено в начале 1880-х годов, и вскоре для обустройства здесь богадельни здание приобрел купец В.П. Аваев. Впоследствии богадельню назвали его именем.
В народе бывшую Аваевскую богадельню называют «Ласточкино гнездо» - за сходство со знаменитым памятником архитектуры под Ялтой. Что и говорить, тверское «Ласточкино гнездо» - тоже колоритный и запоминающийся объект. Аваевская богадельня привлекала внимание кинематографистов. Здание было использовано при съемках фильма «Статский советник».