А. П. Иванов родился 9 (22) сентября 1904 года в селе Чижово (ныне — Бежецкого района Тверской области). Окончил физико-математический факультет Тверского пединститута (1926). В 1932 году окончил ЛГК имени Н. А. Римского-Корсакова (класс Г. А. Боссе). Брал уроки пения у И. В. Ершова. С 1930 года выступал в оперной студии Ленинградской консерватории. В 1932–1936 годах солист ЛМАТОБ, в 1936–1938 годах — Свердловского, Саратовского и Горьковского, в 1938–1967 годах — Большого театра. Выступал с концертами. Уйдя из Большого театра, Иванов преподавал вокальное мастерство в Загорской духовной семинарии. Обобщил принципы отечественной вокальной школы в книгах «Об искусстве пения», «Жизнь артиста» и других.
А. П. Иванов умер 11 марта 1982 года в Москве. Похоронен на Кунцевском кладбище.
Памятник установлен на берегу реки Остречины в начале августа 2004 года, 13 августа состоялось его освящение, а 14 августа того же года — в день города — его торжественное открытие.