Храм находится в центральной части Твери, недалеко от Волги, на улице Вольного Новгорода. В прежние времена здесь находилась Рыбная слобода – этим и объясняется полное название храма.
В XVII – начале XVIII вв. здесь находилась деревянная церковь. В 1725 г. она сгорела, и на деньги прихожан был построен каменный храм, освященный в 1743 г. Однако и он сильно пострадал во время страшного пожара 1763 г. – остались только стены. Спасая храм, погибли более 30 прихожан. В огне уцелела икона Божией Матери «Всех Скорбящих Радость», которая затем прославилась как чудотворная. Храм вновь восстановили, здесь стали совершаться заупокойные службы по погибшим прихожанам. Известно, что в числе благотворителей храма была Екатерина II. На пожертвованные императрицей средства близ церкви возвели дом для служителей храма.
В советское время в церкви размещался тир, магазины. В 1999 г. часть помещений вернули верующим, сегодня храм Рождества Христова «что в Рыбаках» отреставрирован. В 2001 году в храме возобновились богослужения.
В 2010-2012 годах в храме проведена масштабная реставрация. В 2010 году выстроена колокольня. Воспроизведены, утраченные в советское время, белокаменные наличники восьмерика и апсиды.
20 августа 2013 года на колокольню подняты колокола. Сегодня в храме идет активная приходская жизнь, продолжается благоустройство церкви и прилегающей территории.
Для детей и взрослых организованы воскресные школы по изучению основ православия.