Cette maison de briques, style Second empire, a été construite sur les fondations du Manoir Toussaint-Drolet, seigneur de Cournoyer, que l'honorable John Fraser a occupé jusqu'à sa mort en 1876. Le manoir, ayant été démoli en 1891, cédera la place à la maison de briques actuelle appartenant à la famille Ducharme puis, à partir de 1940, aux belles-soeurs d'Alvarez, fils de Marc-Édouard Ducharme; Angélina et Elphégina Duhamel, modistes de leur métier, qui y vécurent jusqu'à un âge avancé jusqu'en 1974.