James Manson construisit aussi le premier magasin général de Mansonville en 1824 puis le premier "Town Block" à l’endroit de l’actuel hôtel de ville.
Cet édifice construit en 1834 abrita la Eastern Township Bank (aujourd'hui la Banque Canadienne Impériale de Commerce) établie en 1904, les bureaux de la municipalité (incorporée en 1855) et des douanes ainsi qu'un salon de coiffure. Il brûla en 1910.
Un de ses fils, David, construit en 1875 la Maison Manson située au coin des chemins Bellevue et Vale Perkins, prend la succession du magasin et reconstruit le deuxième "Town Block" qui garda les mêmes fonctions et les mêmes locataires jusqu'au deuxième incendie en 1923.
David Manson s'illustra aussi dans plusieurs domaines de la vie publique, notamment comme maire de Mansonville en 1875, député conservateur à Ottawa, membre fondateur de la loge maçonnique de Mansonville et Grand Maître de la Grande Loge Maçonnique du Québec. II décéda à l’âge de 88 ans, le 9 février 1929. On a ici la marque d'une famille qui, pour plus d'un siècle, dirigea les destinées économiques et politiques du village.