Les archives sont muettes sur l’origine de cet ensemble, mais les proportions, les dispositions, les éléments défensifs et les vastes dépendances (aujourd’hui détruites) ne laissent guère de doute sur la vocation première des bâtiments. Il s’agit, selon toute vraisemblance, d’un ancien manoir seigneurial. Au moins depuis le milieu du XVIe siècle, les seigneuries de la Cour du Bois et de Conflans sont associées, et ont pour siège le manoir de la Cour-du-Bois, au nord-est du bourg. Néanmoins, il n’est pas exclu que la seigneurie de paroisse ait auparavant possédé son indépendance et son propre manoir, ou encore que le seigneur de la Cour-du-Bois ait souhaité imprimer sa marque dans le bourg, face à l’église, par une construction ostentatoire, comme c’est le cas dans bien des bourgs ruraux en Perche sarthois. On notera par ailleurs la parenté évidente entre les deux manoirs, car si celui de la Cour-du-Bois a été démoli, il est toujours connu par des photographies anciennes. C’est donc là une hypothèse vraisemblable pour l’origine du manoir de Conflans, mais pour l’heure aucun document n’en apporte la preuve ni ne permet d’identifier un commanditaire.

L’essentiel de l’élévation remonte à la fin du XVe siècle, comme l'indique l'étude dendrochronologique réalisée dans le cadre de l'inventaire : les prélèvements réalisés, notamment au niveau de l'escalier, indiquent une mise en oeuvre entre 1487 et 1496d. L’observation des murs permet d’identifier deux parties distinctes dans la construction primitive. Tout d’abord, le logis noble incluait la partie est du bâtiment principal, jusqu’à la tour d’escalier qui en occupait alors l’angle : on entrait par une porte ménagée sur un pan de cette tour, dont le percement a été conservé dans la distribution intérieure et dont un jambage est encore visible en extérieur. Cet espace sur cave incluait une salle au rez-de-chaussée dont la cheminée est conservée (actuellement salle du conseil) et une salle à l’étage, peut-être sous charpente. On y ajouta sans doute très rapidement la tour carrée en appui contre la façade arrière, pour des raisons de consolidation ou de fortification. Plusieurs baies chanfreinées ont été conservées, notamment sur les deux tours, ainsi qu'une fenêtre à traverse sur le pignon ouest, datables de la construction primitive. A proximité du logis noble se trouvait un second bâtiment (aujourd’hui plus bas), dont la fonction n’a pas été identifiée. Les dépendances se répartissaient autour de la cour close.

A une date inconnue, au plus tard au début du XVIIe siècle, le manoir devient presbytère. En 1684, le curé de Conflans avoue tenir du duc de Vendôme son presbytère, grand corps de logis à plusieurs chambres, grange, étable, colombier, cour et jardin clos, description qui pourrait correspondre à cet ensemble. Cette fonction est bien attestée au XVIIIe siècle : selon l’inscription portée au-dessus d’une fenêtre, "R COURTE CURE 1767", c’est René Courte, curé de Conflans de 1764 à 1785, qui fait rejoindre les deux bâtiments par la construction de la travée centrale, à droite de la tour d’escalier. Cette date est confirmée avec exactitude par l'étude dendrochronologique de la charpente, qui révèle une remise en oeuvre complète de la structure médiévale et l'adjonction de jambes de force. La plupart des baies ont été remaniées à cette occasion et une nouvelle porte d’entrée a été aménagée en remplacement de celle de la tour, désormais incluse dans le mur. La plupart des cheminées, de style rocaille, datent également de cette période. C’est également probablement au XVIIIe siècle que sont aménagés les jardins en terrasses. Le four, qui était sans doute celui du presbytère avant de devenir communal, porte la date 1770 au sommet du pignon.

A la Révolution, le presbytère est déclaré bien national mais n’est pas vendu, la commune décidant de le mettre à la disposition d’instituteurs communaux et d’en réserver une salle pour la mairie. Il est alors ainsi décrit : « scavoir première division composée d’une chambre à feu deux chambres froides et un cabinet à côté, grenier sur le totale, et la cave sous lesdicts bâtiments […] 2e division composée de la cuisine, d’une laiterie, d’un cabinet et d’un levier avec le pressoir à la charge par l’adjudicataire de souffrir à l’usage du pressoir par les habitans de la commune qui auront du cidre à faire […] 3e division composée d’une chambre haute à feu d’un grenier dessus et d’un fruitier à côté ». Les dépendances incluent « les grange et écurie cabinet poullalié engou fourny colonbié cour toit à porcs et jardins bas et haut », le tout couvert de bardeaux. La cour est accessible par une porte cochère. Le presbytère est ainsi loué au sulfureux curé Bonaventure Pipet au motif qu’il donne des cours à quelques élèves. Cessant d’assurer le culte à la Terreur, il épouse sa domestique, travaille à la justice de paix de Saint-Calais et tiendrait cabaret à Conflans. Peu apprécié par la population et la municipalité, l’ex-curé et sa famille sont sommés de quitter le presbytère en 1801. Quelques années plus tard, celui-ci est réaffecté au logement des curés, et le demeure jusqu’en 1957 malgré la séparation de l’Église et de l’État.

De nombreuses réparations mineures sont citées tout au long des XIXe et XXe siècles. Les couvertures sont entièrement refaites en 1841 et les derniers bardeaux (sur les communs) disparaissent au profit de la tuile, « en ayant soin de mettre des contrelattes pour renforcer les chevrons ». Une partie des encadrements de baies sont refaits en briques. Les dépendances autour de la cour sont progressivement démolies. Suite au décès du dernier curé de Conflans, l’abbé Segrétain, le presbytère est réaffecté aux logement des instituteurs communaux. Une partie du jardin est utilisée pour la construction du groupe scolaire en 1964. L’ancien presbytère étant devenu vacant en 1990, le conseil municipal décide d’y fixer la mairie après près de deux siècles d’errances d’une maison du bourg à l’autre. S’ensuit une restauration menée par l’architecte Michel Pitois, qui comprend notamment la réfection de nombreuses ouvertures et la construction d’un garage accolé. La cour est transformée en parking. La mairie précédente est ensuite transformée en salle polyvalente.