L’épopée égyptienne terminée, Bonaparte revient le 16 octobre 1799 à Paris. La confusion politique semble ouvrir la porte à un retour d’exil de Lafayette. C’est ce qu’Adrienne lui conseille tandis que Bonaparte ou Sieyès craignent encore de rapprocher du pouvoir cette figure historique.
En novembre 1799, Lafayette est de retour à Paris. « Il serait très plaisant, dit-il à Romeuf, que je fusse arrêté le soir par la Garde nationale à Paris et mis au Temple, le lendemain, par le restaurateur des principes de 1789. » Il se fait publiquement discret et, malgré le rêve personnel et non partagé d’une installation aux Etats-Unis, il investit Lagrange.

« Ma mère était accoutumée à pressentir les intentions de mon père ; elle jugeait avec un tact merveilleux de ce qu’il lui convenait de faire ; elle le devinait. Lui, de son côté, avait en son opinion une entière confiance ; aussi, sans aucune autre information, partit-il sur le champ et il arriva à Paris. Le premier consul reçut fort mal cette nouvelle. Il aurait voulu que mon père restât en Hollande, qu’il fit solliciter sa rentrée comme tout le monde. Les ministres déclaraient qu’il fallait qu’il retournât à Utrecht pour y attendre sa radiation de la liste des émigrés. Ceux de nos amis qui approchaient le premier consul, assuraient qu’on ne pouvait plus oser lui dire un mot à ce sujet. Ma mère alla le trouver. Elle fut gracieusement accueillie. Elle exposa au général Bonaparte quelle était la situation toute particulière de mon père et quel effet favorable son retour devait produire sur tous les hommes à la fois honnêtes et patriotes. Elle parla avec une noblesse, une prudence, une adresse dont il fut frappé. "Je suis charmé madame, lui dit-il, de faire votre connaissance; vous avez beaucoup d’esprit ; mais vous n’entendez pas les affaires." Cependant il fut convenu que mon père resterait ouvertement en France sans demander une autorisation, et qu’il attendrait à la campagne la fin légale de sa proscription. Ma sœur et son mari arrivèrent de Hollande. Mon frère avait déjà rejoint mon père. »
Virginie de Lasteyrie, La Vie de Madame de Lafayette, 1869

« Mr. Vaudoier et moi nous sommes assurés que d’aujourd’hui en huit nous aurons à La Grange
des chambres pour nous tous, et deux de plus, ce qui fait trois lorsque Virginie logera chez vous.
Aurons-nous les meubles d’ici huit jours ? Mr. Vaudoier dit qu’à l’hôtel de la Guerre on en trouve
à tout prix et bon marché et si demain vous en aviez le temps et l’argent, il vous accompagnerait
mais l’un et l’autre sont bien douteux… »

Lafayette à Adrienne, février 1800

Le château de Lagrange est hérité par Adrienne. Elle désire y réunir sa famille. Lafayette entrevoit la possibilité d’y satisfaire sa passion agronomique, prolongeant le chemin de son modèle George Washington qui vient de décéder. L’échange épistolaire du couple décrit les espérances et les réalisations quant à l’aménagement intérieur du château et de la ferme. Ils confient la direction de ces travaux à l’architecte Vaudoyer. Hubert Robert concevra le parc. L’énergie dont Adrienne use à consolider la situation familiale, dans la récupération des spoliations, la gestion de la plantation de Louisiane La Gabrielle et l’établissement de l’avenir de ses enfants, est considérable. Lafayette, lui, est ravi de n’être pas trop loin de Paris.

« La fracture de ma cuisse est parfaitement remise, mieux même que cela n’arrive en pareil cas, mais l’appareil ou machine à extension a laissé de profondes et douloureuses plaies qui ne peuvent être fermées avant cinq semaines. J’ai l’intention de les passer à Auteuil où ma belle-fille est sur le point de me faire grand-père, et à Aulnay chez Madame de Tessé. Je retournerai ensuite vers ma retraite chérie, à Lagrange. »

Lafayette à Masclet, 20 mai 1804

Gravure que le Président du Tribunal fit parvenir à Lafayette en souvenir du premier traité de « paix-commerciale » du 30 septembre 1800 signé à Mortefontaine avec les États-Unis. Une grande fête avait été donnée ce jour-là par Joseph Bonaparte.