Au plus loin de l’époque Néolithique, l’homme a laissé la trace de son passage, comme en témoigne la découverte de vestiges à Marcilly, hameau d’origine gallo-romaine et à Neuzy. En 603, le hameau fortifié de Flez figure parmi les biens de Didier, évêque de Nevers.
L’existence d’une paroisse à Saint-Pierre-du Mont est attestée dès le Xème siècle. En 1176, un lieu de culte appelé ecclesia sancti Petri de Montibus est mentionné parmi les revenus de la collégiale Sainte-Eugénie de Varzy. Dès cette époque Renaud Rongefer bâtit une forteresse inexpugnable à partir de laquelle lui-même et ses successeurs multiplient les exactions. Bien que prise d’assaut avec l’aide de Blanche de Castille, la demeure féodale subsiste, et ses occupants poursuivent leurs exactions.
Claude Tillier immortalise le site de Saint-Pierre-du-Mont dans son roman Mon oncle Benjamin.
En 1825, le feu détruit en totalité le hameau fortifié de Flez, dont les fossés sont encore visibles.
Au XIXème siècle avec l’implantation de la route de Clamecy, La Pouge devient le centre administratif de la commune avec sa mairie et son école.
