C'est en 1923 que les pères fondateurs du club achètent le terrain sur lequel se situe actuellement le Stade Pierre Rajon. Alors nommé "Parc des Sports", ce dernier connaît de nombreux aménagements tels que la construction d'une tribune, de vestiaires ou encore d'une buvette. Le club fait don du terrain et des infrastructures construites, à la commune en 1932. En 1974, le "Parc des Sports" est rebaptisé "Stade Pierre Rajon" en hommage à l'un des pères fondateurs du club. La dernière évolution du stade est la construction d'une nouvelle Tribune Nord ainsi que de nouveaux vestiaires. Une nouvelle tribune a vu le jour fin 2022 dans laquelle des espaces réceptifs sont aménagés de même qu'une brasserie : La Berjallie.