La nécessité de se fédérer apparaît rapidement. Le 14 juillet 1885, Raiffeisen se rend à Strasbourg, où se réunissent 122 sociétaires représentant les vingt-quatre Caisses en Basse-Alsace et les cinq de Haute-Alsace. À la suite de cette assemblée, les Fédérations de Haute-Alsace et de Basse-Alsace sont créées. La Fédération de la Moselle verra le jour en 1896. Une première assemblée commune aux trois fédérations se réunit à Metz le 6 décembre 1900.

Téléchargez l'histoire du Crédit Mutuel Alliance Fédérale :

Surtout, une Fédération indépendante des associations coopératives d'Alsace et de Lorraine est créée le 25 mai 1905 à Colmar.

Le 27 mars 1919, la Caisse centrale de la Fédération des Caisses rurales d'Alsace et de Lorraine voit le jour. Outre sa fonction de compensation bancaire, cette institution se voit assigner l'objectif de défendre les intérêts financiers des caisses. En décembre 1919, elle adopte la nouvelle dénomination de « Banque Fédérative ».

L'année 1921 constitue la dernière étape de l'unification. Le 7 avril, à Strasbourg, la Fédération indépendante des associations coopératives d'Alsace et de Lorraine et la Fédération « Révision » (fédération de contrôle créée en 1903 par le gouvernement impérial allemand) décident de s'unir au sein de la Fédération agricole d'Alsace et de Lorraine qui regroupe l'ensemble des Caisses de Crédit Mutuel d'Alsace et de Lorraine. Cent ans après, cette fédération est la même personne morale que l'actuelle Fédération du Crédit Mutuel Centre Est Europe.

Deux ans après la Première Guerre mondiale, la Fédération agricole d'Alsace et de Lorraine fait face à plusieurs défis d'envergure. Elle doit d'abord réussir le regroupement de deux entités jusqu'alors distinctes. De plus, la restitution de l'Alsace-Lorraine à la France pose des défis de nature juridique et monétaire. Créées à la fin du 19ème siècle dans des territoires annexés par la Prusse, les Caisses doivent conduire l'adaptation juridique du Crédit Mutuel à la législation française, qui ne prévoit pas, alors, de statut spécifique à la coopération. De même, il faut échanger contre des espèces françaises des instruments monétaires allemands, qui n'ont plus cours depuis fin 1918 et sont alors détenus par les sociétaires et les caisses.

Ces défis seront rapidement surmontés, ce qui permettra à la future Fédération du Crédit Mutuel Centre Est Europe d'amorcer une seconde phase de son développement. Durant l'entre-deux-guerres, le mouvement créé par Raiffeisen montre ses capacités d'adaptation. Le Crédit Mutuel profitera dès lors de la prospérité économique des années 1920 pour renforcer son implantation.