Au cours du vingtième siècle, la période des années vingt a été marquée, en ce qui concerne les Algériens, par une renaissance politique. C'est ainsi qu'après les développements qu'a connus le monde à l'issue de la première guerre mondiale et l'émergence d'une élite algérienne de diverses orientations parmi les députés, les réformistes et les travailleurs émigrés, la conscience politique a commencé à s'affirmer de jour en jour à travers la création de partis et de formations politiques d'orientations diverses parmi lesquelles l'association des ulémas musulmans algériens

L'Association des Ulémas Musulmans Algériens est apparue dans des conditions particulières que l'on peut résumer comme suit:

-     Célébration par la France du centenaire de l'occupation  (1830-1930), la fierté qui a accompagné cet événement d'avoir liquidé la personnalité algérienne et en particulier les provocations de la part des colons.

-      Naturalisation de tous les enfants nés en Algérie de parents étrangers, des privilèges considérables leur étant par ailleurs, octroyés dans l'administration et les services .

-      Le viol manifeste des libertés fondamentales des citoyens, les pressions exercées sur la presse algérienne et les établissements d'enseignement arabe, ainsi que la lutte contre la justice musulmane.

-      Emergence d'une élite intellectuelle de culture française appelant à l'assimilation et la fusion dans la civilisation française.

-      Encouragement des communautés juives à avoir la mainmise sur les activités économiques en leur octroyant des privilèges notamment après que la nationalité française leur ait été accordée.

C'est dans ce contexte que l'association des ulémas musulmans algériens fut créée le 05 mai 1931, au club "al taraqi" à Alger. Elle était constituée des ulémas les plus éminents de l'époque, à savoir : Abdelhamid ibn Badis, El Bachir al Ibrahimi, Tayeb el Oqbi , Larbi Tébessi. Le comité constitutif fut présidé par M. Amrane Smaïl et un conseil d'administration de 13 membres fut désigné. Malgré son absence, Cheikh Abdelhamid Ibn Badis fut élu président de l'association et Cheikh El Bachir Ibrahimi nommé vice-président. L'association réussit à obtenir l'agrément de l'administration française compte tenu du caractère modéré de son programme.

Le programme de l'association des Ulémas était défini dans ses statuts comprenant 24 chapitres dans lesquels étaient abordées les grandes lignes de l’action de l'Association. Les objectifs de l'association apparaissent aussi bien à travers ses statuts que  les activités et écrits de ses membres.

En tête de ces objectifs , figure la préservation de la religion musulmane et la lutte contre les mythes et légendes, la revivification de la langue arabe et ses humanités ainsi que la glorification de l'histoire du monde musulman et son patrimoine.

Même ceux qui étaient opposés aux idées de l'association en ont témoigné, à l'instar de Mr Ferhat Abbas qui a noté que les objectifs de l'association consistaient à "rénover l'Islam , lutter contre les marabouts, instrumentalisés par le colonialisme et former les cadres de la culture arabe".

Le président de l'association avait précisé les objectifs principaux de celle-ci dans un article intitulé: "Appel et fondements de l'association des ulémas musulmans ".  Par ailleurs, l'association avait affiché des positions claires concernant les questions politiques qui se posaient, s'opposant notamment à la politique d'assimilation revendiquée par la Fédération des élus algériens, sous la direction du Docteur Bendjelloul,  Ben Touhami, Ferhat Abbas et d’autres. De même qu'elle se distingua par sa présence effective au Congrès Islamique en 1934.

Pour mener ses activités, l'association avait recours aux moyens reconnus tels que les mosquées, les écoles libres d'enseignement et d'éducation, la formation de cadres et les clubs pour les activités culturelles ainsi que la presse pour diffuser ses idées et notamment les deux journaux al chihab et al baçaïr .

Ce déploiement d'activités a mis l'association dans une position inconfortable et peu enviable dans la mesure où de nombreux opposants à ces activités se manifestèrent. C'est ainsi que,  outre les manœuvres entreprises par l'administration française pour faire face à l'association des ulémas et l'assassinat de Cheikh Mohamed Kahoul, il y avait également l'opposition des députés, des confréries et des marabouts ainsi que les missionnaires et les hommes de religion du christianisme

En dépit des pressions exercées sur elle par l'administration coloniale et l'opposition de ses adversaires, l'association poursuivit néanmoins ses activités durant les années trente par le biais des écoles, des journaux et des clubs jusqu'au déclenchement de la seconde guerre mondiale. Refusant d'exprimer son soutien à la France, elle réduisit ses activités et cessa la publication de ses journaux. Cheikh El Bachir El Ibrahimi fut alors exilé par les autorités françaises à Aflou et l'Association  intégra les Amis du Manifeste, formation politique fondée par Ferhat Abbas.

Après la seconde guerre mondiale, elle poursuivit sa mission réformatrice sous la présidence de Bachir El Ibrahimi jusqu'au déclenchement de la lutte de libération, lorsque ce dernier publia le 14 novembre 1954 au Caire, le communiqué de l'Association des ulémas musulmans, appelant le peuple algérien à s'unir autour de la Révolution.  En 1957, les autorités françaises décrétèrent la dissolution des partis politiques et parmi eux, l'Association des Ulémas Musulmans Algériens.