A 19. század közepén Rákospalotán még csak kis létszámú zsidó közösség élt: az 1857-es népszámlálás 38, az 1869-es 82, az 1880-as pedig 123 zsidó lakost mutatott ki. A közösség azonban gyorsan gyarapodott, és az 1930-as évek elejére létszáma már meghaladta a 2600 főt, egyes források szerint a 3000-et is. A növekvő közösség fontos szereplője lett a település társadalmi és gazdasági életének.
A rákospalotai zsidóság kezdetben az újpesti anyahitközséghez tartozott, ám a közösség megerősödésével igény mutatkozott az önállóságra. Schwartz Jakab elnök kezdeményezésére 1898. február 27-én megalakult a Rákospalotai Autonóm Orthodox Izraelita Hitközség, amely saját vallási és közösségi életet szervezett.
1898 áprilisában a közösség egyhangúlag Duschinszky Mihályt választotta rabbijává. A kiváló műveltségű, több nyelven beszélő rabbi több mint négy évtizeden át vezette a hitközséget. Nyitott szemléletének köszönhetően a sokszínű közösséget egységben tudta tartani, és az általa vezetett hitközség megőrizte ortodox jellegét.
A századfordulóra a régi zsinagóga már szűknek bizonyult, ezért a közösség új imaház építését határozta el. A Régi Fóti úton álló zsinagóga terveit Feith Mihály készítette, és a Feith család támogatásával 1927-ben felépült az új, impozáns templom. Az épület udvarán rituális fürdő, mikve is létesült, ami jelentősen megkönnyítette a vallási élet gyakorlását.
A második világháború tragikusan megtörte a közösség életét. 1944-ben a rákospalotai zsidókat gettóba zárták, majd deportálták, és a több ezer fős közösségből csak néhány százan tértek vissza. A túlélők ugyan megkezdték a zsinagóga helyreállítását, és 1948-ban ismét használatba vették az épületet, ám a közösség létszáma már nem tudott újra megerősödni. 1950-ben megszűnt az önálló rákospalotai hitközség, az épületet pedig később más célokra használták: 1964-től az Országos Széchényi Könyvtár raktára, majd könyvrestaurátor műhely működött benne.
2025-ben az EMIH – Magyar Zsidó Szövetség megkezdte az épület felújítását, és a tervek szerint 2026-ban adja vissza a megújult zsinagógát a közösségnek.