Fue fundado en la primera mitad del siglo 15. Junto con la Sinagoga Vieja-Nueva es uno de los monumentos más importantes que se conservan en la Ciudad Judía de Praga. La tumba más antigua data de 1439 y pertenece al estudioso y poeta Avigdor Kara. No se hicieron más enterramientos allí desde 1787. Actualmente cuenta con 12 000 estelas funerarias aunque el número de personas enterradas allí es mucho mayor. Pese a que el cementerio fue ampliado varias veces en el pasado, su área era insuficiente y fue necesario añadir varias capas de tierra, por lo que se asume que el cementerio consta de varias capas de enterramientos superpuestas unas sobre otras. Los pintorescos grupos de tumbas de varios períodos se deben al hecho de que las estelas más antiguas se levantaron de las capas inferiores.
La persona más importante enterrada en el Viejo Cementerio Judío es sin duda el gran erudito religioso y pedagogo Jehuda Liwa ben Betzalel, conocido como el rabino Löw (fallecido en 1609), a quien la leyenda atribuye la creación de un ser artificial – el Golem. Entre otras personalidades enterradas en el Viejo Cementerio Judío están Mordejai Maisel, alcalde de la Ciudad Judía (fallecido en 1601), David Gans, erudito del Renacimiento, historiador, matemático y astrónomo (fallecido en 1613), Josef Shelomo Delmedigo, científico e historiador (fallecido en 1655) y David Oppenheim, rabino y coleccionista de manuscritos y textos impresos hebreos (fallecido en 1736).