Název města pochází z příjmení zhořeleckých a žitavských měšťanů v roce 1298 Romberch, v následujících letech Ronenberch, Ronnenberch, Ronenberg, zkráceně Ronnberg či Rumberg. V roce 1341 se poprvé objevuje Rumburg, následují názvy Romberg, Ronberg. První část názvu pochází ze heraldických ostrví panského rodu Ronovců (středohornoněmecky die Rone = ostrve, osekané kmeny s pahýly větví, které se používaly jako žebříky při dobývání hradeb; odtud je odvozeno Ron, nářeční výslovnost Run, Rum. V druhé části je velmi časté německé Berg (der Berg = hora), které se střídá s Burg (die Burg = hrad). Hrad stejného názvu – Rumburg stojí v Německu nedaleko města Eichstätt. Pro svoji výstavnost, množství restaurací a zábavních podniků bylo město od začátku 20. století do roku 1945 nazýváno Malá Paříž severu.

Loreta 

Základní kámen proslulé poutní loretánské kaple Panny Marie položil litoměřický biskup Jaroslav Ignác Šternberk. Byla stavěna v letech 1704–1709 stavitelem Janem Lukasem Hildebrandtem a na rozdíl od svého originálu, který je z mramoru, je celá z pískovce. Na vnější výzdobě se podílel sochař Jan František Bienerth ze Schirgiswalde. Uvnitř kaple najdeme sochu Černé Madony s dítětem, která byla roku 1694 zhotovena v Římě a posvěcená papežem Inocencem XII. Rumburská Loreta je, stejně jako Loretánská kaple v Praze, přesnou kopií svého italského originálu a je nejen nejsevernější Loretou v Čechách, ale i v Evropě. Postavit jí nechal zdejší kníže Antonín Florián z Lichtenštejna. Z pískovce jsou rovněž sochy deseti Sibyl a proroků, které jsou dílem barokního umělce Jana Františka Bienertha ze Schirgiswalde, který zhotovil také sochy na balustrádě před klášterem. Severní stranu zdobí sochy Sibyly libyjské a delfské, proroků Jeremiáše a Ezechiela. Reliéfy zobrazují Zvěstování Panně Marii, navštívení Panny Marie a sčítání lidu v Betlémě. Před stěnou je kamenný oltář, na kterém byla původně umístěna socha sv. Josefa. Západní stranu zdobí sochy Sibyly perské, kumánské a eritrejské, proroků Davida a Malachiáše. Reliéry zobrazují klanění pastýřů a tří králů. Jižní stranu zdobí sochy Sibyly sabinské a kumunské, proroků Mojžíše a Balaáma. Reliéfy zachycují smrt P. Marie a přenesení nazaretského domku ze Svaté Země do Dalmácie, a odtud do Loreta.