Dzieje kościoła związane są ze stojącym tu niegdyś szpitalem św. Jerzego, który wraz z kaplicą wybudowany został w połowie XIV w. 100 lat później parcelę przekazano karmelitom wysiedlonym z zagrożonego atakiem krzyżackim obszaru tzw. Młodego Miasta (obecne tereny postoczniowe). Mnisi mieli wielkie ambicje i poważne plany – rozebrali budynek szpitala i przystąpili do wznoszenia kościoła, który wielkością przypominać miał potężną bryłę kościoła św. Mikołaja. Obiekt miał mieć trzy nawy, z których każda sięgać miała 75 m długości. Nieco dziwnie wyglądająca samotna brama, która obecnie prowadzi do kościoła od strony ulicy Elżbietańskiej wyznaczała planowane miejsce wejście do kościoła. Równolegle z budową świątyni wznoszono też zabudowania klasztorne, jednak pod koniec XV w. z braku środków dalsze prace wstrzymano i – jak się miało jednak okazać – budowla nigdy nie osiągnęła planowanych rozmiarów.

Kolejne stulecia były dla karmelitów bardzo burzliwe – kościół był kilkukrotnie plądrowany, a mnisi wchodzili w konflikty sądowe z Radą Miejską. W XIX w. zaś zakon karmelitów skasowano, ich klasztor przejęty został przez pruskie wojsko, a w 1840 r. świątynia stała się kościołem parafialnym. Co ciekawe, ponieważ do parafii św. Józefa należało wielu Polaków, msze w kościele odprawiano w dwóch językach.

Tragiczną datą w dziejach kościoła był 27 marca 1945 r., kiedy sowieccy żołnierze podpalili świątynię razem w przebywającymi wewnątrz ludźmi. Budynek zniszczony został niemal całkowicie i w późniejszych latach odbudowali go Misjonarze Oblaci, którym przekazano obiekt w latach powojennych. W 2000 r. odsłonięto w kościele pomnik „Ofiar Nieludzkich Systemów”.

Źródło: Gdańska Organizacja Turystyczna http://visitgdansk.com/ .