W pobliżu tego miejsca zbudowano najpierw drewnianą, a potem murowaną kaplicę, gdzie umieszczono znalezioną figurę, której już wtedy oddawano cześć. Obecne sanktuarium zostało zbudowane w stylu barokowym w latach 1709-1759 z inicjatywy biskupa warmińskiego Teodora Potockiego ( wyposażane także przez jego następców). W 1720 roku nadano świątyni obowiązujące do dziś wezwanie Nawiedzenia Najświętszej Maryi Panny i św. Józefa.

Całe założenie jest bliźniaczo podobne do tego ze Świętej Lipki, która była wzorem dla nowo budowanego sanktuarium w Krośnie. Największy skarb świątyni, czczona tu przez 500 lat figura Matki Boskiej, zaginęła w 1945 roku i do dziś nie wiemy, co się z nią stało. 

Nad wyposażeniem sanktuarium pracowali także regionalni, najbardziej znani na Warmii artyści, m.in. Krzysztof Peucker i Chrystian Schmidt. Świątynia zachwyca kosztownym wyposażeniem: przepięknymi barokowymi ołtarzami, emporą muzyczną z organami, amboną, zespołem ław. Kościół otoczony jest krużgankami, a w bramie uwagę zwracają dekoracyjne kute wrota.

W Krośnie kręcony był film wybitnej francuskiej reżyserski Anne Fontaine pt. „Niewinne” z 2016 roku z Agatą Kuleszą, Agatą Buzek i Joanną Kulig w rolach głównych. Film opowiada historię pruskich zakonnic zgwałconych przez żołnierzy Armii Czerwonej w 1945 roku.