Matylda była najstarszą córką Anny i Karola Wilhelma Scheiblerów. Edward Herbst ukończył studia w Szkole Handlowej w Warszawie, a od roku 1869 pracował w zakładach włókienniczych należących do Scheiblera. Matylda i Edward wychowali trzech synów oraz córkę. Po tym jak Edward i Matylda przenieśli się na stałe do Sopotu, w pałacu zamieszkał Leon Juliusz (1880-1942)z poślubioną w 1918 roku Aleksandrą Potschtar (primo voto Hoppe, ur. 1889). Leon i Aleksandra mieszkali w pałacu do roku 1942, w którym wyjechali do Wiednia. Leon zmarł – bezpotomnie – w Wiedniu 16 stycznia 1942 roku. W tym samym roku Aleksandra opuściła Łódź. Zmarła w Berlinie w roku 1971.

Po roku 1945 rezydencja Herbstów pełniła między innymi funkcje ośrodka szkolenia pracowników pomocy społecznej, domu dziennego pobytu dla nerwowo chorych, była siedzibą zakładu biologii PAN, Ochotniczej Rezerwy Milicji Obywatelskiej, spółdzielni inwalidów, a nawet Pracowni Konserwacji Zabytków. W 1976 roku rezydencję przejęło Muzeum Sztuki. Wszystkie zabudowania wymagały wtedy kapitalnego remontu ponieważ skutkiem niewłaściwego użytkowania była daleko posunięta dewastacja, a nawet wyburzenie kilku budynków (ogród zimowy wraz z łącznikiem).

Prace wykonane w Pałacu Herbsta oraz koncepcja ekspozycji zostały wysoko ocenione przez Międzynarodową Federację Towarzystw Odnowy Europejskiego Dziedzictwa Kulturalnego i Narodowego, która w 1990 roku uhonorowała Pałac Herbsta pierwszym w Polsce medalem EUROPA NOSTRA.

20 kwietnia 2012 roku w zrewitalizowanym i przystosowanym do pełnienia funkcji wystawienniczych budynku Powozowni Pałacu Herbsta została otwarta Galeria Sztuki Dawnej. Z końcem czerwca 2013 roku zakończyły się prace w ramach projektu Modernizacja Rezydencji "Księży Młyn". Od września 2013 ponownie rozpoczęła się działalność wystawiennicza oraz edukacyjna.

Obecnie muzeum prowadzi szeroką działalność edukacyjną (zajęcia dla dzieci, młodzieży, dorosłych i seniorów). Istnieje możliwość wynajęcia wybranych części muzeum. Muzeum jest dostępne zarówno dla obcokrajowców (audioprzewodniki w jęz. angielskim, rosyjskim, niemieckim) jak i dla osób z dysfunkcją wzroku (w muzeum funkcjonuje nowatorski system „Podszepty”).

Aktualne program wystaw dostępny jest na stronie http://palac-herbsta.org.pl/