Leżącego w zacisznych lasach otwockich pałacu nadal nie omijała burzliwa historia naszego kraju. W 1864 roku był on świadkiem bohaterskiej walki powstańczego oddziału pod dowództwem niejakiego Kupczyka, z przeważającymi siłami Rosjan. Mimo przewagi wroga, zwycięstwo przypadło powstańcom, z których kilku jednak pozostało tu na zawsze, w zbiorowej mogile przy lipowej, prowadzącej przez wieś, drodze.
Sam pałac, pod opieką trzech pokoleń Kurtzów — rodziny pochodzącej z Saksonii, a zadomowionej w Polsce od przełomu XVII i XVIII stulecia — pozostawał raczej w dobrym stanie, choć na uboczu wielkich wydarzeń i podręcznikowej historii. Nie świecił już jednak swą dawną okazałością. Zamieszczona w „Kłosach" z 1880 roku rycina z rysunku znanego ilustratora Michała Elwiro Andriollego (mieszkającego zresztą nieopodal w Świdrach Wielkich) ukazuje pałac trzymający się krzepko, łayty dachami, a nawet nieco „upiększony" zapewne w czasie ostatniej restauracji przez oryginalne, stożkowate, wzbogacone szczycikami, zwieńczenia bocznych wież. Co prawda wzmiankowany już Słownik Geograficzny w 1886 roku określa pałac jako „dobrze zachowaną ruinę zamku". Być może utrzymanie go jako siedziby mieszkalnej przekraczało już możliwości finansowe właścicieli, którzy woleli zamieszkać w niewielkim, stojącym obok pałacu, już na lądzie stałym, dworku z kolumnowym gankiem, przerobionym z osiemnastowiecznej oficyny, a może jeszcze z siedemnastowiecznej kordegardy. Obecność właścicieli w Otwocku chroniła jednak pałac przed barbarzyństwem okolicznej ludności. W szóstym numerze „Wędrowca" z 18 lipca 1891 roku tak oto opisywano dzieje i losy pałacu w drugiej połowie XIX wieku: „Niezamieszkały, zapuszczony i bez dachu pozostający pałac, poprzednio już ogołocony ze wszystkiego, co wywieźć z niego było można, z biegiem czasu chylił się do upadku. Około roku 1858 pomyślano o restauracji, w którą włożono kilkanaście tysięcy rubli, suma ta jednak wystarczyła zaledwie na urządzenie dachu, zaciągnięcie belek, podtrzymanie walących się murów i urządzenie tymczasowych schodów. Pomimo jednak tej kosztownej restauracji dawny pałac pozostał ruiną, której ściany świadczą jednak wymownie o świetnych czasach.
Piękne aleje starych drzew, które zaledwie przez kilku ludzi objąć się dają, uroczy widok na stawy, jeziora i kanały, czynią wycieczkę do ruin pałacu bardzo ponętną, tym bardziej iż w pobliżu znajduje się skromny dworek obecnego dziedzica z przepysznym ogrodem owocowym".
Od lat osiemdziesiątych XIX stulecia Otwock Wielki pozostawał bowiem w rękach Zygmunta Kurtza, syna Jana i Anieli z Kurtzów. Zygmunt, wykształcony w Szwajcarii i Paryżu ogrodnik, zajmował się głównie sadownictwem. Założył w Otwocku w 1884 roku ogromny, bo obejmujący przeszło 20 tysięcy drzewek, sad, postawiony na wysokim poziomie, zaopatrujący w owoce Warszawę i Petersburg (wy-marzł podczas ostrej zimy 1929 r.). Wprowadził do Polski wiele nowych odmian drzew owocowych (głównie śliw), przeprowadzał oryginalne próby przeszczepień. Sady w Otwocku były wzorem dla wielu zakładanych w okolicach. Zygmunt Kurtz współpracował ze znanym ogrodnikiem Edmundem Jankowskim i był jednym z założycieli oraz wieloletnim członkiem Warszawskiego Towarzystwa Ogrodniczego. W Otwocku Kurtz założył również spółdzielnię koszykarską i działającą przy niej szkołę koszykarstwa. Zmarł bezpotomnie w 191 roku w Genewie.