Carl von Hartmann (1788-1842) erbt 1819 das Oberhaus in Borchen von seinem Vater Georg Anton (1749-1819). Unter diesen beiden Besitzern kam das Oberhaus zu neuer Blüte. Es wird von 390 Morgen auf über 1500 Morgen Wald und Ackerland. Im Zuge dieser Erweiterung erwirbt Carl von Hartmann den einen Hamborner Hof. Er ist Erbauer des Ostflügels des Schlosses. An der Südseite dieses Teil ist sein Wappen über dem jetzigen Kücheneingang zu sehen.
Nach seinem Tod verwaltet seine Frau Marianne (geb. v. Pein, gest. 1875) das Gut, das der dazumal 10jährige Sohn Hermann v. Hartmann übernehmen soll. Hermann v. Hartmann verstirbt im Dezember 1871 überraschend und Marianne v. Hartmann sucht - da Hermann ohne leiblichen Nachkommen stirbt - aus der näheren Verwandschaft einen geeigneten Erben für das Gut. Die Wahl fällt auf Hermann von Mallinckrodt.