Schloss Pfaffendorf
Nach dem Bauernkrieg von 1525 wollte Klaus Ludwig von Stein am Südausgang des Dorfes ein Schloss erbauen. Zunächst wurde erst mit dem Bau eines Kellers begonnen. Da er bereits nach der Fertigstellung verstarb, wurde der Schlossbau nicht verwirklicht. Erst als im 30jährigen Krieg endgültig die Burg Altenstein zerstört wurde, begann man im Jahre 1634 mit dem Bau des Ostteiles des heutigen Schlosses. Ab 1703 bewohnte dann die Familie von Stein den Ostflügel und erweiterten das Schloß. Von 1760 bis 1763 ließ Christian Adam Ludwig von Stein das Schloss nach den Plänen vom fränkischen Baumeister Dientzenhofer das Gebäude im Stil des Rokoko, einer Spätform des Barocks, in seiner jetzigen Gestalt erbauen.
Spiegelsaal
Die Zimmer im Schloß besitzen teilweise noch die alten Stuckdekorationen und wie hier zu sehen einige Gusseisenöfen. Die alten Spiegel hier im Raum gaben dem Zimmer den Namen Spiegelsaal. In der Mitte sieht man ein Modell der Neugestaltung des Dominikus Savio-Heimes aus dem Jahre 1972.
Hauskapelle
Rosengarten
Er gehörte zur Parkanlage, die sich um das ganze Schloss erstreckte. Der Bildstock steht seit 1974 im Rosengarten den Schlosses. Er war vormals links neben dem ehemaligen Bahnhof im Pankratzenholz. Er ist ein Gedenkstein an einen gewissen Pankraz, einen Bediensteten des Herrn von Stein, der plötzlich ums Leben kam. Nach dem Bau der Bahn lies Freiherr von Grunelius diesen Bildstock rechts in den Park setzen. Nach der Begradigung der Weisach wurde er in den Schlossgarten gebracht. Die Ziffern auf der rechten Seite könnte die Jahreszahl sein.
Pförtnerhäuschen
Das Pförtnerhäuschen, auch Kutscherhäuschen genannt, steht an der Stelle, wo einst die Straße von der Hauptstraße zum anderen Ortsteil jenseits der Weisach und durch den Vorplatz des Schlosses führte - das vormalige Kegelhaus. Seit ca. 1740 befindet sich dieses Häuschen im östlichen Park. Später wurde auch als Treibhaus der Schloßgärtnerei und bei den englischen Fräuleins als Kindergarten benutzt.
Schlossgarten
Im Jahre 1875 starb mit Karl von Stein und Maria Luise, Freiin von Stein die Line der „Stein von Altenstein“ aus. Der Besitzt (Schloß Pfaffendorf und Ruine Altenstein) ging an die Familie Edmund von Linden. In seiner Zeit ließ er zahlreiche Linden im Schlosspark pflanzen und die Lindenalle anlegen. 1895 erbte Gräfin von Kageneck, eine geborene von Linden das Schloß. 1898 kaufte Freiherr Dr. Adolf von Grunelius das Schloß. Dieser verkaufte dann schließlich 1925 das Schloß an das Institut der Englischen Fräulein von Aschaffenburg. Jetzt wurde eine Haushaltungsschule mit einem Pensionat errichtet.
Schlosshof
Vor den Schlössern wurden im Eingangsbereich Pfosten sog. Pylonen errichtet, die mit Balustraden verbunden wurden. Pylonen fanden bei der Gestaltung von Eingangstoren von repräsentativer Bauten Ihre Anwendung.
Die Freitreppe, die ehemals zwischen den beiden großen Pylonen am Eingang in den Schlossgarten führte, wurde 1898 vom Baron von Grunelius an die Parkseite das Schlosses versetzt. Er verlegte die Straße, die zum 1896 erbauten Bahnhof durch den Vorplatz des Schlosses führte, vor die Balustraden. Somit entstand die heutige Einfahrt.
Die Freitreppe wird seit der Zeit der englischen Fräuleins bis heute als Freibühne verwendet.
Felsenkeller
Nach dem Bauernkrieg von 1525 wollte Klaus Ludwig von Stein am Südausgang des Dorfes ein Schloß erbauen. Zunächst wurde erst mit dem Bau eines Kellers begonnen.
Im Besitz befanden sich eine Wasserquelle im Wald und viele Äcker und Wiesen.
Zum Besitz zählt auch heute noch der Friedhof, hinter der Dorfkirche. Er enthält die Grabstätte des Adam-Ludwig von Stein zu Altenstein, dem Erbauer des Schlosses.