絹の道のある鑓水(やりみず)の生糸商人は、生糸取引により財を築きました。その一人、八木下要右衛門は見事な石垣のある屋敷を築き、「石垣(いしがき)大尽(だいじん)」とも呼ばれました。
敷地内の書院は、別名「異人館」と呼ばれ、八王子に訪れた外国人をもてなす場所でした。現在は、屋敷跡に「絹の道資料館」が建てられ、絹の道や養蚕・製糸に関する資料が展示されています。