宿南城は南北朝時代の1342年〜44年頃大松山に移したと伝えられ、麓の三谷川沿いに「舘」(川東区内)と称する中世の武家屋敷跡がある。武家が館を構え、城を築く条件、展望・水利・地形など綿密に考慮されている。

　天正5年（1577年）羽柴秀吉大軍にて但馬征討にて宿南城は落城した。

当時の文献「掃部狼婦物語」によると、羽柴の大軍小田野まで攻め来たる。宿南氏は近辺の城主と共に伊佐野の西に出向う。その数７百余騎、羽柴軍２千余騎、鯨波の声を上げて打ちかかる。宿南重郎左衛門輝直今年２７歳、身長六尺余、力量人に勝れて豪傑なり、敵陣に馬を乗り入れ、大声にて「表米親王の末葉宿南修理太夫輝俊が嫡子重郎左衛門輝直なり。羽柴小市郎は何処にありや。出会いてわが太刀先を試み給へ」というままに、敵味方おめき叫ぶ声山河に響き渡ってすさまじく、多勢に無勢味方も大半が打たれ、宿南の下浅倉の険路を小盾にとり、敵寄せ来れば下なる深淵に追い落とさんと伏兵を構えた。

　宿南城主病床の中、味方が敗北、村下の岩山の麓へ控えた由注進を受け、歯がみして「口惜しき次第かな。かかる苦戦に出会い空しくなりゆかん事の恨めしさよ」と病気ながら甲冑をたいし、弓矢を携えたが歩行叶わず鯨波の声が迫り、館に火をかけ城の麓の光明寺に落ち延びる。城主は、幼少の男子二人を家来にあずけ本堂で切腹して果てた。

　輝直は、父の身が心配で弟直政に謀を示し、血に染まった馬を引き寄せ、城を指して一騎乗り帰ろうとした。その時家来が駆け寄り「御父君始め皆々様館を落ち延び、光明寺にて御自害、寺にも火をかけられました」これを聞き兄弟は「最早これまで父に追いつかん」と切腹して果てました。時は今年の様に暑い夏のことでした。