関ヶ原の合戦後も建部光重は豊臣秀頼に仕え続けた。息子の政長が慶長八年（一六〇三年）に生まれる。幼名は三十郎。後の林田藩初代藩主である。関ヶ原の合戦を知らない世代である。戦国時代は遠くなりつつあった。
光重は山城国の由岐神社の拝殿や摂津国の多田院、大和国の吉野水分神社など秀頼の寺社再興の作事奉行になっている。光重が奉行となった寺社は地盤を石垣で組むことなど共通の傾向があった。秀頼の寺社造営は秀吉の追善供養を名目とするが、黒幕は家康である。寺社仏閣建造による豊臣家の財源枯渇策の一環である。
徳川家康は慶長一〇年（一六〇五年）四月一六日に秀忠に征夷大将軍職を譲り、天下は徳川家で世襲することを明らかにした。これによって豊臣家と徳川家の緊張が高まり、不穏な空気が流れた。豊臣家と徳川家の緊張が高まる中、光重は慶長一五年（一六一〇年）に三三歳の若さで急死してしまう。豊臣家と徳川家の暗闘がストレスになったのだろうか。
政長は光重が亡くなった時に僅か八歳であった。このため、豊臣秀頼は建部氏の知行を没収しようとした。豊臣家は親の領地ということで子どもが継承することを必ずしも認めない。秀吉は丹羽長秀から丹羽長重、蒲生氏郷から蒲生秀行の代替わりでは領地を召し上げている。秀吉から見れば能力主義となるが、家臣から見れば安定性がない。この不安定さは、豊臣政権離れの一因である。豊臣恩顧の大名と言われるほど恩を感じられないのが豊臣政権であった。
安土桃山時代は中世と比べると中央集権的である。後の江戸時代と比べても中央集権的なイメージがある。実際は江戸幕府の方が織豊政権よりも強大な権力を有していたが、織豊政権は独裁者の恣意に振り回されたイメージがある。それが嫌われて織豊政権を短命にした。
政長は池田輝政を通じて徳川家康にとりなしてもらい、無事相続した。徳川家康は池田重利を政長の後見人とした。池田重利は下間頼龍の息子である。政長の母親は、本願寺僧侶・下間頼龍の娘である。
家康には恩を売って豊臣秀頼の家臣団を操り人形としたい思惑があっただろうが、政長は家康に感謝しない訳にはいかなくなった。このために、もし豊臣家と徳川家の間に戦が起きた場合は徳川家に味方すると決意した。決意しただけでなく、家康に誓紙を出した。
しかし、摂津尼崎郡代という立場で徳川に味方することは口で言うほど容易ではない。豊臣秀頼の家臣団を抜けて家康に味方しなければならない。郡代は在地にいて、大阪城に詰めている訳ではないため、大阪城に馳せ参じなければ良いものの、在地の人々が自分に従うとは限らない。豊臣贔屓の人々から裏切り者として大阪城に突き出される危険があった。
さらに大阪城は目と鼻の先である。今から振り返れば大阪の陣は篭城戦で終わったが、豊臣家が撃って出る可能性もあった。実際、大阪城に入った浪人衆の真田信繁（幸村）は畿内の制圧を主張した。そうなれば建部家は真っ先に攻略されるかもしれない。
関が原の合戦では積極的に石田三成に味方するつもりはなく、むしろ徳川家康に味方したかったが、周囲が西軍であったために西軍に味方せざるを得なかった武将は多かった。小早川秀秋が有名である。父の光重も流されるままに西軍に味方したために取り潰されそうになった。
このため、政長は一計を案じた。尼崎近郊の庄屋を呼び集め、「秀頼公からのご命令である」として人質を出すことを求めた。また、母には弟を連れて、親類である池田家に逃げる用意をさせた。人質を集めたお陰で、大阪の陣が始まっても、尼崎で大阪に通じる者はなかった。
政長は拠点を要塞化し、籠城戦に耐えられるようにした。事実上の尼崎城である。多数の櫓や門で固め、城の周囲には寺社を配して事実上の出城とした。城内から濠と川を使って船の出入りができるようにした。その後、尼崎城は、尼崎藩主になった戸田氏鉄によって元和四年（一六一八年）に大修築された。
慶長一六年（一六一一年）三月二八日に京都二条城で徳川家康と豊臣秀頼が会見する。淀殿は家康が大阪に来るべきと主張したが、加藤清正らが護衛することで上洛することになった。秀頼には浅野幸長や加藤清正、池田輝政、藤堂高虎が随伴した。秀頼は堂々としており、家康が気後れするほどであった。会見が平和裏に終わったため、人々は徳川と豊臣の平和が続くと胸をなでおろした。
しかし、家康は秀頼の堂々として姿を見て逆に豊臣家を滅ぼすことを決意した。
「秀頼は愚か者と聞いていたが、それは誤りであった。賢い人であった。人の下に立つ人物ではない」
また、家康は秀頼本人だけでなく、豊臣家のために清正らが熱心に動いたという事実を危険視した。二条城会見後に落首「御所柿は独り熟して落ちにけり木の下に居て拾う秀頼」が出回った。これも秀頼に対する京都の人々の期待を示している。
京都所司代の板倉勝重は落首を家康に見せ、書いた人を探して罰すべきか尋ねた。家康は「落書きは禁止するな。私が見て参考になることもあるだろうからそのままにしろ」と答えた。この点は家康が秀吉と異なるところである。この点に関しては秀吉よりも家康の方が天下人の資格がある。
この二条城会見の後に豊臣恩顧の大名が相次いで亡くなった。豊臣政権五奉行筆頭の浅野長政が四月七日に亡くなった。三中老の堀尾吉晴は六月一七日に亡くなった。秀吉子飼いの代表格の加藤清正は六月二四日に亡くなった。徳川家による暗殺との俗説も出るくらいタイミングの良い急死であった。陰謀があったかは別として豊臣恩顧の武将が相次いで鬼籍に入ったことで豊臣家が孤立していったことは確かである。前年の建部光重の急死と政長の家督相続も同じ文脈になる。