当時、家を継ぐのは基本的に長男だった。彦兵衛の実家の大室家だと、一番上の伯兵衛がそれに当たる。そして、伯兵衛自身も後継ぎとしての才覚を発揮し父久兵衛の手伝いをしていたが、体が余り丈夫で無い事が不安視されていた。不幸な事にその不安が当たってしまい、戊辰戦争後に急に体調を崩してしまい、東京遷都と同じ時期に40歳で亡くなってしまった。
長男が亡くなってしまった為、後継ぎとして次男の仲兵衛が選ばれたが、問題は仲兵衛自身が実家の跡を継ぐ事に乗り気でない事だった。仲兵衛は学者肌であり、特に農業についての造詣が深く、栽培や耕作についての本も出している。この点だけであれば、農家を継ぐ人物としては全く問題無い所か、継ぐべき人物と言えるだろう。
しかし、大室家は豪農であると同時に、商家でもあった。長男には商売人としての才覚があったが、次男にそれが弱かった。この点から後継者とする事が不安視された。
その為、伯兵衛の息子を後継ぎにして、仲兵衛はその補佐に当たるという案も出た。伯兵衛の子供は4人おり、内3人は男子、一番上の男子が14歳であり元服も終えていた事から、後継ぎにする事は可能だった。しかし、その息子が近所で暴れる、勉学に励まないなどの問題児であり、後継ぎとするには不適格と見られた事から、次男に後継ぎが回ってきた（庶民で長子存続が明文化されたのは1875年。それ以前は特に決められていなかった）。
これに対し、仲兵衛個人としては、『後継ぎは弟なり兄の息子なり誰かに任せ、自分は農学に専念したい』と考えていた。
＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿
兄の葬儀の後、父久兵衛、次男仲兵衛、三男彦兵衛の3人が集まり、彦兵衛がある提案を出した。それは、『実家の生業である農業と商店を分割、農業は仲兵衛に、商店は彦兵衛にそれぞれ相続させる』というものだった。彦兵衛は、この機を利用して更なる拡大を考えた。
この考えに、仲兵衛は乗り気だった。自分からは言い出しにくかったが、向こうから言ってくるのであれば特に反対する理由は無かった。
久兵衛も、それぞれの強味を生かした相続になる事から大きく反対はしなかった。一方で、どちらが本家を継ぐのかという事を明確にする事を条件とした。この後起きる可能性がある、次男と三男のお互いの子供が遺産や家督の相続で揉める事を減らす目的であった。
彦兵衛は、
・本家は次兄及び長兄の血筋とする
・私（三男彦兵衛）の血筋は分家筋とする
・分家筋は本家の血筋の者を養子に入れる場合、及び家督を相続させる場合はお互いの了承を必要とする
・分家筋が本家に血筋の者を養子に入れる場合、及び家督を相続させる場合も同様とする
・財産の相続についてはお互いに不干渉とする
事を両者に約束した。つまり、独立する代わりに、家の存続に関する事以外の事でそちらに首を出さない事とした。一応、正月や盆などには一族の者として集まる事はするが、ここで関係を切る事となった。
尤も、これは『余り自分と深く関わらずに静かに暮らしてほしい』という、彦兵衛なりの気遣いでもあった。
1875年、父の久兵衛が無くなると、彼は葬式に出席したものの、久兵衛の遺産(古美術品など)の一切の受け取りを拒否している。これは、彦兵衛なりのけじめであった。彼曰く、『私は本家の人間ではない。故に、遺産を受け取る資格無し』と。
＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿
兄の死とそれに伴う相続問題という暗い出来事もあったが、それをバネにするかの様に彦兵衛商店は拡大した。東京遷都の翌々年（1871年）までに、東京、京都、大阪、神戸の各拠点の設置と人員の再編成は完了した。同時に、取り扱う商品も増やした。特に重視されたものが洋書だった。
これは、日本が近代化をするに当たり、産業や教育などありとあらゆる分野で西洋の技術が用いられる事となり、それを国内で学ぶとなれば、それらに関する書物が必要になると考えた。その考えから、横浜と神戸にある欧米の商館から洋書の購入を行い、それを政府に卸す事を始めた。
これは一定の成功を収める事となったが、彦兵衛はある不満があった。それは、「値段の高さとそれに伴う利益の低さ」だった。洋書を欧米の商館から購入する事から、どうしても数は限られる上に値段も高くなってしまう。もう少し値段を安くできればより多く売れるのと考えた。
この考えから、洋書の直接輸入と自家出版を思い至るのだが、これが実を結ぶのはもう少し後の事となる。