喜左衛門の死去によって、大黒柱を失った武蔵屋はその後どうなったか。当然、あとに残された家族の肩にゆだねられることになったが、商売に不慣れな母の家寿にも、また、富裕な家の御曹子として育った喜三郎にも、物に対する目利きと評価を必要とする質屋という営業を支えていくには荷が重すぎた。そこで、それまで働いていた番頭を後見人にしたのだが、世は激動の時代であり、ひとたび翳り始めた衰退の勢いをとどめることはできなかった。番頭自身は人のよい男であったから、生き馬の目を抜くという都会の腹黒い人間のために瞞されることが一再ならず、さすがの武蔵屋の身代もしだいにすり減ってしまったのである。
明治四年（一八七一年）、二〇歳になった喜三郎は登里と結婚した。豊里は里の旧姓を金山といい、現在の東京都葛飾区奥戸の生まれである。
登里の父は金山貞斎＊〈ていさい〉といい、信州（今の長野県）須坂の医師であった。母も同じ須坂の富沢家の娘・みせである。嘉永年間（一八五〇年ごろ）二人は江戸をめざして故郷をあとにしたが、ある日、今の奥戸、そのころの奥戸村にさしかかった時、日が暮れてしまったものの、あたりには一軒の宿もない。やむなく近くの寺に頼んでようやく一夜の宿を借りることができた。そのおり、住職から、「医者がいなくて困っている。この地で開業してくれないだろうかぃと相談をもちかけられ、とうとう奥戸村の医師になったということである。貞斎は医療のかたわら、ゆかりのある近くの寺の本堂で、近所の子供たちのために、読み書きの塾も開いた。そして、この地で過ごした数年の間に、長女・かつ、次女・登里、三女・ためと三人の娘をもうけたが、万延元年（一八六〇年） の暮れ、四十余年の短い生涯を終えた。
＊貞斎は北沢家の出であるが、結婚とともに金山姓を名乗った
父、貞斎がこの世を去った時、次女の登里は六歳であった。あとに残された母親と三人の娘、女ばかりの四人家族にとって、身寄りもない土地で、幕末、維新の混乱期を生き抜いていくことは大変なことであったと思われる。娘時代に登里は和裁を習っていたが、それをもってしても、女の細腕で稼ぎ出せる金額は限られている。母娘四人は互いに励ましあいながら、か細い糸と針とによって必死に暮しをたてたようである。
喜三郎と結婚した時、登里は一入であった。一八歳のうら若い花嫁は、女手一つでこつこつと蓄えたお金の中から倹しい嫁入道具を整え、隅田川を舟で渡って、対岸の浅草の岡田家のもとへ嫁いで行った。当時岡田家は、まだそれなりの資産を残していたから、それは、つつましやかな中にも晴れやかな結婚の儀が催されたことと想像される。
しかし、二人の結婚とともに、それまで後見役をつとめていた番頭は店をやめたので、何代も続いた武蔵屋は自然廃業という形になってしまったのである。喜三郎はその後、古着屋、下駄屋と商売を変えたがどれも思わしくない。生活の困窮とともにいったんは橋場町一一六番地 へ移り、その後さらに同じ町内の六三番地に住居を移している。こうして喜三郎は、最後に古道具屋を始めたのであった。教祖が生まれたのはそのころで、経済的にはどん底の時代であっ た。
しかし、貧しい生活の中にあっても、喜三郎の温厚な性格は変わらず、折り目正しい暮しぶりであった。また、妻の登里も、肚に一点のわだかまりも持たず、何事も心を平らにして、すべてをきちんと処理していた。何かよそから「戴いたもの」があった場合、それを包んであった風呂敷は必ず洗ったうえで火熨斗〈ひのし〉（現在のアイロンにあたる）をかけて返すというふうであった。また、後年、教祖は「父に叱られた記憶はない。」と話したと伝えられる。これらの端々から、父・喜三郎や母・登里の人柄を垣間見ることができる。夜遅くまで家族の着物を縫うのに精出している登里の働きぶりは、親戚の間にもいつしか評判となった。姉のかつは、妹の登里にどうかあやかるようにとの切なる願いを込めて、自分の孫娘に「とり」の音〈おん〉を生かして酉〈とり〉という名を付けたほどであった。