教線は遼原の火のように全国に広がっていったが、必ずしも社会全般に理解され、快く迎えられたものではなかった。むしろ反対に批判され、反発され、あるいは攻撃の的とさえなった。発展が目覚ましければ目覚ましいだけに、一部の人々の反感もまた高まってきたのである。
教団に対するこのような反感は、当時の日本の宗教事情と密接なつながりをもっていた。終戦直後の昭和二〇年（一九四五年）一二月二八日、「宗教法人令」が公布施行され、信教の自由が認められると、荒廃した日本の社会に次々、新宗教が生まれた。それらの中には終戦までの宗教弾圧下において、合法的に布教活動をするため、やむなく何がしかの公認宗教の傘下にはいっていたものが、忍従の期を経て独立した教団もあった。また公認されずにいたのが晴れて名乗りをあげたものもあった。しかし、当時施行されていた「宗教法人令」では、宗教法人の設立は書式を整えて所轄官庁に届け出ればそれでよく、当局の認可をいっさい必要としないという簡略な手続きであった。それゆえ中には、税金がかからないという宗教法人としての税法上の恩典を悪用する目的で設立したものや、淫祠邪教<いんしじやきよう>のたぐいまでも宗教法人の届け出をするものが出てきた。
こうした宗教が各地で問題を起こしたため、新宗教に対する社会の目は日増しに厳しさを加えていった。そのような中で、目覚ましい発展を続ける「日本観音教団」に対して、もっとも厳しい反感の目が向けられていくことになるのである。
ちょうどそのころ、ある事件が一つ起こってしまった。それは昭和二二年（一九四七年）度の教団収支の申告に不審をもった大蔵省が、昭和二三年（一九四八年）一一月、脱税の容疑で、教団施設五か所の家宅捜索を行なったことである。
教団にとって、この事件はまさに青天の霹靂であった。昭和二二年（一九四七年）八月、宗教法人として発足以来、まだ日も浅く組織も整わぬまま、教線は急速に伸長して規模が拡大し、事務は複雑化していった。しかも当時、教団の事務をつかさどる人々は、同時に一線の布教にも携わっており、法律問題や経理運営についての知識経験は十分とはいえなかった。
さっそく教団は、二人の弁護士に依嘱して、問題処理にあたった。調査の結果わかったのは、つぎのような事実である。それは箱根・神仙郷において造営工事が大規模に行なわれ、多額の経費が支出されていたが、経理事務の不備のため、記載漏れを生じ、それが教祖や渋井総斎個人の所得と見なされたということであった。
この脱税事件そのものは、追徴金を納めることによって、昭和二四年（一九四九年）五月、一応の落着をみた。しかし、このことはやがてさまざまな問題を派生し、教団の行方に大きな影響を与えることになったのである。
その第一は、昭和二三年（一九四八年）一二月、脱税容疑事件の取り調べの最中、某大新聞にそれが報道されたことである。
この記事は無責任な噂や、挑発的な投書を基に作られたもので、教団の資産は二、三〇億などと荒唐無稽な内容のものであった。しかし、これが発端となって、教団は善男善女をだまし、人々の不幸に付け込んで暴利をむさぼるものであるかのごとき記事が、マスコミに繰り返し登場するようになった。そればかりでなく教祖の教えを歪曲し、浄霊や自然農法を興味本位に扱った報道も少なからずあった。
教団批判は新聞だけでなく、ラジオでも取り上げられた。とくに、岐阜県では、昭和二四年（一九四九年）三月一日、高山市において街頭録音が行なわれ、同月三日及び五日に「迷信と宗教」と題し、某放送局から全国に放送された。
しかし、その内容は公正な報道といえるものではなかった。興味本位に扱い、また、無知な大衆をだますものとして攻撃的な姿勢に終始するものであった。この参加者はどんなたぐいの連中かというと、あらかじめ教団に対し敵意をもつ者が画策して、意図的に集めた群衆であった。その中で、信者は浄霊による奇蹟を勇気を出して率直に発表したが、三〇〇〇人近い群衆が興奮している異様な状況下では、その声もかき消されがちであった。
それからしばらくして、今度は信州の長野駅前において、「宗教によって人は救えるか」というテーマで街頭録音が行なわれた。これも前回同様、批判的な人々に囲まれ、反感や敵意に満ちた集まりであった。要するにこれらの番組は、「日本観音教団」というものが、民衆を欺く迷信邪教であるという印象を与えるように、あらかじめ企画されていたとしか言いようのないものであった。
こうしたマスコミの報道は、さらにユスリ、タカリを集める結果を生んだ。彼らは新聞に載った教団の資産額に甘い夢を描いて、もっともらしい紹介状などを携、え毎日のように東山荘を訪れたのであった。教祖はその様子をつぎのように書いている。
「同じユスリといっても軟派と硬派があるからお面白い。まず軟派から話してみるが、これはまことに柔かく、さも教団に忠実なるごとく見せかける。そうしてその言う事は『ある団体が教団を危殆に陥れようと画策している』とか『信者を攪乱している』とか、種々巧妙な脚本を作って運動費を要求する。そうしてこの連中は実に弁舌巧みで、うっかりすると一杯食はされるのである。しかし最も多いのは左の如き型である。これは徹頭徹尾脅迫型で彼等が用いる常套手段としては『司令部や法務庁が弾圧すべく準備中』だとか、甚しいのは『大先生を引張って家宅捜索をし教団をブッ潰す』とか『教団の各支部に渉って一斉検挙をする』とか、最近の如きは団会議月まで利用している者もあり、共産党を利用する者もある。」
中でも悪質なのは、マスコミや警察、占領軍に働きかけ、その力によって教団に圧力をかけようとする者であった。彼らが用いる手段は巧妙な投書による文書攻勢である。マスコミは事の真相を見きわめず、これらの投書の内容を事実と誤認し、当局はその術策に踊らされ、捜査に乗り出すというわけであった。