그 집은 다다르 메인 로드에 있었고, 만질-에-밈 거의 바로 맞은편이었다. 나오로지 다다찬지 가족은 보만 로지의 새집으로 이사하기 전까지 본건물 뒤편에 살고 있었다. 바누 맨션의 세입자들은 모두 파르시 또는 이라니였다. 쉬린마이가 메헤르 바바의 어머니라는 사실은 널리 알려져 있었다. 바바를 격렬히 반대하던 다른 거주자들은, 그녀의 아들 메르완이 사람들에게 자신을 마스터라고 말해 조로아스터교에 이단을 범한다고 믿으며 그녀를 심하게 괴롭혔다.
이 시기 다울라트마이의 형제 이라니 대령은 구자라트어 신문에 바바를 비방하는 글을 계속 싣고, 근거 없는 주장으로 봄베이의 이라니·파르시 공동체를 오도했다. 그러나 봄베이에는 바바의 확고한 추종자인 파르시·이라니 가문들도 있었다. 곧 다다찬지, 카트락, 코트왈, 데사이, 머천트, 바리아, 플리더 가문이었다. 어떤 선전도 그들을 흔들 수 없었다. 이 가문들은 자기 공동체의 모욕과 조롱을 견디며 결국 공동체로부터 배척당했다. 그들을 붙들어 준 것은 메헤르 바바에 대한 바위 같은 믿음이었다. 이처럼 거센 반대에 맞서며 그들의 사랑은 시험대에 올랐다.
메모는 이 적대적인 조로아스터교인들의 주된 표적이었고, 가장 심한 괴롭힘을 당했다. 메모가 바누 맨션에 살던 동안, 독신 남성 한 명을 제외한 모든 이웃이 집주인에게 찾아가 쉬린마이를 내보내지 않으면 건물을 비우겠다고 위협했다. 그들은 심지어 이를 위한 청원서에 서명까지 했다.
당시에는 지금처럼 과밀하지 않아 봄베이에서 집을 구하기가 쉬웠고, 집주인은 그들의 위협에 불안해졌다. 그는 메모를 찾아와 떠나는 편이 좋겠다고 말했다. 메모는 항의했다. "왜죠? 저는 임대료를 꼬박꼬박 냅니다. 누구도 괴롭히거나 해치지 않는데, 왜 제가 떠나야 하죠?" 집주인은 이 물음에 답하지 못했고, 그녀가 계속 사는 것을 받아들였다. 세입자들이 그녀를 내쫓으려는 움직임을 계속했지만, 메모는 겁내지 않고 이사하지 않겠다는 결심을 지켰다.
바바의 깨어 있는 나자르(nazar) 덕분에, 일은 놀라운 방식으로 저절로 풀려 갔다. 메모를 가장 괴롭히던 사람은 전근되어 결국 봄베이를 떠났다. 다른 세입자 집안에는 상이 났고, 그 세입자 역시 사망한 친척의 가족과 함께 지내기 위해 떠나야 했다. 또 다른 한 사람은 직장을 잃었다. 메모를 고의로 괴롭히는 일에 가담하지 않았던 그 독신 남성을 제외하고, 다른 세입자들은 모두 이런저런 이유로 한 달 안에 건물을 떠났고, 아바타의 어머니는 평온히 지내게 되었다.
