그러나 이제 바바는 건강이 약해지고 마야적 세력의 괴롭힘까지 겹쳐 즉시 판치가니로 옮기기로 했다. 남녀를 위해 방갈로들을 빌렸고, 바바가 은둔할 수 있도록 따로 숙소를 마련했다.
마야가 망신을 당했다! 바바가 새 계획을 발표하자마자 먼지폭풍이 가라앉았다!
날씨가 바뀌는 것을 보고 만달리는 바바에게 메헤라바드에서 계속 은둔하라고 청했지만, 그는 동의하지 않고 판치가니로 떠날 날짜를 정했다. 9월 1일 바바는 떠날 준비를 하고 여성들을 보기 위해 은둔에서 나왔다.
1941년 9월 3일 수요일 아침 7시, 바바는 엘리자베스의 차와 블루 버스를 타고 남녀 만달리와 함께 메헤라바드에서 판치가니로 떠났다. 아무도 바바가 차에 오르는 것을 보지 못했다. 오전 10시 45분 판치가니에 도착하자 바바는 아무에게도 눈에 띄지 않은 채 곧장 자신의 방갈로로 들어갔다. 차티 바바는 바바의 방갈로에 머물렀고, 바이둘과 크리슈나는 계속 그 머스트를 돌보았다. 남녀 만달리는 평소처럼 따로 집을 썼다.
바이둘, 칼레마마, 크리슈나, 닐루, 비슈누, 벤코바 라오는 판치가니에서 바바와 함께 있었다. 바바나난다, 구스타지, 플리더는 바바의 지시에 따라 마하발레슈와르로 보내져 그곳에서 은둔을 계속했다. 아디 주니어, 무를리, 파드리는 메헤라바드에서 무료 진료소를 운영하고 있었고, 나머지 남자들인 차간, 펜두, 세일러, 시두, 정글은 다른 임무를 맡고 있었다. 카카는 봄베이에 있었지만 9월 초 며칠 동안 판치가니에 왔다.
판치가니에서 바바는 차티 바바와 함께 내적 작업을 계속했다. 5일에는 그 머스트가 몹시 성이 나 있는 상태였다. 그러나 다음 날 그는 다시 평소처럼 온화한 모습으로 돌아왔고, 크리슈나를 통해 바바에게 자신을 남인도의 집으로 돌려보내 달라고 전했다.
크리슈나가 바바에게 알리자 바바는 "그의 때가 다 되었습니다. 그가 다시 요청하면 보내겠지만, 그러면 내 계획은 모두 바뀌어야 합니다."
1941년 8월 바바가 메헤라바드에서 은둔하고 있을 때, 1930년대 초 그가 마하트마 간디와 만난 일에 관해 왜곡된 보도들이 언론에 실렸다. 간디의 영국인 추종자 미라벤이 작가 롬 란다우에게 이렇게 말했다고 보도되었다: