Многие, особенно брахманы, относились к Сиддхартхе с презрением, насмешками. Как-то Сиддхартха шел полем, где работал брахман Касибхарадваджа. Этот брахман, увидя бродягу, узнал в нем Сиддхартху, обратился к нему и сказал: «Вот ты шатаешься без дела, а лучше бы вместо того, чтобы чесать язык, занялся работой, вспахал, посеял, а потом и питался бы трудами рук своих».
У Сиддхартхи был готов ответ. Он говорил уже ученикам своим, какая работа в жизни самая важная. Самая важная работа должна быть не над тем, чтобы производить что-нибудь, собирать, накоплять, а самая важная работа – над собой: укрепить в себе разум, просветить его, потушить свои страсти. В этом истинное благо, хлеб жизни.
Учение Сиддхартхи очень было по душе простому народу. Брахманы, которым до Сиддхартхи верил народ в делах веры, были недовольны новым учением, соблазнявшим народ, и часто приходили к Сиддхартхе со своими учениками, чтобы поспорить с ним и доказать неправильность его учения. Сиддхартха, разговаривая с брахманами, обыкновенно отыскивал какую-нибудь высокую истину в исповедуемом этими брахманами учении и говорил, что перед истиной этой каждый должен преклоняться, уважать ее и следовать ей в жизни. При этом Сиддхартха вспоминал жизнь некоторых праведных брахманов, отказывавшихся от собственности, разных желаний и страстей и проводивших свою всю жизнь в любви к людям. Сиддхартха, разъяснив это, говорил, что и он, в сущности, старается следовать тому, чему следовали мудрые, праведные брахманы, и всём советует то же.
Обыкновенно гордые, самоуверенные брахманы уходили от Сиддхартхи сконфуженные, со стыдом, но часто, соглашаясь с его доводами и учением, становились его учениками и меняли свою жизнь.