در آن زمان سیاه‌ها جمعیت قابل توجهی از مردم تهران را تشکیل می‌دادند که در خانه هر بزرگ و صاحب مقام و تاجر و متمولی چند نفر زن و مرد سیاه خدمت می‌کردند. اما سبب رسیدن قهوه‌خانه به اسماعیل که بعدها به نام حاج اسماعیل قنبر نامیده می‌شد هم آن بود که ابتدا مردم سفید‌پوست بومی برای تفریح و سر به سر گذاشتن سیاه‌ها که زبانی متفاوت با گویش مردم  داشتند در آن قهوه‌خانه جمع می‌شدند و به ریشخند آنها می‌پرداختند که این‌گونه اعمال و رفتار موجبات رنجش عمیق فرد یا افراد استهزا‌شده یعنی جمعیت سیاه‌پوستان را که جمعیت اصلی قهوه‌خانه بودند، فراهم می‌آورد. در عین حال، قهوه‌خانه محلی بود عمومی و جلوگیری از ورود مردم متفرقه به آن مقدور نبود.

در این میان اسماعیل برای اینکه توجه مردم را منعطف به جهت دیگر گرداند، تدبیری اندیشید و آن این بود که برای عصرها مداحی را دعوت کرد و مداح فرصت‌شناس هوشیار هم از اولین مجلس خود داستان قنبر، غلام حضرت علی (ع) را سرلوحه سخن خود قرار می‌دهد و مطالب خویش را از داستان و شعر بر پایه بزرگی و مقام و موقعیت قنبر می‌گذارد، به همراه شرح حالاتی از بلال حبشی. تا کم‌کم روحیه و برخورد مردم با سیاه‌ها تغییر کرد و برایشان احترام قائل شدند؛ مخصوصا صاحب قهوه‌خانه را مورد توجه و اکرام خاص قرار می‌دهند و قنبر هم در ازای آن اول اختیار و سپس خود قهوه‌خانه را به اسماعیل واگذار می‌کند.

منبع: جعفر شهری، طهران قدیم، تهران، انتشارات معین، ج۱، صص۶۶-۶۷