در سال 1297 هـ ق در قریه «چرمهین» اصفهان و در خانه حاج علی پناه (ارباب حاج آقا) پسری به دنیا آمد كه نام او را «رحیم» برگزیدند.

پدر آقا رحیم، حاج علی پناه، مشهور به ارباب حاج آقا (فرزند عبدالله مشهور به ارباب آقا) بود. آقا رحیم در خانواده ای رشد كرد كه افرادی باسواد، اهل شعر و ادب و تاریخ بودند. پدر ایشان در شعر، تخلص «لنگر» داشت و سال ها با عمان سامانی و دهقان سامانی و ملا محمد همامی و دیگر شعرای معاصرش جلسات شعر داشت. آقا رحیم نیز بیش تر اشعار فارسی حافظ و مولانا و شعرای عرب را كه حفظ داشت، از دوره كودكی خود و از طریق شنیدن از زبان پدر و عمویش بوده است. آقا رحیم ارباب بزرگ ترین فرزند خانواده اش بود. وی دو برادر و یك خواهر داشت. یكی از برادرانش، عبدالله ارباب (1298 ـ 1379 هـ ق) استاد بزرگ خط نسخ بود و قرآن و كتاب های دعا را با این خط می نوشت. دومین برادر وی، حاج عبدالعلی ارباب (1304 ـ 1384 هـ ق) بود. او مردی باسواد و اهل كمال بود كه مخارج خانواده به همت وی تأمین می شد. هر دو برادر آقا رحیم از وی كوچك تر بودند، و پیش از او وفات یافتند. اجداد آقا رحیم ارباب از اعیان دهاقین و مشاهیر نجبا و بزرگ زادگان قریه چرمهین از قرای معروف روستای لنجان اصفهان و صاحب مال و ثروت بودند و بدین سبب به لقب ارباب خوانده می شود. پدر و عمویش (ارباب حاج حسن) از ستم بختیاری ها گریخته... به شهر آمدند كه تظلم كنند؛ اما چه نتیجه كه حاكم، خود فاسدتر از آن ها (بختیاری ها) بود و به ناچار برای همیشه در اصفهان و ـ در محله باغ همایون سابق و باغ تختی امروزی ـ ساكن شدند و محل سكونت آن ها چهار خانه تو در تو بود كه چهار طرف این خانه ها اتاق وجود داشت، و هشت خانوار كه حدود شصت نفر بودند در صلح و صفا و آرامش می زیستند...».