امام در یك زندان بسر نبرد، در زندانهای متعدد بسر برد. او را از این زندان به آن زندان منتقل می كردند؛ و راز مطلب این بود كه در هر زندانی كه امام را می بردند، بعد از اندك مدتی زندانبان مرید می شد. اول امام را به زندان بصره بردند. عیسی بن جعفر بن ابی جعفر منصور، یعنی نوه ی منصور دوانیقی والی بصره بود. امام را تحویل او دادند كه یك مرد عیّاش كیّاف و شراب خوار و اهل رقص و آواز بود. به قول یكی از كسان او «این مرد عابد و خداشناس را در جایی آوردند كه چیزها به گوش او رسید كه در عمرش نشنیده بود. » در هفتم ماه ذی الحجه ی سال 178 امام را به زندان بصره بردند، و چون عید قربان در پیش بود و ایام به اصطلاح جشن و شادمانی بود، امام را در یك وضع بعدی (از نظر روحی) بردند. مدتی امام در زندان او بود. كم كم خود این عیسی بن جعفرعلاقه مند و مرید شد. او هم قبلاً خیال می كرد كه شاید واقعاً موسی بن جعفر همان طور كه دستگاه خلافت تبلیغ می كند مردی است یاغی كه فقط هنرش این است كه مدعی خلافت است، یعنی عشق ریاست به سرش زده است. دید نه، او مرد معنویت است و اگر مسأله ی خلافت برای او مطرح است از جنبه ی معنویت مطلب مطرح است نه اینكه یك مرد دنیاطلب باشد. بعدها وضع عوض شد. دستور داد یك اتاق بسیار خوبی را در اختیار امام قرار دادند و رسماً از امام پذیرایی می كرد. هارون محرمانه پیغام داد كه كلك این زندانی را بكن. جواب داد من چنین كاری نمی كنم. اواخر، خودش به خلیفه نوشت كه دستور بده این را از من تحویل بگیرند و الاّ خودم او را آزاد می كنم؛ من نمی توانم چنین مردی را به عنوان یك زندانی نزد خود نگاه دارم. چون پسر عموی خلیفه و نوه ی منصور بود، حرفش البته خریدار داشت.