حينما هاجر المصطفى محمد -عليه الصلاة والسلام- من مكة إلى المدينة المنورة، وصل إلى قباء في يوم الإثنين (١٢) من شهر ربيع الأول من العام الهجري الأول، وأقام عليه الصلاة والسلام بقباء (٤) أيام، حتى غادر إلى المدينة المنورة في يوم الجمعة الموافق لـ(١٦) من ذات الشهر، وفي طريقه أدركته صلاة الجمعة، وهو ببطن وادي الرانوناء، فصلاها في الموضع الذي يُقام فيه المسجد الآن؛ ولهذا سمي بمسجد الجمعة، كما يُطلق عليه كذلك مسجد الوادي؛ نسبةً إلى وادي الرانوناء، كذلك مسجد عاتكة، ومسجد القبيب؛ نسبة إلى المحل الذي بُني فيه.

ويقع مسجد الجمعة بين مسجد قباء والمسجد النبوي الشريف، في نهاية الربع الأول تقريباً للمسافة بين المسجدين للمتجه شمالاً من مسجد قباء إلى المسجد النبوي على بعد ٩٠٠ متر من مسجد قباء.

وشهد المسجد العديد من أعمال البناء والترميم، فقد رُمِّم المسجد، وجدد في عهد الخليفة عمر بن عبدالعزيز، وفي العصر العباسي كذلك ما بين (١٥٥-١٥٩) للهجرة، وفي نهاية القرن التاسع خرب سقف المسجد، وجدده شمس الدين قاوان، وشهد المسجد أكبر توسعة له في عهد خادم الحرمين الشريفين الملك فهد بن عبدالعزيز بعد أن أمر بإعادة بناء المسجد وتوسعته في عام ١٤٠٩ هـ ليستوعب (٦٥٠) مصلياً بعد أن كانت طاقته الاستيعابية لا تستوعب أكثر من (٧٠) مصلياً، واستمرت أعمال البناء، وتوسعة المسجد، وتجهيزه بالمرافق الحالية، و افتتح في عام ١٤١٢ هـ بشكله الحالي، بمنارة رفيعة، و(٥) قبب تتوسط ساحة المسجد القبة الكبيرة، في حين تتوزع القباب الأربع في جنبات المسجد.

وبعد الانتهاء من مشروع درب السنة، الممشى الذي يربط المسجد النبوي بمسجد قباء، أصبح مسجد الجمعة مُطلًّا على الدرب ملاصقاً له في الجهة الشرقية للقادمين إليه وإلى مسجد قباء من المسجد النبوي الشريف.