إن منطقة قباء هي أول منطقة سكن فيها المهاجرون بعد قدومهم من مكة المكرمة وذلك بعد انتشار الإسلام في المدينة بعد بيعتي العقبة ودعوة الأنصار للنبي صلى الله عليه وسلم للهجرة إليهم وتعهدهم بحمايته بما يحمون به نساءهم وأبناءهم، فعند ذلك بدأ أصحاب رسول اللَّه صلى الله عليه وسلم يهاجرون إلى المدينة وكان من أولهم خروجاً إليها عبد الله بن أم مكتوم رضي اللَّه وأبو سلمة بن عبد الأسد المخزومي رضي الله عنه وقيل إنه أول من يأخذ كتابه بيمينه وبالعكس أخوه الأسود بن عبد الأسد فإنه قيل إنه أول من يأخذ كتابه بشماله.
وأبو سلمة هذا كان زوجاً لأم المؤمنين أم سلمة قبل النبي صلى الله تعالى عليه وسلم ولما أراد الخروج مهاجراً منع المشركون زوجته من الخروج معه ولم تخرج إلا بعد ذلك بمدة وبعد جدال بين المشركين أنفسهم ، وقدم أبو سلمة المدينة بكرة وقدم عامر بن ربيعة عشيًّا ثم بعد هؤلاء توجه مصعب بن عمير رضي الله عنه إلى المدينة موفداً إليها ليعلم الأنصار أمور الدين إذ كرهوا أن يكون إمامهم ومفقههم منهم كما طلبوا ذلك من رسول الله صلى الله تعالى عليه وسلم، ثم تتابعت هجرة الصحب الكرام رضي الله عنهم حتى لم يبق من أعيانهم مع رسول الله صلى الله تعالى عليه وسلم إلا أبو بكر وعلي رضي الله عنهما.
وكان من هاجر من المسلمين يستقر بقباء عند بني عمرو بن عوف واتخذوا مكاناً يصلون فيه بإمامه مصعب بن عمير رضي الله عنه فكان ذلك مكان مسجد قباء فيما بعد حين هاجر المصطفى صلى الله تعالى عليه وسلم إلى المدينة ونزل بقباء على كلثوم بن الهدم بعد أن استقبله الأنصار مدججين بالسلاح وبعد أن تفاءل باسم أبي بردة الأسلمي وباسم عشيرته وقال للصديق: برد أمرنا وسلمنا. وبعد أن تفائل بالاتجاه إلى اليمين وإلى العالية.
وأسلم أبو بردة هذا وآمن معه قومه بنو سهم وأعطى عمامته للنبي صلى الله تعالى عليه وسلم ليجعلها على رأس عصا واتخذها أول لواء له صلى الله تعالى عليه وسلم.
ونزل صلى الله عليه وسلم حين قدم تحت ظل نخلة غربي مكان مسجد قباء فلم يميز الأنصار رسول الله صلى الله تعالى عليه وسلم من الصديق لأنهم لم يروه من قبل حتى لحقته الشمس فقام الصديق يظلله بردائه فعرف الأنصار حينئذ رسول الله صلى الله تعالى عليه وسلم من الصديق، وقام ببناء مسجد قباء (أول مسجد أسس على التقوى) وهو أول مسجد صلى فيه النبي صلى الله عليه وسلم بأصحابه صلاة الجماعة جهراً وكانت قبلته إلى بيت المقدس ، وقد حمل النبي صلى الله تعالى عليه وسلم الحجارة بنفسه في بناء هذا المسجد ، وإذا أراد أحد أصحابه أن يأخذ عنه الحجر قال خذ حجراً غيره، فوضع قبلته وجبريل يريه القبلة المشرفة، وكان عبد الله بن رواحة يقول في أثناء بنائه:
أفلح من يعــالج المساجـــدا
يقرأ فيها قائمـــاً وقـاعــدا
ولا يبيت الليـل عنه راقـــدا
وكلما قال المساجدا - قاعدا - راقدا قال صلى الله تعالى عليه وسلم معه المساجدا - قاعدا راقدا، ويوجد محراب صغير في صحن مسجد قباء يعتقد أنه في محل مبرك ناقته صلى الله تعالى عليه وسلم حين قدم قباء.