كانت فرقة القرامطة شيعية والفطميون شيعة أيضا، لكن السياسة لا تعرف العقيدة، فبعدما تولى المعز لدين الله الفاطمى أمر الدولة الفاطمية سنة 969م، بدأت الحرب مع بين القرامطة والفاطميين بشكل رسمى، وما أن انتهى القرن العاشر الميلادى حتى أصبح القرامطة قوة صغيرة انتهت فى منتصف القرن الحادى عشر وتحولت إلى جماعات متفرقة فى فارس والعراق.
والقرامطة هى فرقة سياسية دينية من غلاة الشيعة أسسها حمدان بن الأشعث الملقب بقرمط وهو إسماعيلى العقيدة، والإسماعيلية فرق شيعية متطرفة، سميت الإسماعيلية نسبة إلى إسماعيل بن الإمام جعفر الصادق.
كان القرامطة قوة عسكرية بدوية تعتمد فى حياتها على الغارات التى تشنها على الدول المجاورة، وكان القرامطة من ألد أعداء العباسيين لأن العباسيين اضطهدوا العلويين وطاردوهم فى كل مكان وقتلوا منهم الكثير.
وكانوا على علاقة صداقة فى بادئ الأمر مع الخلافة الفاطمية على أساس أن كلاهما يدينون بالمذهب الشيعى، ثم انقلبوا على الفاطميين وهاجموا أملاكهم فى الشام وفلسطين.
وفى عام 317 هجريا هاجم القرامطة مكة المكرمة التى كانت تتبع الخلافة العباسية وانتزعوا الحجر الأسود من الكعبة وانتزعوا بابها وقاموا بأعمال دموية بشعة فقتلوا من الحجاج 30 ألفاً، ثم عادوا لديارهم ومعهم الحجر الأسود ووضعوه فى كعبة بديلة فى الإحساء ليحج إليها الناس.
وظل الحجر الأسود معهم فى الإحساء لمدة 22 عاماً، يطوف الناس حول الكعبة ولا يجدون الحجر الأسود، حتى هدد الخليفة العزيز بالله الفاطمى فى مصر القرامطة أن يسير لهم جيشاً إلى الإحساء ليعيد الحجر الأسود، فخافوا على ملكهم فى الإحساء وأعادوا الحجر الأسود إلى مكة سنة 339 هجريا.
حدث الهجوم القرمطى على الكعبة يوم التروية، حيث قام أبو طاهر القرمطى بغارة على مكة والناس محرمون، واقتلع الحجر الأسود، وأرسله إلى هَجَر وقتل عدد كبير من الحجاج، وحاولوا أيضا سرقة مقام إبراهيم ولكن أخفاه السدنة، وفى 318 هـ تقريبا سنّ الحج إلى الجش بالقطيف بعدما وضع الحجر الأسود فى بيت كبير، وأمر القرامطة سكان منطقة القطيف بالحج إلى ذلك المكان، ولكن الأهالى رفضوا تلك الأوامر، فقتل القرامطة أناساً كثيرين من أهل القطيف.
بعد أن خرج القرامطة من مكّة حاملين معهم الحجر الأسود والأموال التى نهبوها من النّاس متوجّهين إلى هجر، تعقَّب "ابن محلب" أمير مكّة من قبل العبّاسيين القرامطة مع جمع من رجاله وطلب منهم ردّ الحجر الأسود إلى مكانه على أن يملّكهم جميع أموال رجاله. إلاّ أنَّ القرامطة رفضوا طلبه مما اضطرّه إلى محاربتهم حتّى قتل على أيديهم، وكانت هذه هى أول محاولة لاسترداد الحجر الأسود.
ظلّ الحجر الأسود بحوزة القرامطة مدّة 22 سنة فى البحرين، ولم تجد كل المحاولات والمساعى التى بذلها العباسيون والفاطميون من أجل الضغط على القرامطة وإجبارهم على إعادة الحجر الأسود، وقد عرض الخلفاء على القرامطة مبلغاً قدره 50 ألف دينار مقابل إرجاعهم للحجر الأسود، لكنّ القرامطة ظلّوا يخوضون فى عنادهم.
ويقول ابن سنان الذى كان معاصراً لتلك الأحداث: لقد عُرِضَت الكثير من الأموال على القرامطة كثمن لردّهم الحجر الأسود لكنّهم رفضوا كلّ تلك العروض، وكان السبب الحقيقى وراء امتثال القرامطة للأمر هو التهديد الذى وجّههُ المهدى العلوى الفاطمى إليهم ممّا أجبرهم على ردّ الحجر الأسود إلى مكّة ثانية، وعاد الحجر الأسود إلى مكّة سنة (339) وقد حمله رجل من القرامطة يُدعى سنبر والذى يحتمل أن يكون حمو أبوسعيد القرمطى، ويُقال إن الحجر الأسود حمل قبل إرجاعه إلى مكّة إلى الكوفة ونصب فى العمود السابع لمسجد الكوفة حتّى يتسنّى للنّاس رؤيته، وقد كتب شقيق أبو طاهر رسالة جاء فيها: أخذناه بقدرة الله ورددناهُ بمشيئة الله.