معاوية بن أبي سفيان والي الشام امتنع عن تقديم البيعة لعلي، وطالب بالثأر لابن عمه عثمان، ويشكك أيضا الكثيرين في أهداف معاوية المعلنة حيث يرون معارضته كانت لأطماع سياسية.
حين انتهى علي من معركة الجمل توجه إلى الكوفة فدخلها في الثاني عشر من رجب 36 هـ ثم أرسل جرير بن عبد الله إلى معاوية يدعوه للمبايعة والطاعة لكن معاوية رفض المبايعة إلا بعد الاقتصاص من قتلة عثمان.
عاد الرسول إلى علي برفض معاوية، فتوجه (علي) بجيشه إلى الشام وعسكر الجيشان حين التقيا بموقع يسمى صفين، ثم بدأت مفاوضات بين الطرفين عبر الرسائل، واستمرت لمدة مائة يوم لكنها لم تأت بنتيجة، فبدأت مناوشات بين الجيشين أسفرت عن قتال استمر لمدة أسبوع فيما يعرف بمعركة صفين (36 – 37 هـ / 657م). بدا جيش (علي) على مشارف الانتصار وجيش معاوية على وشك الهزيمة، فاقترح عمرو بن العاص وكان في جيش معاوية عمل حيلة وهي أن يقوم الجنود برفع المصاحف على أسنة الرماح، مطالبين بالتحكيم وفقا للشريعة الإسلامية.
رفض جنود علي من الخوارج التحكيم معتبرين أن معاوية كافر بخروجه عن طاعة الخليفة الشرعي وبهذا يجب قتله، واعتبروا التحكيم خروج عن حكم الله والاحتكام بحكم البشر
ذهبوا (لعلي)يحثوه على قتال معاوية ونقض اتفاق التحكيم لكنه رفض، مما أدى إلى انسحاب الخوارج من جيش علي. يقال ان علي وافق على التحكيم وعارضه بعض الناس
في هذه الأثناء اختار معاوية عمرو بن العاص حكما من طرفه وكان الحكم من طرف علي هو أبو موسى الأشعري، واجتمع الحكمان لإيجاد حل للنزاع، فدار بينهما جدال طويل، واتفقا في النهاية على خلع معاوية وعلي وترك الأمر للمسلمين لاختيار خليفة غيرهما، فخرج الحكمان للناس لإعلان النتيجة التي توصلا إليها، فأعلن أبو موسى الأشعري خلع علي ومعاوية،
قام عمرو بن العاص وقال: «إن هذا قد قال ما سمعتم وخلع صاحبه، وأنا أخلع صاحبه كما خلعه. وأثبت صاحبي معاوية» فقال له أبو موسى الأشعري: «غدرت وفجرت» ودار عِراك بينهم. بعد حادثة التحكيم عاد القتال من جديد واستطاع معاوية أن يحقق بعض الانتصارات وضم عمرو بن العاص مصر بالإضافة إلى الشام وقتل واليها محمد بن أبي بكر.
معركة النهروان :وأخيرا قاتل علي الخوارج وهزمهم في معركة النهروان (39 هـ / 659م)،