刘备起兵，参与镇压黄巾起义，关羽、张飞担当他的护卫，是他得力的左右手。中平元年（185年），刘、关、张带着刚刚组织起来的兵马，首先投奔涿郡的校尉邹靖。黄巾军打到涿郡，他们配合官兵出动抵抗，首战告捷，立了大功。接着，他们离开涿郡，前去投奔正在广宗（在河北省威县东）围攻黄巾首领张角的中郎将卢植。到广宗后，因卢植遭诬陷被押回京师，他们便决定返回涿郡。归途中，遇到黄巾军天公将军张角正在追击接替了卢植职务的董卓。关羽和张飞带领一支人马，突如其来地向黄巾军横杀过去，救了董卓。刘备后来投奔幽州军阀公孙瓒，因屡立战功长任平原相，关羽和张飞担任了别部司马，分统部曲。他们三人照样“寝则同床，恩若兄弟”（《三国志·蜀书·关羽传》），关羽和张飞终日侍立刘备左右，保护刘备。

建安元年（195年），曹操奉迎汉献帝迁都许昌（今河南许昌东）后，独掌军政大权，总揽朝政，皇帝成为傀儡。建安三年（公元198年），刘备为吕布所败，投靠了曹操。曹操表举他为左将军，拜关羽为中郎将（次于将军的武官）。时车骑将军董承接受皇帝衣带诏，与刘备及长水校尉种辑、将军吴子兰、王子服等，密谋除掉曹操。

建安四年（199年），刘备恐曹操猜忌，欲伺机脱离曹操控制，趁右将军袁术溃败，主动请求跟大将朱灵前去截击。曹操谋士程昱、郭嘉、董昭等认为，不该放走心怀叵测的刘备，曹操立即派人去追，但已不及。袁术南逃寿春（今安徽寿县），朱灵班师回朝，十二月，刘备杀死徐州刺史车胄，以关羽代理下邳（今江苏睢宁西北）太守，自屯兵小沛，招兵买马，扩充实力，与朝中反曹势力遥相呼应。东海（今江苏郯城）变民首领昌稀等，及周围郡县纷纷归附刘备，刘备部队很快发展至数万人，又派使者与袁绍媾结联盟，形成对曹操的严重威胁。并击败了前来讨伐的司马长史刘岱和中郎将王忠，暂且取得徐州、下邳地区，作为休养和发展的基地。

建安五年（200年）正月，车骑将军董承等企图刺杀曹操的计划泄露，董承、王子服、种辑皆被屠灭三族，唯参与密谋的刘备侥幸逃脱，且势力越来越大。曹操亲自征讨刘备，刘备惊悉曹操军将至，亲率数十骑出城观察，果然望见曹军旌旗，只得仓猝应战，被曹军击溃，刘备妻子被俘。曹操接着攻陷下邳，迫降了关羽。刘备则逃到邺城（今河北临漳西南）投奔了袁绍。

曹操赞赏关羽为人，拜其为偏将军，礼遇甚厚。不久却觉察关羽心神不定，无久留之意，便对与关羽关系甚好的张辽说：“卿试以情问之”.张辽去问关羽，关羽叹息道：“吾极知曹公待我厚，然吾受刘将军厚恩，誓以共死，不可背之。吾终不留，吾要当立效以报曹公乃去”（《三国志·蜀书·关张马黄赵传》）。张辽将关羽的这番话转告曹操，曹操闻后，不但没有怨恨关羽，反而认为他有仁有义，更加器重他。

忠义化生历代封建统治阶级为了巩固自己的统治地位，把关羽当做“忠义”的化身，关羽的地位被抬得越来越高，“由侯而王”,“旋而进帝”,最后被尊为“武圣人”.陈隋间，佛都徒假托关羽显灵，在当阳首建关庙。唐建中三年（782年），关羽被列为古今六十四名将之一，放进武庙，配享姜太公。宋代以后，关羽便被戴上“武圣”的桂冠。默默无闻了800年的关羽（如果没死就被对手敬佩，死后就开始作为武将的榜样算默默无闻的话），被宋徽宗连升三级：先封“忠惠公”,再封“崇宁真君”,又封“昭烈武安王”和“义勇武安王”.元文宗封关羽为“壮缪义勇武安显灵英济王”,明神宗封之为“三界伏魔大帝神威远震天尊关圣帝君”,又把关羽庙长格为“武庙”,与文庙-孔庙并列。清代皇帝标榜关羽为“万世人极”,封之为“忠义神武仁勇威显护国保民精诚绥靖翊赞宣德关圣大帝”（《清史稿·礼乐志》），在北京修建了关帝庙，还通令全国，普建关庙，按时奉祀香火。武圣关公庙数量之多，远远超过了文圣孔庙。清代一朝，仅北京一地，关庙就有116座。而且，有些关庙的建筑规模也远远超过了孔子的文庙。有人说，关公是一种文化；也有人说，关公是一种精神。不然，在中国以至海外为何有这样多的关公庙？