源氏作为藤原氏一方的军事首领，那么能与藤原氏抗衡的白河法皇也有着属于自己的军事力量，那就是以平氏为首的武士集团。

平氏由于经常在地方叛乱，屡遭朝廷镇压，实力大减，但是也因此身边聚拢了一批对现实极度不满的武士。

当白河法皇以出家的形式跳出摄政关白制度，开创院政时代，以院政的形式与藤原氏展开斗争，使得以平氏为首的那些对现实不满的武士们看到了希望，纷纷聚集在了白河法皇旗下。

原本已经实力大减的平氏也借助于这场斗争，重新返回了日本的政治舞台。

在历史上，原本是地方豪族的首领的平正盛借助白河法皇与藤原氏的斗争，壮大了以平氏为首的武士集团，并于1108年斩杀了源义家之子源义亲，使得清和源氏（河内源氏）势力稍减，而伊势平氏开始抬头。

其后，平氏慢慢积蓄实力，击败宿敌源氏，历经三代人，由平正盛嫡孙平清盛成为日本历史上第一个军事独裁者，开启了武家政权的先河。

平清盛虽然是日本武家政权的鼻祖，但是武人的地位并没有显着的提高，而是走了藤原氏的老路，将自己和正室时子所生的女儿平德子（建礼门院）嫁给高仓天皇作为皇后，以使自己成为天皇的外戚，不顾平德子长高仓天皇六岁且与其有表姊弟关系。平德子产下的皇子并且成为日后的安德天皇。另一个女儿平盛子则嫁给摄关家的藤原基实，并且以此为始，让许多子女和有权有势的公家众（贵族阶级）联姻，巧妙地透过政治婚姻的手段扩大自己的势力。

屠龙少年终究还是成为了恶龙，藤原氏被平氏随取代。

武士族群因为平氏的贵族化，利害关系已经与其渐行渐远而大感不满。

1180年，被平清盛流放到伊豆国的源赖朝与其正室北条政子的娘家北条氏联手举兵反抗平氏政权，并开府于镰仓。

源赖朝在镰仓开府可以说是神来之笔，正是此举使得武士族群纷纷聚拢在了源氏名下，哪怕源赖朝被平清盛的大军打得节节败退的时候，还依然有武士前来相投，为以后终结平氏政权奠定了结实的基础。

幕府制度才是日本真正的武家政权，武士集团也因此登上了日本的历史舞台。

可以说，幕府制度才是源氏一族最终极的梦想，是源氏一族助藤原氏确立了摄关政治后惨遭抛弃后，总结教训，苦思冥想出来的一个真正能实现源氏一族梦想的制度，是真正属于武人的制度。