首先，对于“大将军”和“大司马”的历史来说，“大司马”要比“大将军”的历史更加悠久。对于“大将军”来说，始于楚汉战争时期，彼时，刘邦在汉中拜韩信为大将军。由此，韩信成为中国古代历史上第一位“大将军”。而在西汉之前，白起、乐毅等将领则被称之为“上将军”。以此相对应的是，“大司马”这一官职的历史则更加悠久，”《周礼》以大司马为夏官之长，早在黄帝时期，就有“大司马”一职了，在这之后，西周大司马姜子牙(吕尚、姜尚)，齐国大司马田穰苴(司马穰苴)。

　　值得注意的是，大司马不仅历史比大将军更加悠久，而且，在地位上，大司马也不逊色于大将军，甚至高于大将军。根据史料记载，元狩四年(前119年)，汉武帝刘彻这位千古一帝在位时，以大将军卫青、骠骑将军霍去病功多，特加号大司马，以冠将军之号。在汉武帝在位时，卫青、霍去病等大司马除了掌管作战等事务，还可以参与到朝廷事务中，并且直接辅佐皇帝。由此，在笔者看来，汉武帝时期的大司马，其地位不仅高于大将军，甚至代替了丞相的部分职能，可以说是位高权重。

　　到了东汉时期，大司马为三公之首，掌管军事。东汉末年，三公(太尉、司徒、司空)已成为虚职，在三公之外另设大司马，大司马位在三公之上。到了三国这一历史阶段，不少位高权重的大臣，都是先担任大将军，后晋升为大司马，也即大司马的地位在大将军之上。比如就魏国来说，公元221年，曹丕拜曹仁为大将军，后升迁为大司马。226年，魏明帝曹睿继位后，曹真进封邵陵侯，升任大将军。公元230年，曹真到洛阳朝见皇帝，被升为大司马。至于蜀汉和东吴的大司马，也基本是在大将军的基础上升迁而来的。

　　不过，虽然大司马的地位要高于大将军，但是要说实权来说，一般还是大将军为主。一方面，大司马是在大将军的基础上升迁而来，也即没有大将军作为基础，皇帝是很难将其大司马的。另一方面，大将军是比较常设的最高武将，而大司马则经常被废置。比如在南北朝时期，大司马就不经常设立，而且就算设立的话，一般都是作为最高荣誉称号，类似于历史上的太师、太傅等职位。

　　总的来说，在大部分朝代中，大将军一般掌握实际兵权，而大司马虽然地位高于大将军，但是更多的是一种荣誉称号。