其实这是一个误区。中国的“将军”一词来源于古代的“将军”。不是军衔，是官衔。它起源于春秋时期，诸侯国为了扩大势力范围，不断扩充势力。当时，大国的诸侯国往往拥有三支以上的武装力量。《李周·夏关司马》云:“凡有军者，兵二千五百人。王留君，大国三军，二国两军，小国一军。”
周规定，诸侯只能掌管三军。因此，扩军总司令被称为“将军”。“将”在这里是作为动词使用的，意思是领导一支军队。未来军队数量还会继续扩大，将领也会越来越多。所以从将领中选“尚将军”或“尚将军”统率全局，尚将军就诞生在这里。
多为后世所用，如战国时期燕国的乐毅、齐国的田单等，都是封为将军。秦末，楚怀王先后拜宋轶、项羽为将军。魏晋时期，三国只是作为尊称，唐宋时期恢复了将军的职位。金元时期的商将军是武三关(主义)，明朝废除了商将军。以上是大致的开发脉络。
世界上有许多将军的名字，如胡、、将军、骠骑将军、商将军、傅将军、甄将军等等，这些都是在元朝沿袭下来的。另外，古代的将军也是对高级将领的一种尊称。例如，刘备曾经将关羽、张飞、赵云、马超和黄佳雯称为“五虎上将”。
上将会被视为军衔的军衔，这是在实行军衔制度之后。1905年，中国军队开始模仿西方列强，移植军衔制度，军官军衔为三等九等。其中第一类叫“正都统”，相当于现在的将军。911年辛亥革命成功后，南京临时政府基本沿用清末的军衔制度，但改变了军衔称谓，将一级改为“总校”；不久，改名为“将军”。
1912年8月，中华民国北京政府(北洋政府)公布《陆军官兵军衔表》，军官仍为三等、九等，其中一等贾文社百科更名为“将军”，其对应职务为陆军总长、陆军司令。作为上将军衔的称号，其实是从这里开始的。此后，这一称谓一直沿用至今。
北洋政府时期，一些高级将领除了将军军衔之外，还有“将军”的头衔，如撒振兵的“苏”将军、冯的“宣”将军、曹锟的“胡”将军等。这里的将军不是军衔，而是相当于军衔的荣誉称号。凡是被授予将军称号的，一般先授予将军军衔。
但是，并不是所有的将军都能得到将军的称号。北洋政府时期被封为将军的人不多，总共只有20个左右，通常都是很厉害的人。