象棋，古称“象戏”，是一项具有悠久历史的棋类活动”它的起源至今无从确考，自古以来众说纷云，莫衷一是。综合起来，不外以下几种，即创始于舜说，创始于周武王说，《易经》起源说，创始于汉代说，印度传来说及创始于先秦说等等。把象棋的起源归功于某个人，这是英雄崇拜的产物，仍不可信；而《易经》起源说，带有附会之意；至于创始于汉代说，则只是根据象棋局中“楚汉河界”所作出的臆断；印度传来说更是缺乏确凿的证据。
根据象棋的局制和规则，中国象棋的起源应与兵家有着密切的关系。英国著名学者李约瑟在他所著述的《中国科学技术发展史》一书中指出，“象棋是中国人民的创造，是古代中国人模拟战争而创造的一种游戏”春秋战国时期，战争连年不断，人们仿照军队的编制、布阵遣将的方法等创制了一种新的棋游戏，这当是象棋的最初形式。我们看象棋中的将(帅)、车、马、士、卒(兵)这几个子，显然是先秦时代的遗制。战国以前，中原作战主要以战车为主，而且整个春秋战国时期的军队中有甲士、徒卒(或徒兵)的编制，而象棋中的某些子正是形象地仿此而作。在形成于战国时期的《招魂》一诗中，在描写当时楚国的生活、娱乐时，曾留下了“蓖蔽象秦(棋)，有(又)六博些。分曹并进，道相迫些。成果而牟，呼五白些”的句子，其所讲的是“象棋”和“六博”两种棋类游戏。句中“分曹并进，遒相迫些”是叙述棋子分成二群，相互攻守胁迫，是描写象棋活动的场面。因此，从《招魂》一诗中，我们就可看出战国时期的楚国已经流行象棋了。
与围棋相比较，象棋是一种俗雅共赏且普及更广的棋艺活动。它于创始以来虽为广大群众所喜好，但古代帝王及文人学士对此多轻视而认为“不足道”，因此古代典籍中关于象棋的记述甚少。在魏晋南北朝时期，民间曾流行一种“象戏”的棋类活动。这种象戏的棋盘为正方形，并有马、“符”(即象棋中的兵卒)等棋子。北周武帝宇文扈对这种象戏进行了总结和改进，并将规则及要旨亲自写成《象经》固定下来，还在天和三年(568年)召集百官演示推广。这种象戏的流行和推广，为象棋的最终定型奠定了基础。
隋唐时期，隋文帝不赞成象戏，但唐代开国后，太宗李世民却加以提倡，并出现了新的突破。太宗的才人武则天就是个象棋迷，她连做梦也与天女下棋。唐代中叶以后，象棋有了进一步的发展，唐肃宗时的丞相牛僧孺在其所著的《玄怪录》一书中曾记述了这样一个“鬼话”：唐代宗宝应元年(762年)的一天晚上，汝南人孝顺客居在陕州的一所废宅中。睡梦中他见天那军与金象军两军相争，双方你来我往，只见墙壁下的老鼠洞化作了城门。激战中天那军大败，天那国王选到了西南角。后来陈岑家人根据岑顺梦中的情景，顺着老鼠洞开挖，发现了一座古墓。墓深八九尺，墓前有金属制成的棋局，棋盘上摆满了各个兵种的棋子，都是由全铜做成的立体象形棋子。于是明白梦中军师所说之词，是象戏两军相争的情况。“鬼话”中提到岑顺梦中所见的象戏两军，有王、军师，而军师所说的“天马斜飞度三止，上将横行系四方，辎车直入无回翔，六甲闪第不乖行”，表明还有天马、上将、辎车、六甲四个兵种的棋子，它们的着法分别与现代象棋中的马、象、车、兵相当。由于“鬼话”故事发生在唐代宗宝应元年，故后世称这种象戏为“宝应象棋”。宝应象棋里实际上已有王、军师、马、象、车、兵六种棋子，与现在流行的象棋已经非常相似了。
炮，是现代象棋中的一个重要组成部分。那么，它是什么时期开始进入象棋中的呢?一般人认为，炮是宋代才增入的，理由是真正的火器(包括火炮)是在宋代出现的。但是，众所周知，象棋中的炮，一直写作“砲”，从石而不从火。砲，古写作“礟”，始见于西晋潘岳《闲居赋》之“礟石雷骇，激石吂(音mang)飞”。唐李善注：“礟石，今之抛石也。”即所渭“机发飞石”，三国时称为“霹需车”。这种砲从春秋至唐一直在使用着，而象棋中的“砲”，就是来自机发飞石之砲，而不是宋代以后的火炮。据元代和尚念常所著《藏经.佛祖历代通载》所记，古时神农氏以日月星辰为象，唐相国牛僧儒用车、马、士、卒加炮，创制了象棋这种模拟兵机的游戏。联系古代由“砲”至“炮”的变化，可以说，炮最晚在唐代中叶以前，就已经出现在象棋中了。
经过一系列的变化调整，在“宝应象棋”的基础上，至北宋时出现了与今日体制、规则相同的象棋。根据宋人尹沫撰《象棋》司马光撰《七国象棋》以及晃补之撰《广象戏图》的记述推断，北宋流行的象棋活动大体有如下3种。
第一种：有将、士、象、马、车、炮、卒等32枚棋子。棋盘无河界，纵9路、横9路。
第二种：有将、偏、裨、卒等棋子。棋盘有河界。局道有若干格。这种象棋当时因不够通俗，仅流行于士大夫阶层之中，不为一般平民所好。
第三种：有32枚棋子，棋盘纵横各11路。据推测，这种象棋的棋盘及棋子布局应如图23所示。
上述第一种象棋至南宋时，增加了河界。此后，这种象棋在民间广为流传，并一直沿用下来。
南宋时的象棋，已成为当时百姓文娱活动不可缺少的内容。在宫廷的“棋待诏”中，仅象棋手就占了很大一部分，如杜黄、徐彬、林茂、尚端、上官大人、五安哥等，还有女棋手如沈姑姑。南宋的临安城(今浙江杭州)中，还有专制象棋的手艺人，“藉此以为衣食之地”。表明当时的象棋已相当普及。
当时的象棋，已完全定型为现代象棋的棋制。如现存宋陈元靓《事林广记》中所录当时象棋的“二龙出海势”图局，已和现在的象棋完全一样了，1973年8月，考古工作者在福建泉州湾的后诸港出土的南宋古船上，发现了当时木制圆形象棋子20枚。棋子的兵种有将、仕、士、车、象、马、炮、兵等，分红黑两种颜色。这些可能是当时乘客或船夫们的棋具，形制和现代象棋子已完全无异。这是象棋在宋代民间广泛开展的又一物证。
继南宋之后，象棋在明代又有了大的发展。尤其是明代中期以后，由于经济文化的发展，象棋也进入了一个新的阶段。此时名棋手辈出，如嘉靖进士李开先就是当时著名的象棋国手之一。棋艺家陈珍“以象棋擅名，举世无以抗衡者”。明末棋手朱晋帧曾在棋坛驰骋30余年，“称无敌者”。他所辑《桔中秘》象棋谱四卷，是对明几百年棋艺术的一次总结，对后世象棋的发展颇有影响。
随着象棋的普及，象棋的棋艺著作也得到了繁荣发展，出现了许多棋谱。现存的明代残排局象棋谱有《梦人神机》、《金鹏变法象棋谱》和《适情雅趣》等5种。其中《适情雅趣》中除了收入《金鹏十八变》的全局着法以外，还保存有精妙残局杀势551局，是我国象棋谱中收入残排局棋谱局数最多、规模最大、内容最丰富的一部巨著。此外，明代著名的全局谱还有《自出洞来无敌手》、《金鹏十八变》和上面提到的《桔中秘》三种。从这些棋谱中，可以看出当时的种种布局都已略具规模，如顺手炮、列手炮、屏风马、飞象局、转角马、过宫炮等，对它们的研究，已经形成了一个较为完整的体系，反映了明人对象棋深入探索的成果。
清代的象棋进一步平民化，且名手众多，棋派林立。仅乾隆中叶，就出现了毗陵、吴中、武林、洪都、江夏、彝陵、顺天、大同、中州九大棋派，前六派拥有“江东八俊”，后三派首领称“河北三杰”。而被时人誉为“棋中圣手”的毗陵派周廷梅，更是技压群雄，传说他经过四川奉节，观看诸葛亮“八阵图”遗址时，悟出了棋理，从此无敌于天下。清代的象棋谱，就其数量而言虽稍逊于明代，但也多是精湛之作。其中康熙国手王再越，在明代棋谱《桔中秘》成就的基础上，撰就了《梅花谱》,使象棋开局从斗炮的习惯模式中脱颖而出，进入了当头炮对屏风马的新领域。再如留传下来的《韬略元机》、《百局象棋谱》、《竹香斋象棋谱》及《心武残编》被称为清代四大著名残排局谱，《吴兆龙象棋谱》和《石杨遗局》是清代具有代表性的对局集。这些象棋谱对于近代和当代象棋的发展及棋艺水平的提高起到了不可磨灭的重要作用。