山水画的起源可以追溯到原始社会，在中国新石器时代马家窑文化半山类型的彩陶图案中，就能找到起伏的山川纹、水波纹，这是古代人们对自然山川的体验。山水画真正兴起于魏晋南北朝时代，在南北朝后期已逐渐发展成独立画料，距今已有一千多年。
山水画发展到隋唐开始繁荣，这个时期出现了许多著名的山水画家如：李思训父子，王维，毕宏，王默等。
五代绘画达到了中古绘画的新水平，它对绘画自唐发展到北宋，起着桥梁的作用。五代的山水画总的来看“并非盛世”但有个别画家的成就是突出的，能代表这个时期的山水画最高水平的画家有荆浩、关全、董源等。
山水画至宋代，兴旺的景象前所未有，它向多方面发展，表现形式和方法也更加多样。北宋和南宋各有特点，如北宋多大山大水全景图，南宋常有山明水秀的一角之图。其中，北宋著名的山水画家有：巨然、李成、范宽、郭熙等。
元代的山水画是中国古代山水画发展到较高阶段的表现，它之所以获得提高，在于画家的创作都从自然界的直接感受中，获得了有用的题材。元代的山水画家有的学道，有的参禅，所以产生了不同的风格，发展到明清，形成了各种流派。元代山水画家有较大成就并起着较大影响的有赵孟頫、黄公望、王蒙、吾振等。
明代山水画较为发达，但画家趋向摹古，因而有创造性的不多，明代二百多年中以“浙派”与“吴门派”为最有影响的画派。明代晚期是文人山水获得最发达时期，董其昌等华亭派兴起，推崇董、巨、倪、黄。董其昌本人在笔墨上有很大的成就，但此时整个画坛摹古风气益盛，出现偏重笔墨形式，画风日下。
绘画发展到明清之际，文人画可谓盛极一时，文人画几乎在画坛上压倒一切。杰出的文人画家，他们在绘画的造型、笔墨以致诗词题跋上，获得了一定的成就，在艺术上更加精炼了。代表画家有弘仁、髡残、八大山人、石涛等“四画僧”，稍后有金农、郑燮、罗聘等“扬州八怪”。与之对立的有“正统派”的“四王”即王时敏、王鉴、王珲、王原祁等。
中国山水画追求形神兼备，不仅指自然景观本身形神，更主要的是指画家得到客观景观感染而寓意抒情，求象外之意的“意象”之形神。意象妙得是指在意象的形成中，景是基础，情是升华，这里说的景，不仅是指直接唤起感情的具体景色，而且包括与这些景物相联系的整个生活，画家对自然景物的观察把握之后，因景生情、因情生意、因意立法，意法融而意象生的整个形成过程。
画家在对千山万水的观察写生过程中神与物游，心物交融，经过酝酿、加工，使客观形象变成“不了之形”，“不全之象”，通过意和情再造后的新的艺术景观跃然纸上。这景观实质上是画家的思想感情、处境、地位、才能、阅历、主张、学识和对整个世界。人生及宇宙万物的认识，以及画家对美学观念的认识，探索和对艺术规律的追求。因而，中国山水画的水平不仅是画家心灵的写照，反过来又验证着画家对美的理解程度和审美观念的层次。如，古代逸士的山水画，多以表达“出尘”之意的清高，他们不止歌颂山水之美，重要的还在于以意象的景物之貌表达“不染红尘”的逸人雅士心境，是以景寄意，以毫写心的。每一幅山水画，都是作者综合审美观念的体现。
挥笔作画，不是一件轻松的事，因为笔墨在宣纸上不能涂改，所以不能有半点疏忽差错。每笔都要考虑以便解决形象问题、远近虚实问题、情感问题。古人讲“下笔便有凹凸之形”。笔的轻、重、虚、实、强、弱、浓、淡、干、湿都要恰如其分。因此必须集中精力，才有可能做好。
（1）勾线
凡能用线概括的地方，分出主次先后，用重墨勾线（相对于整体来看）尽量明确、肯定。勾线用笔不可犹豫不决，要“稳、准”地画下去，遇有败笔也不要怕，一直把整体画面勾完之后，再进行调整。
（2）皴擦
皴擦要在大的线的骨架上加以补充，以进一步表现山石的脉络、转折以及树干、建筑物的体面和质感，使画面丰富起来。“皴”和“擦”是一个意思，只是笔触大小与轻重略有差别。
（3）点染
在勾皴的基础上进一步以不同笔法的点染加以充实，逐渐形成画面的整体效果。染，放在最后进行。染以水分较多的笔触去画，不可大面积瞎涂，当留空白（即“活眼”）要留出来，不可统统堵死。点染一般需要进行多次调整，这时千万不可急躁，要待第一遍干后再进行第二遍，否则，容易出现脏、软、死等毛病。
（4）收拾整体
关于整幅画的进展规律，李可染先生归纳出一个公式，叫做“从无到有”，然后“从有到无”。就是一开始画面笔墨由无到有、由少到多地逐渐丰富起来，这时容易出现局部与局部的失调，也就是“碎”和“花”的现象。这时需要用小笔触慢慢地（切不可急于求成，大笔涂抹）调整局部与局部的关系，使各个局部集零为整，形成一个整体。这种整体要有一集结之处——“画眼”，犹如人的眼睛，人的眼睛是心灵的窗户，起着传神的作用。统一整体的目的完全在于突出“画眼”的存在。
（5）着色
当墨色丰富到几乎有色彩的感觉时（一般要墨色画到90％以上），再考虑染颜色的问题。上色过早，容易夺墨。墨色充分后上色，较易取得“色不碍墨，墨不碍色”的锦上添花的效果。