石窟的开始修建，《魏书》上是这样讲的：“……和平初(公元四六○年)，师贤卒。昙曜代之，更名“沙门统’。初昙曜以复法之明年(公元四五三年)，自中山被命赴京，值帝出，见于路，御马衔曜衣，时以为马识善人，帝后奉以师礼。曜白帝(文成帝)于京城西武州塞凿山石壁，开窟五所，镌建佛像各一。高者七十尺，次六十尺，雕饰奇伟，冠于一世。”(《魏书》卷一百一十四)
文成帝之后，孝文帝时也继有修建，除了帝室和贵族们修建的大石窟外，小窟小龛的修建最迟延续到正光末年(公元五二四年)。
云冈石窟沿着武州山南麓，自东向西绵延一公里，全部编号为四十三个洞窟，其形制较大的洞窟(长宽超过五、六米，约二十余个，其他还有一部分洞外的佛龛。其间有两个崖谷，将石窟群分为东、中、西三区。东区为第一、二、三、四各窟。中区为第五—第十三窟。西区为第十四—第二十窟及西端诸小窟(第二十一—第四十三窟)。石窟大部暴露在外，仅第五、六窟前有清初顺治八年(公元一六五一年)修建的木构建筑物一组。但云冈石窟在古代可能是全部都有木构的廊阁殿堂的。北齐郦道元所见到的云冈石窟寺是：“山堂水殿，烟寺相望。林渊锦镜，缀目新眺。”(《水经注·漯水》条)可见当年四周环境原来不是如今天那么荒瘠的。
(2)云冈石窟群，如果按照修建年代及风格变化，大致可以下列四组石窟为代表：
(一)昙曜五窟，即第十六—第二十窟。
(二)第七、第八双窟。
(三)第五、第六双窟。
(四)末期窟龛，第十一—第十三窟外檐上方各龛。