这个问题可以从另一个角度提出:在全面依法治国的背景下，坚持依法治国、依法治国、依法行政等。这里的“遵守”这个“法”到底是什么意思？上级文件都是“合法”的吗？显然不是。中国的法律体系包括国家法律体系、党内法律体系和军事法律体系。就国家法律体系而言，我们所说的“法律”是指以下法律文件:
第一，宪法。通常，宪法规定国家的根本制度和任务，公民的基本权利和义务，国家机构的组织原则和权力等。它是国家的根本法，是治国理政的总章程。宪法具有最高的法律地位、法律权威和法律效力。《中华人民共和国宪法》是全国人民代表大会制定和颁布的国家根本法。在我们的历史上，我们有过五四宪法、七五宪法和七八宪法(简称宪法)。现行宪法是1982年12月4日第五届全国人民代表大会第五次会议通过的《1982年宪法》，之后又进行了5次修改。有人认为可以直接适用法律法规，但不能直接适用宪法。这种观点是错误的。依法治国首先是依宪治国，依法治国首先是依宪治国。也就是说，要“依法”，首先要“依宪”；不按宪法办事，就谈不上依法办事。宪法不仅适用于我们的工作，而且是我们工作的首要和最高依据。当然，宪法的适用层面也是最高的，一般限于国家和公民的基本权利，而不是在所有领域和层面都适用。
第二是法律。法律是全国人大及其常委会根据宪法或依职权制定的规范性法律文件。根据规定，可分为基本法和其他法律。基本法是指国家的刑事、民事和国家机构的基本规定；其他基本条款属于其他法律。前者原则上由全国人大制定，后者由其常委会制定。一般法律都是以主席令的形式颁布，但全国人大常委会作出的一些决定，不是以主席令颁布的，也纳入法律的范围。法律名称一般使用《中华人民共和国XX法》。但有时候，我们也会广义地使用“法”这个词，比如“以事实为根据，以法律为准绳”，这里的“法”其实就是“法”。
第三，行政法规。行政法规是指与政治、经济、教育、科技、文化、外事等有关的各种法律法规。由国务院根据宪法和法律制定，领导和管理国家各项行政工作。行政法规是国务院制定的，但不是所有国务院制定的文件都是行政法规。区别在于，行政法规由国务院制定，并以“国务院令”的编号发布，这是行政法规区别于其他法规或规章的正式标志。此外，行政法规的名称一般称为“条例”或“规定”或“办法”。
第四，地方性法规。地方性法规是指在不同宪法、法律、行政法规相抵触的前提下，由有权制定地方性法规的地方国家权力机关依照法定权限制定并在本行政区域内实施的规范性文件。有权制定地方性法规的主体是:省、自治区、直辖市人民代表大会及其常务委员会；市人民代表大会及其常务委员会；自治州人民代表大会及其常务委员会；4个市人大及其常委会(东莞、中山、嘉峪关、三沙)。
五个是自治条例和单行条例。自治条例是指民族自治地方的人民代表大会制定的综合性规范性文件，即自治区、自治州、自治县的人民代表大会根据当地民族的政治、经济和文化特点，通过法定程序，对自治地方的事务进行综合调整。单行条例是指民族自治地方的人民代表大会，即自治区、自治州、自治县的人民代表大会，根据当地民族的政治、经济、文化特点，通过法定程序，对自治地方某些方面的事务进行综合调整而制定的个别规范性文件。自治区的自治条例和单行条例报全国人民代表大会常务委员会批准后生效。自治州、自治县的自治条例和单行条例，报省或者自治区的人民代表大会常务委员会批准后生效，并报全国人民代表大会常务委员会备案。
第六，法规。规章又称政府规章或行政规章，是有关国家行政机关依据法律法规，在其职权范围内制定的具有普遍约束力的规范性文件。规章可以分为国务院部门规章和地方人民政府规章。国务院部门规章，是指国务院各部委、中国人民银行、审计署、各直属机构在本部门职权范围内，根据法律和国务院行政法规、决定、命令，制定的规章；迪迦文社百科人民政府规章是指省、自治区、直辖市人民政府、经济特区所在地的市人民政府、设区的市人民政府、自治州人民政府制定的规章。
此外，法律解释、我国和我国政府参加的条约和行政协定也属于法律范畴，必须作为我们工作的基础。
就国家的法律体系而言，上述文件属于“法”。另外，县政府的文件等。，不属于法律。所以，大家不要误解为只要人大或者政府有立法权，只要红头文件就是法律。不是每个人都有立法权。要依法办事，就是要按照上述属于法律的文件办事。
“法”不能作为我们工作的依据吗？有人可能会问:作为基层部门，只要是上级部门的文件，不管是不是属于“法”，我们都要执行，这是我们工作的基础。既然如此，我们还有什么必要去区分是不是“法”呢？
当然有必要。“法”可以设定国家机关的权力和义务，也可以设定公民的权利和义务，没有法律是不能触及的；其中，没有法律法规的依据，规章制度不能减损公民的权利，增加公民的义务，不能增加部门的权威。况且“法”可以作为人民法院定案的依据，其他文书(不属于法)不能作为人民法院定案的依据，只能作为诉讼中的证据。
这个法理，对于制定文件的部门来说，必须明确:什么文件规定什么内容，这是有讲究的，必须符合《立法法》的要求。对于执法机关来说，一定要明确:虽然上级的文件都是工作的依据，但是什么工作要区分。如果是限制和惩罚公民权利的行为，必须有“法”的依据；其他工作安排，如安排会议、学习等事实行为，如果不要求以“法”为依据，可以根据工作需要进行。
我们最后的结论是:的确，上级机关的一切文件都可以作为工作的依据，但是工作是广泛的，涉及到职权、职责、公民权利和义务、国家的基本制度等等。，这必须以“法”为基础。这就意味着“法定职责必须是，法无授权不可为”。