不按图纸施工不一定是违法。
施工方不按照发包人提高的施工图纸施工，属违约行为，若施工单位未按照施工图纸施工的行为属实，依据相关法律法规，责令其改正，并处以罚款；情节严重的，责令停业整顿，降低资质等级或者吊销资质证书；造成建筑工程质量不符合规定的质量标准的，负责返工、修理，并赔偿因此造成的损失；构成犯罪的，将依法追究相关人员刑事责任。
不按图纸施工的量刑标准：
1、轻微违法行为的表现情形：未按规范设计、施工，尚可补救、修复的。 处罚标准：责令停止设计、施工，限期改正，可以并处1万元以下的罚款；
2、一般违法行为的表现情形：未按规范设计、施工，不能补救、修复但危害后果不严重的。处罚标准：责令停止设计、施工，限期改正，可以并处1万元以上2万元以下的罚款；
3、严重违法行为的表现情形：未按规范设计、施工，不能补救、修复且危害后果严重的。 处罚标准：责令停止设计、施工，限期改正，可以并处2万元以上3万元以下的罚款；
4、已经取得设计、施工资格证书，情节严重的，提请发证机关吊销设计、施工资格证书。
综上所述，在建筑工程中，施工方不安设计图纸施工，属严重违约行为，发包人应该第一时间追究施工方的责任，如支付违约金、赔偿相应损失等。在协商不成的，尽早委托建筑工程律师协助处理，积极收集证据资料，到起诉追责索偿。要是情况严重的，我们建议直接报警处理，然后再依法索偿。
【法律依据】：
《建设工程质量管理条例》第二十
施工单位必须按照工程设计图纸和施工技术标准施工，不得擅自修改工程设计，不得偷工减料。
施工单位在施工过程中发现设计文件和图纸有差错的，应当及时提出意见和建议。
第六十四条
违反本条例规定，施工单位在施工中偷工减料的，使用不合格的建筑材料、建筑构配件和设备的，或者有不按照工程设计图纸或者施工技术标准施工的其他行为的，责令改正，处工程合同价款百分之二以上百分之四以下的罚款；造成建设工程质量不符合规定的质量标准的，负责返工、修理，并赔偿因此造成的损失；情节严重的，责令停业整顿，降低资质等级或者吊销资质证书。
