可以的，因为行政机关属于依法无需办理税务登记的单位，你企业可以凭政府机关开具的收款凭证及租赁合同、银行付款单据等相关资料作为税前扣除凭证。

参考：

《国家税务总局关于发布《企业所得税税前扣除凭证管理办法》的公告（国家税务总局公告2018年第28号）规定，对方为依法无需办理税务登记的单位，其支出以税务机关代开的发票或者收款凭证及内部凭证作为税前扣除凭证，收款凭证应载明收款单位名称、个人姓名及身份证号、支出项目、收款金额等相关信息。