拆迁工作通常由以下部门负责：

1. 国务院建设行政主管部门：对全国城市房屋拆迁工作实施监督管理。

2. 县级以上地方人民政府负责管理房屋拆迁工作的部门（房屋拆迁管理部门）：对本行政区域内的城市房屋拆迁工作实施监督管理。

3. 市、县级人民政府确定的房屋征收部门：具体组织实施本行政区域的房屋征收与补偿工作。

4. 县级以上人民政府土地行政主管部门：负责与城市房屋拆迁有关的土地管理工作。

这些部门依照相关法规，如《国有土地上房屋征收与补偿条例》和《城市房屋拆迁管理条例（修订）》，互相配合，确保拆迁工作的顺利进行