处罚只能哪些部门设立

可以设立处罚的部门包括以下几类：

具有法定行政处罚权的行政机关

包括各级人民政府以及公安、工商、税务、土地、审计、卫生等部门。

法律、法规授权的具有管理公共事务职能的组织

例如工商所、税务所、公安派出所等行政机关的派出机构，它们依据相应法律、法规享有一定的行政处罚权。

受行政机关委托行使一定行政处罚权的受托组织

根据行政管理的实际需要，行政机关可以依照法律、法规、规章的规定，委托符合法定条件的组织实施行政处罚。

总结：

处罚权只能由具有法定行政处罚权的行政机关、法律、法规授权的具有管理公共事务职能的组织以及受行政机关委托行使一定行政处罚权的受托组织设立和实施。限制人身自由的行政处罚权只能由公安机关行使，且只能由法律设定。