律师最怕的部门主要是 司法行政部门和律师协会。

司法行政部门：

根据《律师法》第五十二条和第四十六条的规定，县级人民政府司法行政部门对律师和律师事务所的执业活动实施日常监督管理，对检查发现的问题，责令改正；对当事人的投诉，应当及时进行调查。如果认为律师和律师事务所的违法行为应当给予行政处罚的，应当向上级司法行政部门提出处罚建议。此外，律师也可以向司法行政部门投诉其他律师的不法行为。

律师协会：

律师协会负责保障律师依法执业，维护律师的合法权益，并受理对律师的投诉或举报案件。根据《律师法》第四十六条的规定，律师协会可以制定行业规范和惩戒规则，对律师的违规行为进行调查并采取相应的纪律措施。

法官：

虽然律师在执业过程中不怕被法官斥责或驳回申请，但最担心的是法官无视律师辩护意见的“软暴力”。根据《刑事诉讼法》第三十七条，辩护人的责任是提出犯罪嫌疑人或被告人无罪、罪轻或减轻、免除其刑事责任的材料和意见，维护其诉讼权利和其他合法权益。然而，有时法官可能会无视这些辩护意见，导致律师的努力无法得到应有的重视。

综上所述，律师最怕的部门是司法行政部门和律师协会，因为这些部门有权对律师的执业活动进行监督、管理和处罚，同时也有权受理对律师的投诉和举报。而法官的“软暴力”行为，即无视律师的辩护意见，也是律师在执业过程中较为担忧的问题。