Как уже сказал автор, mod_evasive поддерживает опцию DOSSystemCommand, которая:

используется для выполнения какой-нибудь вашей команды когда IP блокируется. Вы можете использовать это для добавления IP-адреса в таблицу фаервола. (пример: "/sbin/ipfw table 111 add %s". В переменную "%s" передается от модуля IP-адрес атакуемого атакующего хоста).