Thread Info
  • State Not Answered
  • Locked Locked
  • Replies 7 replies
  • Subscribers 1 subscriber
  • Views 3829 views
  • Users 0 members are here
Options
Suggested
This discussion has been locked.
You can no longer post new replies to this discussion. If you have a question you can start a new discussion

WAF becoming unresponsive due to possible vulnerability.

bloudraak_01
Hello,

I'm running a Sophos UTM 110 device with WAF enabled to protect some web sites.  For the last couple of weeks, WAF would frequently become unresponsive. 

Since I have premium support, I logged a request (#4064760). This post if for anyone seeing the same behaviour. 

In the WAF live logs, the following comes up every time it becomes unresponsive.

2013:10:20-14:12:47 vpn reverseproxy: [Sun Oct 20 14:12:47.971059 2013] [core:notice] [pid 21131:tid 4148041408] AH00051: child pid 21614 exit signal Segmentation fault (11), possible coredump in /tmp
2013:10:20-14:36:01 vpn reverseproxy: [Sun Oct 20 14:36:01.641503 2013] [mpm_worker:notice] [pid 21131:tid 4148041408] AH00295: caught SIGTERM, shutting down



I believe at the route of this is an attack from an Amazon registered IP address (54.243.31.192):

2013:10:20-14:12:41 vpn reverseproxy: [Sun Oct 20 14:12:41.342311 2013] [avscan:error] [pid 21614:tid 3958836080] [client 54.243.31.192:47519] [21614] not all the file sent to the client: 95532 != 90112\n
2013:10:20-14:12:41 vpn reverseproxy: srcip="54.243.31.192" localip="66.209.67.107" size="90112" user="-" host="54.243.31.192" method="GET" statuscode="200" reason="-" extra="-" time="721687" url="/" server="wernerstrydom.com" referer="-" cookie="-" set-cookie="***; expires=Sun, 20-Oct-2013 21:47:25 GMT; path=/, HASH_***; expires=Sun, 20-Oct-2013 21:47:25 GMT; path=/"



The cookies has been obfuscated for security reasons. My website, wernerstrydom.com, is a Wordpress site, and the aim is for WAF to protect it against an attack, since Wordpress isn't the most secure software.

The only way I can address this is by restarting WAF.  Once restarted, entries similiar to the following keep appearing every 20 minutes. 

[avscan:error] [pid 21614:tid 3958836080] [client 54.243.31.192:47519] [21614] not all the file sent to the client: 95532 != 90112\n



Then at some point, the WAF crashes and all access to websites are denied.

My gut tells me that the client, 54.243.31.192, is sending incomplete files to the server, which causes the WAF to crash and in essence exposes a vulnerability. My expectation is that the WAF will detect this behaviour and after a day or so, black list the IP address and have the firewall block all requests from the IP addresses. However, it doesn't seem like WAF detects this as an attack.

Are my assumptions correct?

In the past, I simply dropped all packets that originates from Amazon EC2. However, that lists keeps on changing. Its tedious to keep the network definitions up to date and as the lists change, makes the device vulnerable to an attack.  Am I the only one who thinks Amazon EC2 IP addresses should be blocked by default, except for ones I explicitly trust? 

Sincerely, 
Werner


This thread was automatically locked due to age.
  • 0
    Hi,

    1. what version of the UTM are you running?

    2. afaik, the WAF is not 'adaptive' and will not learn to ban IPs based on behavior.

    3. there's lots of evil on the internet. Blocking EC2 might help a bit.
    You might want to make a feature request to add EC2 and some of the other cloud systems to the Country Blocking system:
    UTM (Formerly ASG) Feature Requests: Hot (1415 ideas)

    Barry
  • 0
    I had been experiencing similar behavior.  I'm currently running 9.105-9 on a virtual appliance in a Hyper-V environment to protect DotNetNuke-based websites.  However, I never noticed if the crashes had been preceded from a visit from Amazon EC2 addresses.

    Initially, the crashes were occurring daily.  Sophos support had me rebuild the appliance from scratch.  This seemed to work as the UTM appliance ran without a crash for a couple of weeks.  

    Then 2 or 3 weeks later, the WAF service crashed again.  I logged another call with Sophos support.  It took them a few days, but they shelled into the appliance and applied a fix to WAF service.  I asked for specifics as to what was done but they only said the fix would be included in a future release of the firmware.  They didn't provide further details.

    It's been running without a crash for a good 2 or 3 weeks so far.  Hopefully, the issue is fixed.

    If anyone else is experiencing similar problems, I highly recommend the pingdom.com service so that you know exactly when your sites become inaccessible from the Internet.  You can monitor 10 sites for free for a month as you and Sophos are troubleshooting the problem.  I like that service so much that I opted for the annual contract once the trial period ended.

    I hope that this helps someone else.


    See Ya!
    Van
  • 0
    BarryG, 

    I'm running an UTM 110, with relatively little traffic by other standards (about 1.5 GB of internet traffic a day). Connections wise, the server has usage has spike since last week. 

    I spend a couple of hours creating network definitions for EC2 public IP addresses and then configured the firewall to block all traffic from EC2 and most can be attributed to traffic from EC2. My sites are for humans, so there is no reason for constant EC2 traffic. 

    Screenshot 2013-10-23 18.55.29.png

    But guess what; the following is appearing my the WAF logs:

    2013:10:23-18:34:55 vpn reverseproxy: srcip="54.243.31.224" localip="66.209.67.107" size="112050" user="-" host="54.243.31.224" method="GET" statuscode="200" reason="-" extra="-" time="748351" url="/" server="wernerstrydom.com" referer="-" cookie="-" set-cookie="***X; expires=Thu, 24-Oct-2013 02:09:03 GMT; path=/, HASH_wfvt_***X; expires=Thu, 24-Oct-2013 02:09:03 GMT; path=/"
    2013:10:23-18:34:55 vpn reverseproxy: srcip="54.241.32.96" localip="66.209.67.107" size="112050" user="-" host="54.241.32.96" method="GET" statuscode="200" reason="-" extra="-" time="702585" url="/" server="wernerstrydom.com" referer="-" cookie="-" set-cookie="***X; expires=Thu, 24-Oct-2013 02:09:03 GMT; path=/, HASH_wfvt_***X; expires=Thu, 24-Oct-2013 02:09:03 GMT; path=/"



    54.243.31.224 and 54.241.32.96 are (friendly) servers from Amazon, which essentially is keeping my servers busy.  One web server was already rendered useless. 
    I have a network definition for 54.242.0.0/15 

    Screenshot 2013-10-23 18.42.15.png

    Added it to a a network group:

    Screenshot 2013-10-23 18.43.02.png

    And then proceeded to block all incoming traffic from that network group.

    Screenshot 2013-10-23 18.47.32.png

    When I ran my own reverse proxy server with Snort, the UTM firewall use to block traffic. However, now that I paid for WAF and configured it to do the same thing, the firewall is not taking affect. 

    To say the least, I'm rather frustrated. 

    Sincerely, 
    Werner
  • 0
    Hi, Werner,

    My UTM is blocking your pictures because they're in your private dropbox.  To provide more security here, please edit your post above, [Go Advanced], upload the pictures here and replace the links in your post.

    Cheers - Bob
     
    Sophos UTM Community Moderator
    Sophos Certified Architect - UTM
    Sophos Certified Engineer - XG
    Gold Solution Partner since 2005
    MediaSoft, Inc. USA
  • 0 in reply to BAlfson
    I have replaced the links to my dropbox account with images I uploaded.
  • 0
    Hi,
    The proxies (such as the WAF) come before user-created firewall rules, so you won't be able to block this trafffic via the firewall settings.
    I'm not sure if you can block in the WAF settings.

    What did support say about the crashes?

    Barry
  • 0
    Thanks, I think I see the issue now.  Instead of a Firewall rule, use a DNAT to a non-existent IP instead.  See #2 in Rulz

    Cheers - Bob
     
    Sophos UTM Community Moderator
    Sophos Certified Architect - UTM
    Sophos Certified Engineer - XG
    Gold Solution Partner since 2005
    MediaSoft, Inc. USA
Unfiltered HTML