This discussion has been locked.
You can no longer post new replies to this discussion. If you have a question you can start a new discussion

Web filtering kills the speed of an AWS RDS application

I am having an issue with Web Filtering and an RDS application hosted in AWS on a UTM9 SG105 with Firmware version 9.210-20. I added everything I could find for AWS servers and IPs into a whitelist exception, but whenever I turn Web Filtering back on their application starts to crawl. Times basically double for all actions. Is there any specific settings I need to enable in web filtering to make it exclude all RDS applications from scanning?


This thread was automatically locked due to age.
  • Hi, Dan, this is the first post of yours that I've seen - a belated welcome to the User BB!

    First, I would recommend going to 9.211.

    Is the RDS server in AWS, or is there an application that's running there?  Please click on [Go Advanced] below and attach a picture of your Exception and tell us whether the Proxy is in "Transparent" or "Standard" mode. Also, show a line from the Web Filtering log where the application is slowed.  Finally, tell us how your configuration differs from DNS Best Practice.

    Cheers - Bob
     
    Sophos UTM Community Moderator
    Sophos Certified Architect - UTM
    Sophos Certified Engineer - XG
    Gold Solution Partner since 2005
    MediaSoft, Inc. USA
  • Firmware is now updated, still having the same issues. I double checked the DNS Best Practice settings, our config was fine. We filtering is in transparent mode. The attachment is the screenshot is of the exception from web filtering.

    I believe this is the applicable log. If the time is measure in microseconds then the fulreqtime seems pretty absurd. I can't find any documentation as to what unit of time it is measured in though.

    2015:04:13-12:00:06 removed httpproxy[3782]: id="0001" severity="info" sys="SecureWeb" sub="http" name="http access" action="pass" method="CONNECT" srcip="local ip" dstip="public ip" user="" ad_domain="" statuscode="200" cached="0" profile="REF_DefaultHTTPProfile (Default Web Filter Profile)" filteraction="REF_DefaultHTTPCFFAction (Default content filter action)" size="3763284" request="0xe3ce7000" url="us-std-00001.s3-external-1.amazonaws.com/" referer="" error="" authtime="0" dnstime="9" cattime="0" avscantime="0" fullreqtime="112070431" device="0" auth="0" ua="" exceptions="av,auth,content,url,ssl,certcheck,certdate,mime,cache,fileextension,size,patience"
  • If you are not doing HTTPS scanning then all HTTPS traffic is within an SSL tunnel, the UTM can only see the time from the CONNECT to the close of the TCP connection, which can be minutes, or in this case 112 seconds.  Normal and expected.

    This log shows that the exception is being applied.

    I don't think this is related to the slowness you experience.
  • So if the exception is working correctly, but our speeds die after turning on Web Filtering is there a way to assign more resources on the UTM so Web Filtering so that it processes faster?
  • is there a way to assign more resources on the UTM so Web Filtering so that it processes faster
    No, it's not possible to manually assign resource allocation, except by disabling features and/or optimizing settings for efficiency (reordering rules or reducing size of lists, as examples).
    __________________
    ACE v8/SCA v9.3

    ...still have a v5 install disk in a box somewhere.

    http://xkcd.com
    http://www.tedgoff.com/mb
    http://www.projectcartoon.com/cartoon/1
  • So... it sounds like you are using the Web Proxy in transparent mode.  I have no doubt it is affecting your access.

    Since the IP behind the FQDN you have listed no doubt changes time to time (most AWS services do), one fix I would normally implement in your case would not work (at least not forever) -- you could place that IP or host definition in the Transparent Skiplist in the advanced configuration of the web filter; this would make the https traffic to that host travel unmolested (as if the web filter is not there at all) directly to Amazon.

    A more permanent fix:  switch from transparent mode proxy to Standard mode -- configure proxy settings on your PCs, etc. (or use a PAC file), with a bypass rule set to not send any traffic going to your RDS URL via the proxy.

    Other option:  place the RDS in a VPC, and use your UTM to establish a VPC tunnel to it... exclude the VPC subnet(s) from use in the proxy.

    CTO, Convergent Information Security Solutions, LLC

    https://www.convergesecurity.com

    Sophos Platinum Partner

    --------------------------------------

    Advice given as posted on this forum does not construe a support relationship or other relationship with Convergent Information Security Solutions, LLC or its subsidiaries.  Use the advice given at your own risk.