Web Security Performance Issues

Here is a site that lists as pass, but never even after about 3 minutes with Web Security on loads.  Web Security Disabled and the site loads instantly.

2011:10:26-09:27:03 FPHASG httpproxy[28663]: id="0001" severity="info" sys="SecureWeb" sub="http" name="http access" action="pass" method="GET" srcip="192.168.2.201" dstip="184.31.244.31" user="" statuscode="301" cached="0" profile="REF_HttProOfficeLan (Office LAN)" filteraction="REF_DefaultHTTPCFFAction (Default content filter action)" size="218" request="0x9d7ae58" url="www.express.com/.../html"
2011:10:26-09:27:03 FPHASG httpproxy[28663]: id="0001" severity="info" sys="SecureWeb" sub="http" name="http access" action="pass" method="GET" srcip="192.168.2.201" dstip="184.31.244.31" user="" statuscode="301" cached="0" profile="REF_HttProOfficeLan (Office LAN)" filteraction="REF_DefaultHTTPCFFAction (Default content filter action)" size="239" request="0x9d7ae58" url="www.express.com/.../html"
2011:10:26-09:27:04 FPHASG httpproxy[28663]: id="0001" severity="info" sys="SecureWeb" sub="http" name="http access" action="pass" method="GET" srcip="192.168.2.201" dstip="184.31.244.31" user="" statuscode="200" cached="0" profile="REF_HttProOfficeLan (Office LAN)" filteraction="REF_DefaultHTTPCFFAction (Default content filter action)" size="20463" request="0x9d7ae58" url="www.express.com/.../html"
2011:10:26-09:27:04 FPHASG httpproxy[28663]: id="0001" severity="info" sys="SecureWeb" sub="http" name="http access" action="pass" method="GET" srcip="192.168.2.201" dstip="184.31.244.31" user="" statuscode="200" cached="0" profile="REF_HttProOfficeLan (Office LAN)" filteraction="REF_DefaultHTTPCFFAction (Default content filter action)" size="4246" request="0x9d00478" url="www.express.com/.../x-javascript"
2011:10:26-09:27:04 FPHASG httpproxy[28663]: id="0001" severity="info" sys="SecureWeb" sub="http" name="http access" action="pass" method="GET" srcip="192.168.2.201" dstip="184.31.243.29" user="" statuscode="304" cached="0" profile="REF_HttProOfficeLan (Office LAN)" filteraction="REF_DefaultHTTPCFFAction (Default content filter action)" size="0" request="0x9d105f8" url="cdn.mercent.com/.../Merchandising"
2011:10:26-09:27:05 FPHASG httpproxy[28663]: id="0001" severity="info" sys="SecureWeb" sub="http" name="http access" action="pass" method="GET" srcip="192.168.2.201" dstip="184.31.244.31" user="" statuscode="200" cached="0" profile="REF_HttProOfficeLan (Office LAN)" filteraction="REF_DefaultHTTPCFFAction (Default content filter action)" size="2341" request="0x9d00478" url="www.express.com/.../x-javascript"
2011:10:26-09:27:05 FPHASG httpproxy[28663]: id="0001" severity="info" sys="SecureWeb" sub="http" name="http access" action="pass" method="GET" srcip="192.168.2.201" dstip="184.31.244.31" user="" statuscode="200" cached="0" profile="REF_HttProOfficeLan (Office LAN)" filteraction="REF_DefaultHTTPCFFAction (Default content filter action)" size="15029" request="0x9d00478" url="www.express.com/.../x-javascript"
2011:10:26-09:27:05 FPHASG httpproxy[28663]: id="0001" severity="info" sys="SecureWeb" sub="http" name="http access" action="pass" method="GET" srcip="192.168.2.201" dstip="184.31.244.31" user="" statuscode="200" cached="0" profile="REF_HttProOfficeLan (Office LAN)" filteraction="REF_DefaultHTTPCFFAction (Default content filter action)" size="1157" request="0x9d00478" url="www.express.com/.../x-javascript"
2011:10:26-09:27:05 FPHASG httpproxy[28663]: id="0001" severity="info" sys="SecureWeb" sub="http" name="http access" action="pass" method="GET" srcip="192.168.2.201" dstip="184.31.244.31" user="" statuscode="200" cached="0" profile="REF_HttProOfficeLan (Office LAN)" filteraction="REF_DefaultHTTPCFFAction (Default content filter action)" size="5213" request="0x9d00478" url="www.express.com/.../css"
2011:10:26-09:27:23 FPHASG httpproxy[28663]: id="0001" severity="info" sys="SecureWeb" sub="http" name="http access" action="pass" method="GET" srcip="192.168.2.110" dstip="209.16.121.8" user="" statuscode="200" cached="0" profile="REF_HttProOfficeLan (Office LAN)" filteraction="REF_DefaultHTTPCFFAction (Default content filter action)" size="1149" request="0x9d10b98" url="now.baynews9.com/.../tnpl_user_v2_0;jsessionid=52EB46D4EF84FA515C8CE5E55743E073

That shows only two seconds of log lines, so I ran my own test on the express.com site.  The first time, it appears that the site sent some bad code.  The second time, still watching the access in the Web Filtering Live Log, the site just flew up.  I had closed the other window with the unsuccessful session; reopening it resulted in the same lockup.  I have no issues now at all reaching the site in a new window.

This is probably an issue with their site.  In any case, there are no settings to change in the Astaro, and the express.com site works fine with proxied access.

Cheers - Bob
PS Then again, I just ran into a thread on the German Forum and I see the identical behavior with http://22tracks.com/ams/.

I can post more code if needed.  It isn't just express.com.  All website are slow.  

I've got Sophos Support looking into the problem, however it seems that they're stumped as well.  They think it might be a memory leak and are moving the problem up the ranks.  I'll keep you posted on what they find.

Further research on the 22tracks.com issue reveals that it happens even on a computer not behind a proxy.

Other than the express.com site, what other sites fail to load when first attempted, but then work fine thereafter - even after deleting temporary internet files in the browser?

Cheers - Bob

Still no word on what the problem is from Astaro Support.  They had to escalate the issue.

...Could there be something missing or is this just something 8.201?...

Hm, still on 8.201 ? This version has several issues in http proxy. You should update to 8.202, if not happened already in the meantime. This may solve a lot of your issues...

No we're on 8.202

I'm seeing this too.  We have a 10Mb X 10Mb line and the Astaro 8.202.iso (500Mb) took around an hour to come down.  Users are also seeing image downloads take longer.

I have Just disabled IPS and things get quicker. 30 min to download 500Mb.

I've got multiple clients on ASG120 and ASG220 Appliances that once Web Security is Enabled the Web Surfing slows down to a crawl.  I upgraded a client from a 256k T1 to a 8Mbps Broadband Cable connection and they didn't see any improvement on Internet Speeds.  If I disable the Web Security, the Internet Speeds are blazing.  I've tried disabling AV Scanning and Caching which seems to help, but it still isn't that great.

Could there be something missing or is this just something 8.201?

My Config is as follows.

Web Security Enabled - Transparent Mode - Authentication is None.
URL Filtering is Allow by Default - Block Spyware Communication
We then have certain categories set to block

I have this same setup at other except for the Authentication being set at Agent.

Any suggestions would be helpful. It is definitely Web Security slow it down as when it is off the Internet is fast.

 part of your issue is the 1xx or 2xx appliance.  8.2x is HIGHLY cpu bound and the little via cpu in those appliances are not strong at all.  Trying to run ips and http at the same time is going to burden those little boxes.  I would suggest either an appliance upgrade or roll your own hardware and use the iso on your own stuff.