Astaro eating my bandwidth

Astaro doesn't use google services, only Amazon EC2 for updates.  Your easiest bet for visibility as to what is going on is to use the reporting within Astaro.  Can you narrow the majority of traffic down to a particular service/port?

At a client, I would occasionally see something similar.  It always wound up being somebody leaving a web page with a media stream open, like a looping video.

Just curious, mrlew - if you have the HTTP/S in "Transparent" mode, do you have google in the 'Transparent mode skiplist'?

Cheers - Bob

Just curious, mrlew - if you have the HTTP/S in "Transparent" mode, do you have google in the 'Transparent mode skiplist'?

Cheers - Bob

Transparent mode, Google not in Transparent Mode Skiplist.
Just noticed though that when entering the IPs last week in a browser they all went to google.com now the same IPs don't

just stumbled upon the (admittedly very nice) systems report the ASG sent me. 
... but what do I see...




The system has only been played with and it's not even active as a gateway. To my knowledge I have not approved the update to 8.103 let alone any other "activity", did it download the already or what is all that traffic?
To be frank, I found it a bit unsettling to see this thing be this active, I wasn't aware it'd go around and do all that ^^. Once I know what's going on (or not and I'm just used to it) I'll be less surprised when looking at this.

edit:
found the Up2Date download Interval, so I'm fairly certain it was that. Why so many servers though?

@randfee:  By default, the system will download up2date packages and pattern updates (AV and IPS), unless you configure otherwise at Webadmin>>Management>>up2date>>Configuration Tab.  If you use the http proxy, there is also querying of the content filter database.  Same thing with the Commtouch database and dnsbls if using the SMTP proxy.  This data has to get onto your Astaro somehow, it doesn't just magically osmose.  ;P.

Mrlew, Here's an observation from Alan Toews (Director of Astaro Support Americas) that likely explains what you're seeing, and the exception to create to solve the problem - thanks, Alan!

It is possible that applications within a network can cause download traffic that only occurs on the external interface. For instance, I worked with a customer several weeks ago, where they would see their bandwidth usage peak every hour. It was clear that it was web traffic, bit there was no corresponding bandwidth usage in their web security report. Using the network accounting report, I could see many internet servers associated with the traffic, all owned by Google. When I searched the http log, for one of those IPs, I found repeated requests to something like pack.code.google.com. An application called Google Pack was downloading updates for a variety of applications every hour, on the hour. This app was also installed on numerous machines in their network. The web proxy’s AV filtering was scanning the downloads, and causing the update application on the client to timeout while waiting for AV scanning to finish. It would then wait for the next cycle, and try again.  The result was that bandwidth usage was seen between internet IPs, and the Astaro, but not it wasn’t immediately clear how it was connected to any internal trigger. This is simply because the http proxy initiates connections itself, so the source really was the Astaro’s IP. Because the internal client abandoned the downloads, the bandwidth usage did not get reflected in the HTTP logs.

Creating a whitelist entry to skip the pack.code.google.com domain from AV scanning allowed the downloads to succeed, and stopped them from hammering the ASG bandwidth every hour

Cheers - Bob
PS This reminds me of an unrelated issue; the Yahoo-10MB-problem.  If you use the Astaro SMTP Proxy and send an email larger than 10MB, Yahoo drops the connection ungraciously, and the Astaro will try again.  It's a great way to fill up an outbound pipe! [;)]

Bob,
I don't run SMTP proxy. But it all sounds similar to what may be happening with my 110. 
Attached are images of reports.
Astaro support have said 
"Looking at the data it is very strange and does not appear to be HTTP web requests or anything like that, it is one big long stream. Either someone has hacked your box and is doing wierd stuff with it or there is something else going on here."
They have recommended reimaging the box but I am concerned if the problem is something similar to the Yahoo issue above that all that work will be a waste of time and will simply return again.
Any ideas?

I'm sorry that I confused the situation by mentioning the other problem first.  The additional information you've supplied confirms that Alan's prescription is correct.  You can confirm that by creating an 'Exception' for "Antivirus" for a network 74.125.109.128/25.  If that solves the problem, you'll want to change the exception from a match of fixed IPs to a match of URLs:

Search in the 'Content Filter (HTTP/S)' log for 74.125.109 to see what URLs are associated with those IPs.  If you reread what Alan wrote, you'll see that he found pack.code.google.com, but you likely will find something different.

Please let us know if this resolves your issue.

Cheers - Bob

Bob,
Searching the logs for any of the subnets over the past 30 days found nothing but in looking through the logs I searched for google and found "tools.google.com/.../update2" scattered throughout the daily logs.
I have now set an antivirus exception for tools.google.com to see if this has any effect.
Interestingly if tools.google.com is entered in a browser you end up at "pack.google.com/.../pack_installer.html" So hopefully I am onto something here finally. (with your help of course)

-Lew

genau so ein Ding will ich da auch draufsetzen.... fahre gleich noch zum Elektronikladen, vielleicht haben die nen flachen samt Poti (für Drehzahl) oder gar direkt minimal begrenzten da... inklusive Schutzgitter, dann Dremel ich nachher noch fix das Loch in die Seitenwand.