Web Proxy Local content filtering database?

They said 8.200 at end of Q1 2011 [:)]

We're almost there.

Hi,

In 8.100, it can be enabled with confd client, the node is http->sc_local_db. 
  It takes one of the following arguments:
  
  1)      none - default, don't use local categorization at all (use TCP, as we did before)
  2)      disk - use local Database, but use it only on disk. Useful for boxes with little RAM, like 120/220 etc. – depending on the load of the box and how big the internet connection is, sacrifices might need to be made for disk I/O, (like logging/reporting) but I’ve not experienced a need for this on my own 120 at all.
  3)      mem - use local Database, and keep it in memory for faster access. Note that this option requires up to 1GB  RAM on database reload, so this option should ONLY be used on larger boxes like 425/525/625 or you risk nuking a lower-memory box without sufficient resources.
  
  After you have changed this setting, restart the http proxy with '/var/mdw/scripts/httpproxy restart'. The proxy should start to fetch the database.  You can watch that in /var/chroot-http/var/pattern/sfcontrol. The database will be approx. 350MB in size when finished. After finishing the download the proxy should use the local database.
  Please be aware, during the download time while the database is being transferred, all CFF requests will currently fail, since the proxy immediately tries to use the not-yet-downloaded database and until it is downloaded you get errors (this is a known bug, but hey, beta feature!). So depending on the line speed of the client and how long it will take them to download the 350MB of data, they will have a surfing outage.

Hope this gives you something you can use for now.

Thanks Angelo

I have a question than in regard to this. How does the database stay up to date once it finishes downloading? Will it cause delays when it does the update? Will it be fast when doing it with mem? What about with disk that is where I could see the biggest issue for the updates for lets say a 320 which sounds like it needs to be run from disk. If the 320 has 2 gig will that enable to run it in memory? 

I know so many questions this one opened [:)]

Last question is and maybe someone else can answer possibly. Would you run the command obviously as root be: http->sc_local_db mem?

I have a software appliance and it has 8 gigs of ram so should be sufficient for it.

Thanks

Very cool!

I am hoping that this is dynamically updating database. Meaning that the proxy will query the cff servers if it can't find something locally and if found, the results would be appended to the existing database. Sure would hate to download a fresh database once a week or whatever the release interval is.

8.2 sure would be exciting to beta test[;)]

Very cool, I will enable this on my home 8.100 and report any results (memory usage, speed increase, crash).

Thanks!

Step by step (based on what AngeloC said)


1) enable SSH for both loginuser && root in the Management > System Settings > Shell Access
2) ssh to ASG and login with loginuser
3) su root
4) cc set http sc_local_db [Your Choice] (without the []) for me its: mem
5) /var/mdw/scripts/httpproxy restart
6) wait until it complete downloading ~300Mb (for me it downloaded at 8Mbps).

7) Enjoy,

Memory usage as bumped from 27% to 35% of 3.7Gb (I have 4Gb installed) not bad at all. (actually that's ~296Mb) Pretty close to the 300mb downloaded.

For me this has been AMAZING!, web browsing became snappy and responsive! just like if ASG proxy wasen't in the way (but its still there, I tested with EICAR).

I even removed the exception for google, (added because googlemap was just very slow), and google map is now full speed

Thanks a lot!

The updates are done pattern style every few minutes. Worst case, you'll have a 15 minute window of disparity between a live result and an on disk result. However, as always there is a choice. Overloaded smaller boxes dont have the memory for this feature, and if they are already tasked with intensive reporting or logging/accounting you'll stress the disk even further. But we feel that giving you the most options is the best way!

As to the delay, its not weekly or even daily, so there is no downside there. enjoy the feature, it will be WebAdmin-official and integrated in 8.200.

Warper yes, good questions. Database isn't too large, as mentioned, a few hundred megs. For a 320 with 2gig ram, this would really depend on what else your doing on the unit, if you have constantly 512 megs free, go for it, in my own testing, there isnt a huge difference between disk and mem unless the disk is already quite taxed.

Oh , feel free to post feedback, I'm sure sven and others would be interested in your results!

Ok so I couldn't wait for the next beta either so I setup the database on the disk since my home astaro is ancient with 1GB ram. So far its chugging along with all services including vpn, mail, http proxy and ips. I have attached a couple of screenshots for virtual memory usage of the http proxy below. I was swapping at 1gb already so this might become a problem after a few days of running but I will deal with it at that time[;)]

So far my time is from 0-250 ms for requests. Not bad but I have a low latency connection at home anyways and I usually stayed around 300-500ms range before the local database conversion.

 Some statistics from the http proxy logs:

SNIP--------statuscode="403" cached="0" profile="REF_DefaultHTTPProfile (Default Proxy)" filteraction="REF_DefaultHTTPCFFAction (Default content filter action)" size="6706" time="0 ms" request="0x5d4621c8" url=---------SNIP

and another 

SNIP----"REF_DefaultHTTPCFFAction (Default content filter action)" size="826" time="110 ms" request="0x5d415e98" url="http://as1.suitesmart.com/_f5e.swf" exceptions="" error="" country="United States" category="204" reputation="malicious"

you are only using 270k of swap..that's excellent..how did you get the cff database pulled down?