Web Proxy Local content filtering database?

Hi,

In 8.100, it can be enabled with confd client, the node is http->sc_local_db. 
  It takes one of the following arguments:
  
  1)      none - default, don't use local categorization at all (use TCP, as we did before)
  2)      disk - use local Database, but use it only on disk. Useful for boxes with little RAM, like 120/220 etc. – depending on the load of the box and how big the internet connection is, sacrifices might need to be made for disk I/O, (like logging/reporting) but I’ve not experienced a need for this on my own 120 at all.
  3)      mem - use local Database, and keep it in memory for faster access. Note that this option requires up to 1GB  RAM on database reload, so this option should ONLY be used on larger boxes like 425/525/625 or you risk nuking a lower-memory box without sufficient resources.
  
  After you have changed this setting, restart the http proxy with '/var/mdw/scripts/httpproxy restart'. The proxy should start to fetch the database.  You can watch that in /var/chroot-http/var/pattern/sfcontrol. The database will be approx. 350MB in size when finished. After finishing the download the proxy should use the local database.
  Please be aware, during the download time while the database is being transferred, all CFF requests will currently fail, since the proxy immediately tries to use the not-yet-downloaded database and until it is downloaded you get errors (this is a known bug, but hey, beta feature!). So depending on the line speed of the client and how long it will take them to download the 350MB of data, they will have a surfing outage.

Hope this gives you something you can use for now.

Thanks Angelo

I have a question than in regard to this. How does the database stay up to date once it finishes downloading? Will it cause delays when it does the update? Will it be fast when doing it with mem? What about with disk that is where I could see the biggest issue for the updates for lets say a 320 which sounds like it needs to be run from disk. If the 320 has 2 gig will that enable to run it in memory? 

I know so many questions this one opened [:)]

Last question is and maybe someone else can answer possibly. Would you run the command obviously as root be: http->sc_local_db mem?

I have a software appliance and it has 8 gigs of ram so should be sufficient for it.

Thanks

Very cool!

Very cool!

I am hoping that this is dynamically updating database. Meaning that the proxy will query the cff servers if it can't find something locally and if found, the results would be appended to the existing database. Sure would hate to download a fresh database once a week or whatever the release interval is.

8.2 sure would be exciting to beta test[;)]

Very cool, I will enable this on my home 8.100 and report any results (memory usage, speed increase, crash).

Thanks!

Step by step (based on what AngeloC said)


1) enable SSH for both loginuser && root in the Management > System Settings > Shell Access
2) ssh to ASG and login with loginuser
3) su root
4) cc set http sc_local_db [Your Choice] (without the []) for me its: mem
5) /var/mdw/scripts/httpproxy restart
6) wait until it complete downloading ~300Mb (for me it downloaded at 8Mbps).

7) Enjoy,

Memory usage as bumped from 27% to 35% of 3.7Gb (I have 4Gb installed) not bad at all. (actually that's ~296Mb) Pretty close to the 300mb downloaded.

For me this has been AMAZING!, web browsing became snappy and responsive! just like if ASG proxy wasen't in the way (but its still there, I tested with EICAR).

I even removed the exception for google, (added because googlemap was just very slow), and google map is now full speed

Thanks a lot!