Thread Info
  • State Not Answered
  • Locked Locked
  • Replies 37 replies
  • Subscribers 4 subscribers
  • Views 76981 views
  • Users 0 members are here
Options
Suggested
This discussion has been locked.
You can no longer post new replies to this discussion. If you have a question you can start a new discussion

Poor download/upload performance

dmitripr
Hi! New user here. 

I've recently installed UTM 9 Home (latest version) on my small box (Atom D2550, 4GB, 32GB SSD, Dual 1GB Broadcom BCM 57788 NICs). I had pfSense installed before, but decided to try Sophos. 

Anyway, after installation I noticed that my speed decreased quite a bit. My ISP is Comcast and I'm paying for a 50/10 line, but during speed tests with direct connection to a PC or through pfSense (same hardware) I was getting more like 120/12. 

With the Sophos installed now I'm getting 45/8.5, and this is with just Firewall protection. If I enable Web protection and IPS the speed is about 43/7.5. What the heck?

I ran top command in the terminal to check CPU load. When IPS is enabled I see that Snort uses 99% of one of the cores (being single-threaded I know that's the limiting factor for me with IPS on). However, without IPS during speed tests (firewall only) the CPU idle stays at about 90%, so the limiting factor doesn't seem to be any of the processes nor the CPU. 

I connected my modem directly to my PC and I was again getting the 120/12 speeds. I connected back to Sophos box and again slow speeds. I went as far as duplicating my PC's MAC address on the external NIC. Still the same slower speed. 

The interesting thing is that during the speedtest (speedtest.net) my download speed (with FW only) stays right at 45mbps, doesn't go above, just a straight line on the graph. As if something is "throttling" the speed. I checked my QoS and no throttling there (I had it there for VoIP QoS, but disabled it). 

I'm out of ideas here. Either something in the Sophos software stack is limiting the speed or something is up with my NICs (but I had pfSense installed on the same exact hardware and was getting the 110/12 speeds, and that's with snort ON, maxing out 1 core).

Any help would be appreciated!

Thanks a lot!


This thread was automatically locked due to age.
  • 0
    as of 9.3 at new installs sxl is the default.  it may still check cff as a backup though.  if you do the cff local memory tweak you'll have to manually undo everything and set the system back to sxl.  The new sxl system also caches lookups in memory so you get the hybrid approach between the cff being in ram(along with the memory leaks it has) and the realtime lookups of sxl.  I leave things alone now on new installs and i have all of my systems using sxl exclusively.

    Owner:  Emmanuel Technology Consulting

    http://etc-md.com

    Former Sophos SG(Astaro) advocate/researcher/Silver Partner

    PfSense w/Suricata, ntopng, 

    Other addons to follow

  • 0
    To set things "back to original" for 9.2 (which uses CFFS by default):
    cc set http sc_local_db none
    cc set http use_sxl_urid 0
    /var/mdw/scripts/httpproxy restart

    To set things "back to original" for 9.3 (which uses SXL by default):
    cc set http sc_local_db none
    cc set http use_sxl_urid 1
    /var/mdw/scripts/httpproxy restart

    As for how to check....
    ps aux | grep urid

    If you see a process called urid then you are using SXL.

    There was a lot of discussion in 9.2 whether to turn on SXL for all UTMs or only some of them.  For various reasons we decided to only turn it on for people using Endpoints (because the Endpoints themselves use SXL).  In 9.3 everyone who is using CFFS will be switched to SXL (local db is not affected).
  • 0
    Thanks, Michael.  Our UTM has Web Control enabled in Endpoint, so I tried ps aux | grep urid and got:

    810      14752  0.0  1.0 133808 10656 ?        S    Nov27   4:14 /var/chroot-http/opt/ws/bin/urid --chroot /var/chroot-http --user 810 --admin /opt/ws/conf/admin.urilist --admin-ip /opt/ws/conf/adminip.kvlist
    root     20158  0.0  0.0   2196   484 pts/1    D+   13:22   0:00 grep urid



    Cheers - Bob
     
    Sophos UTM Community Moderator
    Sophos Certified Architect - UTM
    Sophos Certified Engineer - XG
    Gold Solution Partner since 2005
    MediaSoft, Inc. USA
  • 0
    Thank You Michael.
    Previously I executed the following prior to your reply in an effort to go back Original Settings.

    cc set http sc_local_db none
     /var/mdw/scripts/httpproxy restart

    Today I executed 
     ps aux | grep urid                                         810       5152  0.1  0.5 133976 10888 ?        Ss   Nov30   6:03 /var/chroot-http/opt/ws/bin/urid --chroot /var/chroot-http --user 810 --admin /opt/ws/conf/admin.urilist --admin-ip /opt/ws/conf/adminip.kvlist
    root     32626  0.0  0.0   3612   704 pts/0    S+   12:02   0:00 grep urid

    Thus I do NOT need to execute the following right ?
    cc set http use_sxl_urid 0
     /var/mdw/scripts/httpproxy restart
  • 0
    Michael "If you have turned on the Endpoint Protection feature (even if you are not using Endpoints) then you are using SXL."

    Is it just turning on the Endpoint Protection Only or with WebControl and is it a must to enable the "Scan traffic on both gateway and endpoint"

    Hopefully in future all these would be Visible in WebGUI rather than remember these rules to know what type of categorization method.

    Thank You.
  • 0
    I executed the following on Sophos UTM 9.209-8
    /home/login # cc set http sc_local_db none
    1
    /home/login # cc set http use_sxl_urid 0
    1
    /home/login # /var/mdw/scripts/httpproxy restart
    :: Restarting httpproxy
    :: Stopping httpproxy                                                done
    :: Starting httpproxy                                                done

    /home/login # ps aux | grep urid
    root      5589  0.0  0.0   3608   748 pts/1    S+   12:32   0:00 grep urid

    - I have End Point Protection Enabled all along.
    - I have Web Control under End Point Protection Enabled all along.
    - I have Scan traffic on both gateway and endpoint Enabled all along.

    Thus I am back to Original Settings for Sophos UTM 9.209-8 right?
    AND
    I am using the SXL because I have those End Point Protection, Web Control, Scan at both Gateway and Endpoint Enabled.
  • 0
    Alvin,
    as i understand Michael, you have to execute
    cc set http use_sxl_urid 1
    again. Then you'll see the urid process.

    I think because you switched the parameters already under the hood you did override the settings from Endpoint Protection etc. So you have to enable sxl again on console.

    Regards, Karsten
  • 0 in reply to Sascha Paris
    Besides of that I wonder why you should get double bandwidth as you pay for, my first guess based on your described behaviour would be, that you activated QoS incl. the "download equalizer" function on some interfaces - most likely the WAN Interface ?

    [8-)]


    if his isp does a short bursting for the first 20-60 megs(there are some cable operators that do this) that's how that doubling of CIR is achieved most likely

    Owner:  Emmanuel Technology Consulting

    http://etc-md.com

    Former Sophos SG(Astaro) advocate/researcher/Silver Partner

    PfSense w/Suricata, ntopng, 

    Other addons to follow

  • 0 in reply to Sascha Paris
    I wouldn't give too much on those http ping times - this heaviliy depends on which test site is choosen in the background and how your ISP priorizes / handles traffic to this destination (same issue with speedtest.net), and how heavy this site is under load. With a local testsite hosted by my ISP tested with speedtest.net I get in the middle of the night ping times of 9ms, over the day and any random choosen site (usually not the nearest) i sometimes also get times >200ms. This figure is complete nonsense in my eyes and may be useful maybe under controlled lab enviroments to do perftests, but not via Internet [;)]

    My simple philosophy: If websurfing feels smooth, everything is ok.


    the http proxy badly distorts the http ping tests in the speed testing.  if you are truly concerned about the pings you have to turn http proxy completely off.

    Owner:  Emmanuel Technology Consulting

    http://etc-md.com

    Former Sophos SG(Astaro) advocate/researcher/Silver Partner

    PfSense w/Suricata, ntopng, 

    Other addons to follow

  • 0 in reply to KKnecht
    Alvin,
    as i understand Michael, you have to execute
    cc set http use_sxl_urid 1
    again. Then you'll see the urid process.

    I think because you switched the parameters already under the hood you did override the settings from Endpoint Protection etc. So you have to enable sxl again on console.

    Regards, Karsten


    correct.  Once you monkey with things you have to execute the above to get the correct processes going again.

    Owner:  Emmanuel Technology Consulting

    http://etc-md.com

    Former Sophos SG(Astaro) advocate/researcher/Silver Partner

    PfSense w/Suricata, ntopng, 

    Other addons to follow

Unfiltered HTML