Which Intel Core processor (Haswell) for 120+ Mbps with IPS and web filtering

So if I were try to draw a conclusion from this for improving IPS performance, what tips would I draw? Conceptually it sounds like we need to force/trick the CPU into running at full speed because modern Intel CPU's are too aggressive in scaling back for power consumption reasons.

What suggestions would you give for:

1) Bare Metal (Appliance or Software)
2) Virtualised (ESXi or Hyper-V)

So if I were try to draw a conclusion from this for improving IPS performance, what tips would I draw? Conceptually it sounds like we need to force/trick the CPU into running at full speed because modern Intel CPU's are too aggressive in scaling back for power consumption reasons.

What suggestions would you give for:

1) Bare Metal (Appliance or Software)
2) Virtualised (ESXi or Hyper-V)

Hi Drew,

What connection speeds (LAN->DMZ and/or Internet) are you looking at, and how many users?

fwiw, this isn't just the CPU's fault, it's also the OS Kernel (Linux) for using an obsolete scaling algorithm. 
In fact, the CPUs now perform better at the same idle power with any of the algorithms, so the CPUs are actually much better than 3 years ago when there WAS a big power penalty for not cutting the idle clockspeed.
Even Windows 8.1 has the same problem, at least when on 'balanced' mode. I haven't tried 'performance' mode on Windows yet, but I think you still have to override the idle settings. 'Balanced' mode won't even let you change the idle in Windows.


Assuming good NICs (Intel, Broadcom)...

For under 100mbps and just a few users, any i3 is probably fine. A faster CPU would improve the A/V performance, but IPS shouldn't be a bottleneck.
A new Avoton (Atom) system might be OK also, but I haven't seen one actually tested.

For up to 300mbps, the fastest i3's should be fine for couple users, and an i5-4670 should handle several to many users at that speed.
For LOTS of users at that speed, an i7-4771 or the fastest Haswell Xeons (but note the clock speeds are lower on the Xeons). Maybe even Active-Active clustering if the CPU loads are still too high, and/or create some IPS exceptions for local/DMZ traffic.

Based on my testing, it is not possible to get more than about 300mbps of HTTP traffic through the IPS for a single user, on ANY CPU (nothing really has a faster clock speed than the i5-4670).
For multiple users, the multiple cores should help the multiple Snort processes achieve higher total bandwidth, although I have not personally tested this myself.

HTTP seems to be the worst case for the IPS (presumably lot more Snort tests & rules for HTTP). Other protocols should be faster based on my Iperf tests, but I don't have a fileserver fast enough to confirm that.

Another user reported 500-600mbps through the IPS on a Xeon to his DMZ with a file server protocol and multiple users; I don't remember if it was NFS or CIFS though. I wouldn't be surprised if an i5 could achieve that as well.

All of the above holds true for virtualized as well, but add more cores if you'll be sharing the CPU with other VMs. I don't know how much of a performance penalty ESXi or Hyper-V add. 
My understanding is the penalty should be small in ESXi if you use modern server-grade NICs and the VMXNet3 drivers.

Maybe William can speak for Hyper-V?

For over 200mbps http, if you don't have a lot of users, or a busy proxy / A/V, you're going to have to 'trick' the CPU by either using the 'performance' setting I mentioned earlier, or doing the equivalent in the BIOS and/or ESXi.
Again, there's no power penalty at idle for doing this, and the load power shouldn't be significantly worse as with the faster setting it'll get back to idle more quickly, so it might even be more efficient. Worse case, it might use a few watts more at medium load.

Barry

Maybe William can speak for Hyper-V?

For over 200mbps http, if you don't have a lot of users, or a busy proxy / A/V, you're going to have to 'trick' the CPU by either using the 'performance' setting I mentioned earlier, or doing the equivalent in the BIOS and/or ESXi.
Again, there's no power penalty at idle for doing this, and the load power shouldn't be significantly worse as with the faster setting it'll get back to idle more quickly, so it might even be more efficient. Worse case, it might use a few watts more at medium load.

Barry

I've not tested barry's mods yet in hyper-v(have not had the time) but in reality hyper-v mimics native with the exception of not being able to allocate actual ghz(liek you can with vmware).  Once you get to more than two core in hyper-v you start running into the scaling issues that are being discussed here..because of the way core/ghz are allocated in hyper-v this fix should work because of how cores/ghz is allocated..which closely mimics native.  I'll test these mods and write back..it should work the same meaning i can throw 4 vcpus at a vm and NOT run into a performance wall...[:)]

...'trick' the CPU by either using the 'performance' setting I mentioned earlier, or doing the equivalent in the BIOS and/or ESXi.
Again, there's no power penalty at idle for doing this...

To be clear, there's no penalty on Haswell (and according to the Linux kernel guys, there shouldn't be a significant penalty on Ivy Bridge or Sandy Bridge either, but I haven't tested them).

There WOULD be a (probably significant) power penalty on older Intel CPUs, and probably on many AMDs as well.

Barry

...'trick' the CPU by either using the 'performance' setting I mentioned earlier, or doing the equivalent in the BIOS and/or ESXi.
Again, there's no power penalty at idle for doing this...

To be clear, there's no penalty on Haswell (and according to the Linux kernel guys, there shouldn't be a significant penalty on Ivy Bridge or Sandy Bridge either, but I haven't tested them).

There WOULD be a (probably significant) power penalty on older Intel CPUs, and probably on many AMDs as well.

Barry