Thread Info
  • State Not Answered
  • Locked Locked
  • Replies 9 replies
  • Subscribers 1 subscriber
  • Views 13207 views
  • Users 0 members are here
Options
Suggested
This discussion has been locked.
You can no longer post new replies to this discussion. If you have a question you can start a new discussion

Web filter and NetFlix.

RIGeek
So recently I made the jump from pfSense to Sophos UTM at home for my core firewall. I'm having an issue with NetFlix but before I get into it. I've already done days of troubleshooting, google searches and such. 

The issue is seen only with netflix apps. Samsung Smart TV app, Android and iOS app, all seem to not work with the Sophos UTM Web Filter in transparent mode. 

Here is what I've done so far. I've set a static IP on my TV, made an exception rule for that IP that will exclude it from everything I could check (Authentication / Caching / Block by download size / Antivirus / Extension blocking / MIME type blocking / URL Filter / Content Removal / SSL scanning / Certificate trust check / Certificate date check). A bit excessive but hey I was still having issues after just excluding it from antivirus, URL filter and SSL scanning. 

Once I did that the NetFlix app on the TV will work but fails with a very generic message after streaming anywhere from 30 seconds to 3 minutes into the video. 

At this point I started with Google searches. I found the suggested exception list so I added that, excluding from ALL filtering and such. This was the filter: 

Matching these URLs:	^https?://([A-Za-z0-9.-]*\.)?nflximg\.com\.?/

^https?://([A-Za-z0-9.-]*\.)?nflxvideo\.net\.?/

^https?://([A-Za-z0-9.-]*\.)?netflix\.com/

^https?://[\d+(\.\d+){3}/]*/[0-9]{8}\.ism

^https?://[\d+(\.\d+){3}/]*/[0-9]{9}\.ism

^https?://[\d+(\.\d+){3}/]*/[0-9]{10}\.ism

^https?://([A-Za-z0-9.-]*\.)?netflix-*.vo.llnwd.net/.*

^https?://secure\.netflix\.com/*

^https?://uiboot\.netflix\.com/*

^https?://nintendo.nccp.netflix.com/

^https?://customerevents.netflix.com/

^https?://api-global.netflix.com/

^https?://([A-Za-z0-9.-]*\.)?nflxvideo.net/

^https?://ipv6_1.lagg0.c[0-9]{1,3}.[A-Za-z][A-Za-z][A-Za-z][0-9]{1,3}.ix.nflxvideo.net/

^https?://([A-Za-z0-9.-]*\.)?nflximg\.net\.?/

^https?://cdn[0-9].nflximg.com/

^https?://cdn[0-9].nflximg.net/

^https?://108.175.[0-9]{1,3}.[0-9]{1,3}/\?o=([A-Za-z0-9.-]*\.)?

or Coming from these user agents:	Mozilla/5.0 (compatible; U; Nflx) Netflix/[0-9].[0-9].[0-9]

Gibbon/[0-9]{1,4}.[0-9]{1,4}.[0-9]{1,4}/[0-9]{1,4}.[0-9]{1,4}.[0-9]{1,4}: Netflix/[0-9]{1,4}.[0-9]{1,4}.[0-9]{1,4} (DEVTYPE=NFX[0-9]{1,4}-[0-9]{1,4}-; CERTVER=[0-9]{1,4})


After that, still no change at all. The app still randomly fails. 

Next I disabled scanning of all HTTPS. Still fails.

Lastly I disabled web filtering all together, NetFlix works just fine on all devices.

Rebooted the UTM, tried again with web filter on. Fails after 1-3mins with the same generic error. Turn Web Filter back off, it works just fine.

At this point I do not see any module blocking any traffic to or from my TV. I've had (at one point) 5 or 6 different live monitors up. None show anything being blocked but the NetFlix app still fails.


Thanks all.


Oh, the hardware I'm using for this UTM:

Supermicro 1U X7SPA-H
Intel Atom D525
8GB DDR3
2x Intel 82571EB Gigabit NIC
2x Intel 82574L Gigabit NIC


This thread was automatically locked due to age.
  • 0
    Here is a .pcap of the issue https://cloud.n1mjf.net/index.php/s/gVrjf1BOcLlyGeQ

    I will add that I have added the following to my exception list right before this test:  ^https?://23.246.[0-9]{1,3}.[0-9]{1,3}/\?o=([A-Za-z0-9.-]*\.)?
  • 0 in reply to RIGeek
    I have been having some weird issues with Netflix on my Roku recently where it wouldn't work but for a few seconds or minutes.  I just recently made sure all the exceptions were correct for web filtering as well as making sure the roku itself was an exception from Web Protection, Application Control, Country Blocking and gave it full access in the Firewall.

    Matching these URLs:

    ^https?:\/\/([A-Za-z0-9.-]*\.)?nflximg\.com((?=(.))([^\s])*|)*
    ^https?:\/\/([A-Za-z0-9.-]*\.)?nflxvideo\.net((?=(.))([^\s])*|)*
    ^https?:\/\/([A-Za-z0-9.-]*\.)?netflix\.com((?=(.))([^\s])*|)*
    ^https?:\/\/([A-Za-z0-9.-]*\.)?nflximg\.net((?=(.))([^\s])*|)*
    ^https?:\/\/([A-Za-z0-9.-]*\.)?nflxvideo.net((?=(.))([^\s])*|)*
    ^https?:\/\/([A-Za-z0-9.-]*\.)?netflix-*.vo.llnwd.net((?=(.))([^\s])*|)*
    ^https?:\/\/[\d+(\.\d+){3}/]*/[0-9]{8}\.ism((?=(.))([^\s])*|)*
    ^https?:\/\/[\d+(\.\d+){3}/]*/[0-9]{9}\.ism((?=(.))([^\s])*|)*
    ^https?:\/\/[\d+(\.\d+){3}/]*/[0-9]{10}\.ism((?=(.))([^\s])*|)*
    ^https?:\/\/ipv6_1.lagg0.c[0-9]{1,3}.[A-Za-z][A-Za-z][A-Za-z][0-9]{1,3}.ix.nflxvideo.net((?=(.))([^\s])*|)*
    ^https?:\/\/108.175.[0-9]{1,3}.[0-9]{1,3}\?o=([A-Za-z0-9.-]*\.)?
    ^https?:\/\/198.38.[0-9]{1,3}.[0-9]{1,3}\?o=([A-Za-z0-9.-]*\.)?
    ^https?:\/\/198.45.[0-9]{1,3}.[0-9]{1,3}\?o=([A-Za-z0-9.-]*\.)?
    ^https?:\/\/69.53.[0-9]{1,3}.[0-9]{1,3}\?o=([A-Za-z0-9.-]*\.)?
    ^https?:\/\/23.246.[0-9]{1,3}.[0-9]{1,3}\?o=([A-Za-z0-9.-]*\.)?


    OR Coming from these user agents:

    Gibbon/2015.1.1/2015.1.1: Netflix/2015.1.1 (DEVTYPE=RKU-42***-; CERTVER=0)
    Mozilla/5.0 (compatible; U; Nflx) Netflix/[0-9].[0-9].[0-9]
    Gibbon/[0-9]{1,4}.[0-9]{1,4}.[0-9]{1,4}/[0-9]{1,4}.[0-9]{1,4}.[0-9]{1,4}: Netflix/[0-9]{1,4}.[0-9]{1,4}.[0-9]{1,4} (DEVTYPE=NFX[0-9]{1,4}-[0-9]{1,4}-; CERTVER=[0-9]{1,4})


    Let me know if this helps.

    https://ipinfo.io/AS2906
  • 0 in reply to JeffreyCase
    I just tried that and within 5 mins Netflix failed twice. [:(]

    The odd thing is, I set a static IP for my TV and put an exception for that ip and the web filter log does not show a single block for my TV. Everything is listed as 'pass'. 

    Still, my TV can stream Netflix for hours without web filter. With it, 1-3 mins.
  • 0
    Generally, most people, depending on the device, will bypass the Web Protection features completely.  This depends on if you are using transparent mode.  If using standard mode, you may need to perform additional tasks.  I, and many others, have found it too much of a pain to try and put in proxy exceptions.  The main problem is trying to keep up with all the random content delivery networks and ip ranges that change constantly.  If it is your TV or a streaming device, set the ip to static, go to "Web Protection -> Filtering Options -> Misc -> Transparent Mode Skip List -> enter your devices there"  That should help.
  • 0 in reply to Euphrates_01
    Generally, most people, depending on the device, will bypass the Web Protection features completely.  This depends on if you are using transparent mode.  If using standard mode, you may need to perform additional tasks.  I, and many others, have found it too much of a pain to try and put in proxy exceptions.  The main problem is trying to keep up with all the random content delivery networks and ip ranges that change constantly.  If it is your TV or a streaming device, set the ip to static, go to "Web Protection -> Filtering Options -> Misc -> Transparent Mode Skip List -> enter your devices there"  That should help.


    Thank you but yes, the first thing I did was go into my 2012 domain controller (that is also my DHCP server), set a static for the TV and made an exception rule for not only the web filter but every check. Still, 1 to 3 mins of streaming and the TV stops to complain about network connectivity. NOTHING is being reported as being dropped from any module on the UTM but packet captures show packets going unanswered randomly. 

    The odd thing is, I put the web filter into standard mode and now the TV works just fine. In transparent mode though, no streaming netflix from my TV, tablet or anything else that works off of an app.

    I have been playing with this for a week and I am also a certified Sophos engineer and a partner Sophos distributer, professionally. This setup is purely home and home lab environment so I'm using the home license and software install. I put the specs above though, it's not crap hardware. It's a new Supermicro D525 Atom server board. When streaming Netflix CPU load goes up to about 10%, so not even maxing out a single core.
  • 0
    Lastly, I don't want to just disable it. I would go back to my custom OpenBSD firewall with Squid, Snort and postfix as a proxy.
  • 0
    If you create an exception for everything coming from that host, the traffic is still routed through the httpproxy, however the proxy does not do most of things it normally does.

    If you put the host into the transparent mode skiplist the the traffic is not routed to the httpproxy.  Instead it relies on firewall rules.

    Most people using netflix/roku/xbox/etc end up putting their devices on the skiplist.
  • 0
    Hi,

    i'm not getting netflix at my PS4 at work. Chromecast and IOS works without any problem.
    Any ideas?
  • 0
    this worked for me
    ^https?://108.175.[0-9]{1,3}.[0-9]{1,3}/\?o=([A-Za-z0-9.-]*\.)?

    family very happy happy
Unfiltered HTML