This discussion has been locked.
You can no longer post new replies to this discussion. If you have a question you can start a new discussion

Master List of Web Exceptions

Many Greetings!
I have gathered and put together working HTTP/S proxy rule sets for allowing many different online services to function without the need for port forwarding, provided that you've setup the firewall to allow all outgoing connections on both your 'Internal' and IPv6 Broker interfaces.
Web Protection -> Web Filtering -> Exceptions
For each of these, I have the following setup with these specific exceptions (skips, generally everything except Caching and Logging):

Authentication / Block by download size / Antivirus / Extension blocking / MIME type blocking / URL Filter / Content Removal / SSL scanning / Certificate Trust Check / Certificate Date Check / Do not display Download/Scan progress page

These are for online gaming services and even HTTPS services (where the client may throw SSL certificate errors due to it not obeying trusted root certificate on the system)... So far, they all work for me with no errors since I've created these proxy rule-sets. I hope they will become of use to even you.
If you have any that you have created for services not listed, please post it and I will include it in the post below!



This thread was automatically locked due to age.
  • this was very helpful and worked great for Blizzard...

    Does anyone know if League of Legends may also require an exceptions list for downloads/updates?

    I don't play it, but my sons do.
  • would anyone know how to deal with the downloader for ventrillo?

    seems to generate a URL like the following for the client software download, but no matter how I format the exception, it seems to get blocked:

    Ventrilo - Download

    I've tried:

    ^http://*.\ventrillo\.com/
    ^http://*.\ventrillo\.com/*
    ^http://*.\ventrillo\.com/*.*
    ^http://[A-Za-z0-9.-]*\.ventrillo\.com\*


    just can't get it to work... the syntax is strange.
  • would anyone know how to deal with the downloader for ventrillo?

    seems to generate a URL like the following for the client software download, but no matter how I format the exception, it seems to get blocked:

    Ventrilo - Download

    I've tried:

    ^http://*.\ventrillo\.com/
    ^http://*.\ventrillo\.com/*
    ^http://*.\ventrillo\.com/*.*
    ^http://[A-Za-z0-9.-]*\.ventrillo\.com\*


    just can't get it to work... the syntax is strange.


    Just tested this myself and it worked alright, no problems. I don't have any special exceptions. 

    Did you try checking the logs? Maybe it's not web protection that's causing your issue.
  • Just tested this myself and it worked alright, no problems. I don't have any special exceptions. 

    Did you try checking the logs? Maybe it's not web protection that's causing your issue.



    ok, so the logs would show the following (srcip changed ):

    /var/log/http.log:2014:12:17-16:18:14 sophos httpproxy[25430]: id="0064" severity="info" sys="SecureWeb" sub="http" name="web request blocked, forbidden file extension detected" action="block" method="POST" srcip="x.x.x.x" dstip="64.34.172.91" user="" ad_domain="" statuscode="403" cached="0" profile="REF_DefaultHTTPProfile (Default Web Filter Profile)" filteraction="REF_DefaultHTTPCFFAction (Default content filter action)" size="2697" request="0xe0e36088" url="http://dlx1.ventrilo.com/dl.php?client_windows_x64&8882319240912" exceptions="" error="" authtime="0" dnstime="475" cattime="146" avscantime="3655" fullreqtime="284777" device="0" auth="0" country="United States" reputation="neutral" category="105" reputation="neutral" categoryname="Business" reason="extension" extension="exe" 

    eventhough I had an exception created to allow downloading of exe and msi files such as (to disable extension blocking):

    ^http://[A-Za-z0-9.-]+\.*\.*/.*\.exe
    ^http://[A-Za-z0-9.-]+\.*\.*/.*\.msi

    which seemed odd as I already had "exe" type excluded from blocking; however, I had to add the following to get it working:

    ^http://[A-Za-z0-9.-]+\.*\.*/.*\.*

    which is a little concerning to me...  not so certain why it would not allow it previously, was this because of some type of website redirect happening?
  • The URL in the log doesn't have EXE in it, hence it wasn't matching.

    Use this site to test your regex: RegExr: Learn, Build, & Test RegEx
  • The URL in the log doesn't have EXE in it, hence it wasn't matching.

    Use this site to test your regex: RegExr: Learn, Build, & Test RegEx



    hey, that's kinda cool.. thanks!
  • Hi

    You can add Origin, Electronic Arts to your list.


    ^http://akamai.cdn.ea.com
    ^http://heartbeat.dm.origin.com
    [:)]

    Proxmox | AMD Ryzen 7 7700 | XG V21 - 6GB RAM, 2 vNIC WAN, LAN

  • Great news! I've managed to get Netflix working 100% on the Xbox 360!!
    Make sure that you have a Netflix exception rule setup, skipping ALL checks (except for Caching)
    Matching these URLs:
    ^https?://([A-Za-z0-9.-]*\.)?nflximg\.com\.?/
    ^https?://([A-Za-z0-9.-]*\.)?nflxvideo\.net\.?/
    ^https?://([A-Za-z0-9.-]*\.)?netflix\.com/
    ^https?://[\d+(\.\d+){3}/]*/[0-9]{8}\.ism
    ^https?://[\d+(\.\d+){3}/]*/[0-9]{9}\.ism
    ^https?://[\d+(\.\d+){3}/]*/[0-9]{10}\.ism
    ^https?://([A-Za-z0-9.-]*\.)?netflix-*.vo.llnwd.net/.*
    ^https?://secure\.netflix\.com/*
    ^https?://uiboot\.netflix\.com/*
    ^https?://nintendo.nccp.netflix.com/
    ^https?://customerevents.netflix.com/
    ^https?://api-global.netflix.com/
    ^https?://([A-Za-z0-9.-]*\.)?nflxvideo.net/
    ^https?://ipv6_1.lagg0.c[0-9]{1,3}.[A-Za-z][A-Za-z][A-Za-z][0-9]{1,3}.ix.nflxvideo.net/
    ^https?://([A-Za-z0-9.-]*\.)?nflximg\.net\.?/
    ^https?://cdn[0-9].nflximg.com/
    ^https?://cdn[0-9].nflximg.net/
    ^https?://108.175.[0-9]{1,3}.[0-9]{1,3}/\?o=([A-Za-z0-9.-]*\.)?


    Also, add another "OR" to that rule for 'Coming from these User Agents':
    Mozilla/5.0 (compatible; U; Nflx) Netflix/[0-9].[0-9].[0-9]
    Gibbon/[0-9]{1,4}.[0-9]{1,4}.[0-9]{1,4}/[0-9]{1,4}.[0-9]{1,4}.[0-9]{1,4}: Netflix/[0-9]{1,4}.[0-9]{1,4}.[0-9]{1,4} (DEVTYPE=NFX[0-9]{1,4}-[0-9]{1,4}-; CERTVER=[0-9]{1,4})


    Make sure you Import these rules, and Netflix *should* work. Works for me.
  • Hi Linkz0rs,

    That looks nice. I've been looking into that a while ago and got tired of it, so i've bypassed the xbox for Web Filtering.

    This solution didn't work for me as you posted it, but in the Web Protection logs i found another ip range that fixed it.

    Changed your IP line to match exact Netflix range and added another:
    whois.urih.com says:
    NetRange 198.38.96.0 - 198.38.127.255 / CIDR 198.38.96.0/19
    NetRange 108.175.32.0 - 108.175.47.255 / CIDR 108.175.32.0/20
    Generated regex with: http://www.analyticsmarket.com/freetools/ipregex (changed a little bit to match) 

    ....
    ^https?://108.175.(3[2-9]|4[0-7]).([0-9]|[1-9][0-9]|1([0-9][0-9])|2([0-4][0-9]|5[0-5]))/\?o=([A-Za-z0-9.-]*\.)?
    ^https?://198.38.(9[6-9]|1([0-1][0-9]|2[0-7])).([0-9]|[1-9][0-9]|1([0-9][0-9])|2([0-4][0-9]|5[0-5]))/\?o=([A-Za-z0-9.-]*\.)?

    I live in the Netherlands for whats worth concerning geographical differences.
    Thanks again for the input!
  • That's expected rheptor, because of geographical reasons, it could be different IP ranges, so it loads the content from the closest server to you.
    Really it's just the same type of rule though, but as a more permanent fix, perhaps this rule will work:
    ^https?://[0-9]{1,3}.[0-9]{1,3}.[0-9]{1,3}.[0-9]{1,3}/\?o=([A-Za-z0-9.-]*\.)?

    What this rule does is filter for ANY IP range, as long as the end content matches.
    Because Netflix uses IP ranges, then a /?o=(data) on the urls.