This discussion has been locked.
You can no longer post new replies to this discussion. If you have a question you can start a new discussion

Master List of Web Exceptions

Many Greetings!
I have gathered and put together working HTTP/S proxy rule sets for allowing many different online services to function without the need for port forwarding, provided that you've setup the firewall to allow all outgoing connections on both your 'Internal' and IPv6 Broker interfaces.
Web Protection -> Web Filtering -> Exceptions
For each of these, I have the following setup with these specific exceptions (skips, generally everything except Caching and Logging):

Authentication / Block by download size / Antivirus / Extension blocking / MIME type blocking / URL Filter / Content Removal / SSL scanning / Certificate Trust Check / Certificate Date Check / Do not display Download/Scan progress page

These are for online gaming services and even HTTPS services (where the client may throw SSL certificate errors due to it not obeying trusted root certificate on the system)... So far, they all work for me with no errors since I've created these proxy rule-sets. I hope they will become of use to even you.
If you have any that you have created for services not listed, please post it and I will include it in the post below!



This thread was automatically locked due to age.
  • This post will be updated when new working rule sets are discovered

    Here's what I have so far...

    Nintendo Network (Wii U & 3DS)
    ^https?://portal-us\.olv\.nintendo\.net/
    ^https?://nintendojp\.d1\.sc\.omtrdc\.net/
    ^https?://account\.nintendo\.net/
    ^https?://discovery\.olv\.nintendo\.net/
    ^https?://api-us\.olv\.nintendo\.net/
    ^https?://ninja\.wup\.shop\.nintendo\.net/
    ^https?://geisha-wup\.cdn\.nintendo\.net/
    ^https?://ias\.wup\.shop\.nintendo\.net/
    ^https?://nus\.wup\.shop\.nintendo\.net/
    ^https?://samurai-wup\.cdn\.nintendo\.net/
    ^https?://idbe-wup\.cdn\.nintendo\.net/
    ^https?://pushmore\.wup\.shop\.nintendo\.net/
    ^https?://ecs\.wup\.shop\.nintendo\.net/
    ^https?://olvus\.cdn\.nintendo\.net/
    ^https?://mii-secure.account\.nintendo\.net/
    ^https?://npvk\.app\.nintendo\.net/
    ^https?://ccs\.wup\.shop\.nintendo\.net/
    ^https?://nppl\.app\.nintendo\.net/
    ^https?://mii-images\.account\.nintendo\.net/
    ^https?://tagaya\.wup\.shop\.nintendo\.net/
    ^https?://pls\.wup\.shop\.nintendo\.net/
    ^https?://npts\.app\.nintendo\.net/
    ^https?://mii-secure\.cdn\.nintendo\.net/
    ^https?://samurai\.wup\.shop\.nintendo\.net/
    ^https?://web-us\.l1\.us\.vino\.wup\.app\.nintendo\.net/
    ^https?://tvii-prod\.l1\.us\.vino\.wup\.app\.nintendo\.net/
    ^https?://tagaya-wup\.cdn\.nintendo\.net/
    https://54.236.89.112/
    https://54.236.187.223/
    https://54.236.167.22/
    ^https?://d1eqyqhzpk1v17\.cloudfront\.net/
    ^https?://cdn\.mxpnl\.com/
    ^https?://api\.mixpanel\.com/

    These domains were grabbed while playing on the WiiU console. Did multiple tests, opened different games and applications and even installed a system update.
    Cloudfront and Mixpanel urls are used in the Nintendo TVii application and are (unfortunately) required for it to function.

    Minecraft (Only what's necessary for playing the game)
    https://authserver.mojang.com/
    https://libraries.minecraft.net/
    https://sessionserver.mojang.com/
    https://s3.amazonaws.com/
    AmazonAWS is used for updating the Minecraft launcher and unfortunately is required for the game to retrieve updates.

    World of Warcraft:
    ^https?://([A-Za-z0-9.-]*\.)?worldofwarcraft\.com\.edgesuite\.net/
    ^https?://([A-Za-z0-9.-]*\.)?blizzard\.com/
    ^https?://([A-Za-z0-9.-]*\.)?blizzard\.vo\.llnwd\.net/
    ^https?://([A-Za-z0-9.-]*\.)?blizzard.com\.edgesuite\.net/
    ^https?://([A-Za-z0-9.-]*\.)?battle\.net/
    With these in place, WoW works without any problems, the patcher, actual game, and even a 'vent' server.

    MSN/Win. Live Messenger:
    ^https?://([A-Za-z0-9.-]*\.)?wlxrs\.com/
    ^https?://([A-Za-z0-9.-]*\.)?messenger\.hotmail\.com/
    ^https?://([A-Za-z0-9.-]*\.)?messenger\.live\.com/
    ^https?://([A-Za-z0-9.-]*\.)?login\.live\.com/
    ^https?://([A-Za-z0-9.-]*\.)?contacts\.msn\.com/
    ^https?://([A-Za-z0-9.-]*\.)?storage\.msn\.com/
    ^https?://207\.46\.125\.29:*
    ^https?://207\.46\.124\.144:*
    ^https?://64\.4\.35\.57:*
    ^https?://65\.54\.*\.*:*
    I've obtained these recorded from Proxy logs, so I don't know if I'm missing anything or not... But MSN/Win. Live Messenger does work.

    Skype:
    ^https?://204\.9\.163\.181:*
    ^https?://78\.141\.177\.124:*
    Skype seems to work just fine without these, but they did come up in the logs [as soon as I logged into Skype] with the error "Failed to verify server certificate"... So I added them as an exception... I did a who-is on them, and they are owned by Skype.

    Playstation Network (PSN):
    ^https?://([A-Za-z0-9.-]*\.)?playstation\.com/
    ^https?://([A-Za-z0-9.-]*\.)?playstation\.net/
    ^https?://([A-Za-z0-9.-]*\.)?playstation\.org/
    ^https?://125\.199\.254\.51
    ^https?://198\.107\.*\.*
    ^https?://184\.84\.65\.*
    ^https?://173\.230\.216\.*
    ^https?://50\.19\.100\.125
    ^https?://209\.251\.*\.*
    I've obtained these from proxy logs, and now PSN works without error... I've tested CoD: Black Ops, and Red Faction: Armageddon online with them. I have also downloaded updates, and even game demos under these rule sets without error.

    TwitchTV:
    https://199\.9\.[0-9][0-9][0-9]\.[0-9][0-9][0-9]/
    https://199\.9\.[0-9][0-9][0-9]\.[0-9][0-9]/
    https://199\.9\.[0-9][0-9]\.[0-9][0-9][0-9]/
    https://199\.9\.[0-9][0-9]\.[0-9][0-9]/
    This fixes the chat in TwitchTV when using SSL Scanning.

    Various Google services (Google+, Google Music, Google Voice, etc):
    ^https?://173\.194\.*\.*
    ^https?://74\.125\.*\.*
    ^https?://([A-Za-z0-9.-]*\.)?google\.com/
    ^https?://([A-Za-z0-9.-]*\.)?googleusercontent\.com/
    Google+ and Google Music seem to have problems loading with HTTPS scanning enabled, so this fixed many of the issues caused by it.
    Please note that you may need to add these to the Proxy Transparent Mode Exceptions list... Due to some issues that standard exceptions cannot fix. Just in case
    74.125.226.0/24
    74.125.91.0/24


    TomTom GPS 'Home' App
    :
    ^https?://([A-Za-z0-9.-]*\.)?tomtom\.com/
    ^https?://85\.90\.*\.*
    These will allow TomTom Home to connect, and download map updates and the like without errors.

    PlayerIO Games:
    https://98\.137\.[0-9][0-9][0-9]\.[0-9][0-9][0-9]/
    https://98\.139\.[0-9][0-9][0-9]\.[0-9][0-9][0-9]/
    https://98\.137\.[0-9][0-9][0-9]\.[0-9][0-9]/
    https://98\.139\.[0-9][0-9][0-9]\.[0-9][0-9]/
    https://98\.138\.[0-9][0-9][0-9]\.[0-9][0-9][0-9]/
    https://98\.138\.[0-9][0-9][0-9]\.[0-9][0-9]/
    PlayerIO is a gaming service that hosts flash-based game servers.

    Raxco Perfect Disk:
    ^https?://([A-Za-z0-9.-]*\.)?raxco\.com/
    This should allow Perfect Disk to retrieve updates without any issues.

    Netflix:
    ^https?://([A-Za-z0-9.-]*\.)?nflximg\.com\.?/
    ^https?://([A-Za-z0-9.-]*\.)?nflxvideo\.net\.?/
    ^https?://([A-Za-z0-9.-]*\.)?netflix\.com/
    ^https?://[\d+(\.\d+){3}/]*/[0-9]{8}\.ism
    ^https?://[\d+(\.\d+){3}/]*/[0-9]{9}\.ism
    ^https?://[\d+(\.\d+){3}/]*/[0-9]{10}\.ism
    ^https?://([A-Za-z0-9.-]*\.)?netflix-*.vo.llnwd.net/.*
    ^https?://secure\.netflix\.com/*
    ^https?://uiboot\.netflix\.com/*
    ^https?://nintendo.nccp.netflix.com/
    ^https?://customerevents.netflix.com/
    ^https?://api-global.netflix.com/
    ^https?://([A-Za-z0-9.-]*\.)?nflxvideo.net/
    ^https?://ipv6_1.lagg0.c[0-9]{1,3}.[A-Za-z][A-Za-z][A-Za-z][0-9]{1,3}.ix.nflxvideo.net/
    ^https?://([A-Za-z0-9.-]*\.)?nflximg\.net\.?/
    ^https?://cdn[0-9].nflximg.com/
    ^https?://cdn[0-9].nflximg.net/
    ^https?://108.175.[0-9]{1,3}.[0-9]{1,3}/\?o=([A-Za-z0-9.-]*\.)?


    Also, add another "OR" to that rule for 'Coming from these User Agents':
    Mozilla/5.0 (compatible; U; Nflx) Netflix/[0-9].[0-9].[0-9]
    Gibbon/[0-9]{1,4}.[0-9]{1,4}.[0-9]{1,4}/[0-9]{1,4}.[0-9]{1,4}.[0-9]{1,4}: Netflix/[0-9]{1,4}.[0-9]{1,4}.[0-9]{1,4} (DEVTYPE=NFX[0-9]{1,4}-[0-9]{1,4}-; CERTVER=[0-9]{1,4})
    Netflix seems to work perfectly with all of these exceptions in place.

    Youtube:
    https://www\.youtube\.com/
    https://www\.youtube-nocookie\.com/
    ^https?://[A-Za-z0-9.-]*\.ytimg\.com/
    ^https?://[A-Za-z0-9.-]*\.youtube\.com/
    ^https?://[A-Za-z0-9.-]*\.ggpht.com/
    https://www\.googleapis\.com/
    Youtube app on consoles will NOT work without these exceptions, while https scanning is enabled. These rules will fix that.

    Steam Gaming:
    ^https?://(?:\d{1,3}\.){3}\d{1,3}/depot/571/
    Microsoft/Windows Update:
    ^https?://([A-Za-z0-9.-]*\.)?windowsupdate\.com/
    ^https?://([A-Za-z0-9.-]*\.)?microsoft\.com/
    ^https?://64\.4\.18\.19
    ^https?://157\.56\.134\.97
    I know there's already built-in exceptions for this, but the 2 IP addresses listed fixes occasional issues with checking for updates while HTTPS (SSL) Scanning is enabled.

    Facebook:
    ^https?://173\.252\.110\.27
    ^https?://31\.13\.77\.42
    ^https?://66\.220\.152\.19
    ^https?://173\.252\.100\.27
    Facebook with HTTPS (SSL) Scanning enabled occasionally throws errors in logs and some pages on Facebook is un-viewable, these IP addresses should fix the issues.

    ----
    If anyone else has any other addresses or rules to add that helps unblock these, please post them! I would be interested to see what anybody else might have [:)]
    Or if I'm missing anything, please post!

    Thanks!
  • Your best bet is to go to the customer or technical support section for the online services that you want to create exceptions for.  Most will have some sort of list of ports and addresses that are used.
    __________________
    ACE v8/SCA v9.3

    ...still have a v5 install disk in a box somewhere.

    http://xkcd.com
    http://www.tedgoff.com/mb
    http://www.projectcartoon.com/cartoon/1
  • Your best bet is to go to the customer or technical support section for the online services that you want to create exceptions for.  Most will have some sort of list of ports and addresses that are used.


    WoW is not accurate on their site. I had actually found a port they use that was not listed, and Customer Support had no idea about it until they raised the issue with their network support.

    I've never had great success with the exception list and had to use ports, but I will try the ones listed above and see if that works well enough.

    OPNSense 64-bit | Intel Xeon 4-core v3 1225 3.20Ghz
    16GB Memory | 500GB SSD HDD | ATT Fiber 1GB
    (Former Sophos UTM Veteran, Former XG Rookie)

  • WoW is not accurate on their site. I had actually found a port they use that was not listed, and Customer Support had no idea about it until they raised the issue with their network support.


    Yeah, WoW's website doesn't contain a list of host names and IP addresses, just ports... Which are irrelevant when it comes to adding to an exception list (for SSL certificate/HTTPS Proxy)... I actually browsed around this forum and found those addresses.

    Same thing for Nintendo, I sent them an email and they have no idea what their addresses are for WFC (kind of sad that they dont know their own hostnames...) I got the ones listed above by searching on Google (though, the sites I retrieved them from all relate to hacking your wii...) Although, they do seem to be quite effective!

    I've never had great success with the exception list and had to use ports, but I will try the ones listed above and see if that works well enough.

    I have no problem with ports, since everything outgoing is allowed... And having ports set for SSL scanning exceptions in the HTTPS Proxy settings is well.... I don't think even possible...
    I think though, there should be some type of tutorial or documentation on these kinds of things for other home users who seek to fully allow online games and such with minimal / no problems... Which is why I created this topic, to both help myself and others who have the same problems =]
  • Linkz0rs,

    what is your ruleset (did you ever avoid port forwarding?) for Wow?

    I have followed Blizzards' port requirements...but I still get rejected for the Peer-to-peer downloading.  I can upload to others fine (outbound traffic), but anything incoming for 3724 seems to fail....despite my rulesets.

    *Update: I managed to get the inbound traffic going from the Packet Filter, but the downloader still doesn't perform peer-to-peer.  Worse, I do not see any rejections on the PF live logs.

    -stoomaroo
  • Linkz0rs,

    what is your ruleset (did you ever avoid port forwarding?) for Wow?


    I completely avoid port forwarding... I don't like to leave my network open at all.
    My proxy rule set is as stated in an above post... I don't have any packet filter or IDPS rule sets specifically setup for WoW...


    *Update: I managed to get the inbound traffic going from the Packet Filter, but the downloader still doesn't perform peer-to-peer.  Worse, I do not see any rejections on the PF live logs.


    I've actually found that some IDPS (Intrusion Detection and Prevention Services) and even P2P control can stop WoW from functioning in certain circumstances... Which I will explain both below...

    I've found that having Anti-DoS/Flooding enabled can sometimes cause WoW to randomly disconnect. But that is a rare occurance...
    Same for Anti-port scanning.

    P2P control features seems to block WoW P2P connections however... That is a big factor for this, which is why I only have them all set to simply log it instead of block... A few months back, I remember WoW P2P connections (mainly updates and such) being blocked due to having P2P control set for block. Although, I have never actually pinpointed which function actually blocks WoW... I'm sure you could figure out through looking at some logs though.

    The person in my household who does play WoW has been playing it for the past week with absolutely no problems, even a 'Vent' server for WoW works just fine for him, as he stated to me when I asked about it... (Which according to him, 'Vent' is supposed to be voice-communication with others in the game...)

    I just keep a close eye on logs when I'm experimenting something new, and if I find something, I'll post it to help anyone!
  • Ah ok.  I totally missed the P2P idea on the firewall.

    I've got it totally off -- but I guess it must have something to do with Wow's downloader.

    I'll turn it on, and see what I find in the logs.
    -----------
    UPDATE:
    21:16:00  P2P Rule: Bittorrent  TCP  192.168.1.3  : 53320→ 68.52.161.149  :  3724 [ACK PSH] len=108  ttl=127 tos=0x00 srcmac=0:25:86:c7:7d:f0

    ...yup - it's considered bittorrent.  The Peer-to-Peer downloading isn't working, but the outbound is fine.  I'll lock down the other P2P stuff as I don't use it.  Again, will report back.
    -----------
    -stoomaroo

  • 21:16:00  P2P Rule: Bittorrent  TCP  192.168.1.3  : 53320→ 68.52.161.149  :  3724 [ACK PSH] len=108  ttl=127 tos=0x00 srcmac=0:25:86:c7:7d:f0

    ...yup - it's considered bittorrent.  The Peer-to-Peer downloading isn't working, but the outbound is fine.  I'll lock down the other P2P stuff as I don't use it.  Again, will report back.


    Yeah, Bittorrent is a highly common method of exchanging data on the internet... In both legal, and illegal ways...

    I personally think perhaps these methods for allowing WoW on Astaro should be put in documentation... So people won't have any problems with the game and figuring out how to set it up...
  • Thanks, Linkz0rs, for your participation - and your attitude - positive!

    In fact, some of the doumentation on http://support.astaro.com/ started as a discussion here.  I usually come here first because this news is fresher, so I think you have indeed just added to the documentation!

    Cheers - Bob
     
    Sophos UTM Community Moderator
    Sophos Certified Architect - UTM
    Sophos Certified Engineer - XG
    Gold Solution Partner since 2005
    MediaSoft, Inc. USA
  • Hi folks,
    I have two users of WOW, one is game convenor (whatever).
    The http proxy is in transparent mode.
    I don't have any special filters or nats in place.
    I have a set of exceptions as per the attached screen shot for the http proxy and some of the P2P stuff is allowed.

    For awhile I had a lot of trouble with the downloader when using the standard proxy and blocking http traffic that bypassed the proxy without approval. The ports kept changing for every new release or major patch.

    Anyway, WOW now works without any complaints except I need to get a faster internet connection.

    Ian[:)]