Master List of Web Exceptions

Many Greetings!
I have gathered and put together working HTTP/S proxy rule sets for allowing many different online services to function without the need for port forwarding, provided that you've setup the firewall to allow all outgoing connections on both your 'Internal' and IPv6 Broker interfaces.
Web Protection -> Web Filtering -> Exceptions
For each of these, I have the following setup with these specific exceptions (skips, generally everything except Caching and Logging):

Authentication / Block by download size / Antivirus / Extension blocking / MIME type blocking / URL Filter / Content Removal / SSL scanning / Certificate Trust Check / Certificate Date Check / Do not display Download/Scan progress page

These are for online gaming services and even HTTPS services (where the client may throw SSL certificate errors due to it not obeying trusted root certificate on the system)... So far, they all work for me with no errors since I've created these proxy rule-sets. I hope they will become of use to even you.
If you have any that you have created for services not listed, please post it and I will include it in the post below!

  • This post will be updated when new working rule sets are discovered

    Here's what I have so far...

    Nintendo Network (Wii U & 3DS)
    ^https?://portal-us\.olv\.nintendo\.net/
    ^https?://nintendojp\.d1\.sc\.omtrdc\.net/
    ^https?://account\.nintendo\.net/
    ^https?://discovery\.olv\.nintendo\.net/
    ^https?://api-us\.olv\.nintendo\.net/
    ^https?://ninja\.wup\.shop\.nintendo\.net/
    ^https?://geisha-wup\.cdn\.nintendo\.net/
    ^https?://ias\.wup\.shop\.nintendo\.net/
    ^https?://nus\.wup\.shop\.nintendo\.net/
    ^https?://samurai-wup\.cdn\.nintendo\.net/
    ^https?://idbe-wup\.cdn\.nintendo\.net/
    ^https?://pushmore\.wup\.shop\.nintendo\.net/
    ^https?://ecs\.wup\.shop\.nintendo\.net/
    ^https?://olvus\.cdn\.nintendo\.net/
    ^https?://mii-secure.account\.nintendo\.net/
    ^https?://npvk\.app\.nintendo\.net/
    ^https?://ccs\.wup\.shop\.nintendo\.net/
    ^https?://nppl\.app\.nintendo\.net/
    ^https?://mii-images\.account\.nintendo\.net/
    ^https?://tagaya\.wup\.shop\.nintendo\.net/
    ^https?://pls\.wup\.shop\.nintendo\.net/
    ^https?://npts\.app\.nintendo\.net/
    ^https?://mii-secure\.cdn\.nintendo\.net/
    ^https?://samurai\.wup\.shop\.nintendo\.net/
    ^https?://web-us\.l1\.us\.vino\.wup\.app\.nintendo\.net/
    ^https?://tvii-prod\.l1\.us\.vino\.wup\.app\.nintendo\.net/
    ^https?://tagaya-wup\.cdn\.nintendo\.net/
    https://54.236.89.112/
    https://54.236.187.223/
    https://54.236.167.22/
    ^https?://d1eqyqhzpk1v17\.cloudfront\.net/
    ^https?://cdn\.mxpnl\.com/
    ^https?://api\.mixpanel\.com/

    These domains were grabbed while playing on the WiiU console. Did multiple tests, opened different games and applications and even installed a system update.
    Cloudfront and Mixpanel urls are used in the Nintendo TVii application and are (unfortunately) required for it to function.

    Minecraft (Only what's necessary for playing the game)
    https://authserver.mojang.com/
    https://libraries.minecraft.net/
    https://sessionserver.mojang.com/
    https://s3.amazonaws.com/
    AmazonAWS is used for updating the Minecraft launcher and unfortunately is required for the game to retrieve updates.

    World of Warcraft:
    ^https?://([A-Za-z0-9.-]*\.)?worldofwarcraft\.com\.edgesuite\.net/
    ^https?://([A-Za-z0-9.-]*\.)?blizzard\.com/
    ^https?://([A-Za-z0-9.-]*\.)?blizzard\.vo\.llnwd\.net/
    ^https?://([A-Za-z0-9.-]*\.)?blizzard.com\.edgesuite\.net/
    ^https?://([A-Za-z0-9.-]*\.)?battle\.net/
    With these in place, WoW works without any problems, the patcher, actual game, and even a 'vent' server.

    MSN/Win. Live Messenger:
    ^https?://([A-Za-z0-9.-]*\.)?wlxrs\.com/
    ^https?://([A-Za-z0-9.-]*\.)?messenger\.hotmail\.com/
    ^https?://([A-Za-z0-9.-]*\.)?messenger\.live\.com/
    ^https?://([A-Za-z0-9.-]*\.)?login\.live\.com/
    ^https?://([A-Za-z0-9.-]*\.)?contacts\.msn\.com/
    ^https?://([A-Za-z0-9.-]*\.)?storage\.msn\.com/
    ^https?://207\.46\.125\.29:*
    ^https?://207\.46\.124\.144:*
    ^https?://64\.4\.35\.57:*
    ^https?://65\.54\.*\.*:*
    I've obtained these recorded from Proxy logs, so I don't know if I'm missing anything or not... But MSN/Win. Live Messenger does work.

    Skype:
    ^https?://204\.9\.163\.181:*
    ^https?://78\.141\.177\.124:*
    Skype seems to work just fine without these, but they did come up in the logs [as soon as I logged into Skype] with the error "Failed to verify server certificate"... So I added them as an exception... I did a who-is on them, and they are owned by Skype.

    Playstation Network (PSN):
    ^https?://([A-Za-z0-9.-]*\.)?playstation\.com/
    ^https?://([A-Za-z0-9.-]*\.)?playstation\.net/
    ^https?://([A-Za-z0-9.-]*\.)?playstation\.org/
    ^https?://125\.199\.254\.51
    ^https?://198\.107\.*\.*
    ^https?://184\.84\.65\.*
    ^https?://173\.230\.216\.*
    ^https?://50\.19\.100\.125
    ^https?://209\.251\.*\.*
    I've obtained these from proxy logs, and now PSN works without error... I've tested CoD: Black Ops, and Red Faction: Armageddon online with them. I have also downloaded updates, and even game demos under these rule sets without error.

    TwitchTV:
    https://199\.9\.[0-9][0-9][0-9]\.[0-9][0-9][0-9]/
    https://199\.9\.[0-9][0-9][0-9]\.[0-9][0-9]/
    https://199\.9\.[0-9][0-9]\.[0-9][0-9][0-9]/
    https://199\.9\.[0-9][0-9]\.[0-9][0-9]/
    This fixes the chat in TwitchTV when using SSL Scanning.

    Various Google services (Google+, Google Music, Google Voice, etc):
    ^https?://173\.194\.*\.*
    ^https?://74\.125\.*\.*
    ^https?://([A-Za-z0-9.-]*\.)?google\.com/
    ^https?://([A-Za-z0-9.-]*\.)?googleusercontent\.com/
    Google+ and Google Music seem to have problems loading with HTTPS scanning enabled, so this fixed many of the issues caused by it.
    Please note that you may need to add these to the Proxy Transparent Mode Exceptions list... Due to some issues that standard exceptions cannot fix. Just in case
    74.125.226.0/24
    74.125.91.0/24


    TomTom GPS 'Home' App
    :
    ^https?://([A-Za-z0-9.-]*\.)?tomtom\.com/
    ^https?://85\.90\.*\.*
    These will allow TomTom Home to connect, and download map updates and the like without errors.

    PlayerIO Games:
    https://98\.137\.[0-9][0-9][0-9]\.[0-9][0-9][0-9]/
    https://98\.139\.[0-9][0-9][0-9]\.[0-9][0-9][0-9]/
    https://98\.137\.[0-9][0-9][0-9]\.[0-9][0-9]/
    https://98\.139\.[0-9][0-9][0-9]\.[0-9][0-9]/
    https://98\.138\.[0-9][0-9][0-9]\.[0-9][0-9][0-9]/
    https://98\.138\.[0-9][0-9][0-9]\.[0-9][0-9]/
    PlayerIO is a gaming service that hosts flash-based game servers.

    Raxco Perfect Disk:
    ^https?://([A-Za-z0-9.-]*\.)?raxco\.com/
    This should allow Perfect Disk to retrieve updates without any issues.

    Netflix:
    ^https?://([A-Za-z0-9.-]*\.)?nflximg\.com\.?/
    ^https?://([A-Za-z0-9.-]*\.)?nflxvideo\.net\.?/
    ^https?://([A-Za-z0-9.-]*\.)?netflix\.com/
    ^https?://[\d+(\.\d+){3}/]*/[0-9]{8}\.ism
    ^https?://[\d+(\.\d+){3}/]*/[0-9]{9}\.ism
    ^https?://[\d+(\.\d+){3}/]*/[0-9]{10}\.ism
    ^https?://([A-Za-z0-9.-]*\.)?netflix-*.vo.llnwd.net/.*
    ^https?://secure\.netflix\.com/*
    ^https?://uiboot\.netflix\.com/*
    ^https?://nintendo.nccp.netflix.com/
    ^https?://customerevents.netflix.com/
    ^https?://api-global.netflix.com/
    ^https?://([A-Za-z0-9.-]*\.)?nflxvideo.net/
    ^https?://ipv6_1.lagg0.c[0-9]{1,3}.[A-Za-z][A-Za-z][A-Za-z][0-9]{1,3}.ix.nflxvideo.net/
    ^https?://([A-Za-z0-9.-]*\.)?nflximg\.net\.?/
    ^https?://cdn[0-9].nflximg.com/
    ^https?://cdn[0-9].nflximg.net/
    ^https?://108.175.[0-9]{1,3}.[0-9]{1,3}/\?o=([A-Za-z0-9.-]*\.)?


    Also, add another "OR" to that rule for 'Coming from these User Agents':
    Mozilla/5.0 (compatible; U; Nflx) Netflix/[0-9].[0-9].[0-9]
    Gibbon/[0-9]{1,4}.[0-9]{1,4}.[0-9]{1,4}/[0-9]{1,4}.[0-9]{1,4}.[0-9]{1,4}: Netflix/[0-9]{1,4}.[0-9]{1,4}.[0-9]{1,4} (DEVTYPE=NFX[0-9]{1,4}-[0-9]{1,4}-; CERTVER=[0-9]{1,4})
    Netflix seems to work perfectly with all of these exceptions in place.

    Youtube:
    https://www\.youtube\.com/
    https://www\.youtube-nocookie\.com/
    ^https?://[A-Za-z0-9.-]*\.ytimg\.com/
    ^https?://[A-Za-z0-9.-]*\.youtube\.com/
    ^https?://[A-Za-z0-9.-]*\.ggpht.com/
    https://www\.googleapis\.com/
    Youtube app on consoles will NOT work without these exceptions, while https scanning is enabled. These rules will fix that.

    Steam Gaming:
    ^https?://(?:\d{1,3}\.){3}\d{1,3}/depot/571/
    Microsoft/Windows Update:
    ^https?://([A-Za-z0-9.-]*\.)?windowsupdate\.com/
    ^https?://([A-Za-z0-9.-]*\.)?microsoft\.com/
    ^https?://64\.4\.18\.19
    ^https?://157\.56\.134\.97
    I know there's already built-in exceptions for this, but the 2 IP addresses listed fixes occasional issues with checking for updates while HTTPS (SSL) Scanning is enabled.

    Facebook:
    ^https?://173\.252\.110\.27
    ^https?://31\.13\.77\.42
    ^https?://66\.220\.152\.19
    ^https?://173\.252\.100\.27
    Facebook with HTTPS (SSL) Scanning enabled occasionally throws errors in logs and some pages on Facebook is un-viewable, these IP addresses should fix the issues.

    ----
    If anyone else has any other addresses or rules to add that helps unblock these, please post them! I would be interested to see what anybody else might have Smile
    Or if I'm missing anything, please post!

    Thanks!
  • Your best bet is to go to the customer or technical support section for the online services that you want to create exceptions for.  Most will have some sort of list of ports and addresses that are used.
  • In reply to Scott_Klassen:

    Your best bet is to go to the customer or technical support section for the online services that you want to create exceptions for.  Most will have some sort of list of ports and addresses that are used.


    WoW is not accurate on their site. I had actually found a port they use that was not listed, and Customer Support had no idea about it until they raised the issue with their network support.

    I've never had great success with the exception list and had to use ports, but I will try the ones listed above and see if that works well enough.
  • In reply to Amodin:

    WoW is not accurate on their site. I had actually found a port they use that was not listed, and Customer Support had no idea about it until they raised the issue with their network support.


    Yeah, WoW's website doesn't contain a list of host names and IP addresses, just ports... Which are irrelevant when it comes to adding to an exception list (for SSL certificate/HTTPS Proxy)... I actually browsed around this forum and found those addresses.

    Same thing for Nintendo, I sent them an email and they have no idea what their addresses are for WFC (kind of sad that they dont know their own hostnames...) I got the ones listed above by searching on Google (though, the sites I retrieved them from all relate to hacking your wii...) Although, they do seem to be quite effective!

    I've never had great success with the exception list and had to use ports, but I will try the ones listed above and see if that works well enough.

    I have no problem with ports, since everything outgoing is allowed... And having ports set for SSL scanning exceptions in the HTTPS Proxy settings is well.... I don't think even possible...
    I think though, there should be some type of tutorial or documentation on these kinds of things for other home users who seek to fully allow online games and such with minimal / no problems... Which is why I created this topic, to both help myself and others who have the same problems =]
  • In reply to Linkz0rs:

    Linkz0rs,

    what is your ruleset (did you ever avoid port forwarding?) for Wow?

    I have followed Blizzards' port requirements...but I still get rejected for the Peer-to-peer downloading.  I can upload to others fine (outbound traffic), but anything incoming for 3724 seems to fail....despite my rulesets.

    *Update: I managed to get the inbound traffic going from the Packet Filter, but the downloader still doesn't perform peer-to-peer.  Worse, I do not see any rejections on the PF live logs.

    -stoomaroo
  • In reply to stoomaroo:

    Linkz0rs,

    what is your ruleset (did you ever avoid port forwarding?) for Wow?


    I completely avoid port forwarding... I don't like to leave my network open at all.
    My proxy rule set is as stated in an above post... I don't have any packet filter or IDPS rule sets specifically setup for WoW...


    *Update: I managed to get the inbound traffic going from the Packet Filter, but the downloader still doesn't perform peer-to-peer.  Worse, I do not see any rejections on the PF live logs.


    I've actually found that some IDPS (Intrusion Detection and Prevention Services) and even P2P control can stop WoW from functioning in certain circumstances... Which I will explain both below...

    I've found that having Anti-DoS/Flooding enabled can sometimes cause WoW to randomly disconnect. But that is a rare occurance...
    Same for Anti-port scanning.

    P2P control features seems to block WoW P2P connections however... That is a big factor for this, which is why I only have them all set to simply log it instead of block... A few months back, I remember WoW P2P connections (mainly updates and such) being blocked due to having P2P control set for block. Although, I have never actually pinpointed which function actually blocks WoW... I'm sure you could figure out through looking at some logs though.

    The person in my household who does play WoW has been playing it for the past week with absolutely no problems, even a 'Vent' server for WoW works just fine for him, as he stated to me when I asked about it... (Which according to him, 'Vent' is supposed to be voice-communication with others in the game...)

    I just keep a close eye on logs when I'm experimenting something new, and if I find something, I'll post it to help anyone!
  • In reply to Linkz0rs:

    Ah ok.  I totally missed the P2P idea on the firewall.

    I've got it totally off -- but I guess it must have something to do with Wow's downloader.

    I'll turn it on, and see what I find in the logs.
    -----------
    UPDATE:
    21:16:00  P2P Rule: Bittorrent  TCP  192.168.1.3  : 53320→ 68.52.161.149  :  3724 [ACK PSH] len=108  ttl=127 tos=0x00 srcmac=0:25:86:c7:7d:f0

    ...yup - it's considered bittorrent.  The Peer-to-Peer downloading isn't working, but the outbound is fine.  I'll lock down the other P2P stuff as I don't use it.  Again, will report back.
    -----------
    -stoomaroo
  • In reply to stoomaroo:


    21:16:00  P2P Rule: Bittorrent  TCP  192.168.1.3  : 53320→ 68.52.161.149  :  3724 [ACK PSH] len=108  ttl=127 tos=0x00 srcmac=0:25:86:c7:7d:f0

    ...yup - it's considered bittorrent.  The Peer-to-Peer downloading isn't working, but the outbound is fine.  I'll lock down the other P2P stuff as I don't use it.  Again, will report back.


    Yeah, Bittorrent is a highly common method of exchanging data on the internet... In both legal, and illegal ways...

    I personally think perhaps these methods for allowing WoW on Astaro should be put in documentation... So people won't have any problems with the game and figuring out how to set it up...
  • Thanks, Linkz0rs, for your participation - and your attitude - positive!

    In fact, some of the doumentation on http://support.astaro.com/ started as a discussion here.  I usually come here first because this news is fresher, so I think you have indeed just added to the documentation!

    Cheers - Bob
  • In reply to BAlfson:

    Hi folks,
    I have two users of WOW, one is game convenor (whatever).
    The http proxy is in transparent mode.
    I don't have any special filters or nats in place.
    I have a set of exceptions as per the attached screen shot for the http proxy and some of the P2P stuff is allowed.

    For awhile I had a lot of trouble with the downloader when using the standard proxy and blocking http traffic that bypassed the proxy without approval. The ports kept changing for every new release or major patch.

    Anyway, WOW now works without any complaints except I need to get a faster internet connection.

    IanSmile
  • I'm glad this has been of help... Smile
    I'm having a friend come over tomorrow with his PS3, and since the Playstation Network is now back up, I'll put rule set exceptions I'll setup when we do some tests.
    For people who are just reading this topic: I've setup HTTPS Proxy rule sets for allowing online services such as Nintendo Wii, Skype, MSN/Win Live, and WoW... So you wouldn't suffer from certificate errors or anything of the like. This is all done without any port forwarding (Personally, I try to avoid that)...
  • Ok, I got some HTTPS Proxy ruleset exceptions now... This was gathered from the main PSN login... I havn't tested with any games just yet... Will report back once I do...
    ^https?://[A-Za-z0-9.-]*playstation.com/
    ^https?://[A-Za-z0-9.-]*playstation.net/
    ^https?://[A-Za-z0-9.-]*playstation.org/
    https://125.199.254.51
    https://198.107.*.*
    https://184.84.65.*
    https://173.230.216.*
    https://50.19.100.125
    https://209.251.*.*


    Check back here as I will update this post
  • @Balfson...yeah -- I read about 100 times more than I post here.  This forum is quite a compendium.

    Thanks for the screenshot RFCAT_vk...a pic is a 1000 words.

    -stoomaroo
  • I've updated my rule set post with more sets and explanations behind them.
    Click here to go to that post.
    I'm hoping these help people.
  • In reply to Linkz0rs:


    Skype:
    ^https?://204.9.163.181:*
    
    ^https?://78.141.177.124:*

    Skype seems to work just fine without these, but they did come up in the logs [as soon as I logged into Skype] with the error "Failed to verify server certificate"... So I added them as an exception... I did a who-is on them, and they are owned by Skype.


    Hi 
    It seems that skype uses a wide range of IP addresses, most of the times it takes a long time to connect to one of them, and sometimes it fails.

    I've tested your IP addresses but they didn't make skype connect faster 

    I think using Socks proxy might be a better solution for skype

    Thanks