UTM 320 with 9.307-6 : Apple Devices and Webfiltering

right now there is a long standing issue with mobile devices and web filtering.  Your best bet is to set them statically..setup a network definition for the devices..and add them to the web filtering bypass section.  I have multiple tickets open on this one.

Ah, I can't do that as we are a public school.  We have a responsibility to try our best to keep the kids away from the bad sites.

Kev

open a support ticket about this.,.the more folks that open tickets about this then support will see that my research is what is going on...[:)]

after you open the ticket pm me the number so i can add it to my conversations with support escalation.

ok I can do that, is there any supporting information I can include from the logs to show what's going on? Everything is working again now, I had 2 of 6 new ipads I was updating that had the issue, adding them to the exception list and removing them from it seems to have worked.....
But I can't show one now that isn't working if they call me.

I'm noticing a lot of log entries like this now as well, but it doesn't indicate the source address so I have no idea what client is causing the issues, but the timestamps correspond to when I was trying the updates. Since the ipads have been working, there are no more errors of this type.

2015:02:19-09:15:42 QMSGW httpproxy[1855]: id="0003" severity="info" sys="SecureWeb" sub="http" request="(nil)" function="read_request_headers" file="request.c" line="1536" message="unable to parse a http message on handler 221 (Resource temporarily unavailable)"

2015:02:19-09:15:42 QMSGW httpproxy[1855]: id="0003" severity="info" sys="SecureWeb" sub="http" request="(nil)" function="http_parser_context_execute" file="http_parser_context.c" line="95" message="Unable to parse a http message of 252 bytes (HPE_INVALID_METHOD: invalid HTTP method)"

2015:02:19-09:15:42 QMSGW httpproxy[1855]: id="0003" severity="info" sys="SecureWeb" sub="http" request="(nil)" function="read_request_headers" file="request.c" line="1536" message="unable to parse a http message on handler 221 (Resource temporarily unavailable)"

2015:02:19-09:15:42 QMSGW httpproxy[1855]: id="0003" severity="info" sys="SecureWeb" sub="http" request="(nil)" function="http_parser_context_execute" file="http_parser_context.c" line="95" message="Unable to parse a http message of 252 bytes (HPE_INVALID_METHOD: invalid HTTP method)"

2015:02:19-09:15:42 QMSGW httpproxy[1855]: id="0003" severity="info" sys="SecureWeb" sub="http" request="(nil)" function="read_request_headers" file="request.c" line="1536" message="unable to parse a http message on handler 221 (Resource temporarily unavailable)"

2015:02:19-09:15:43 QMSGW httpproxy[1855]: id="0003" severity="info" sys="SecureWeb" sub="http" request="(nil)" function="http_parser_context_execute" file="http_parser_context.c" line="95" message="Unable to parse a http message of 252 bytes (HPE_INVALID_METHOD: invalid HTTP method)"

There are two potential issues:

1) The firewall could be blocking access to communication trough various ports.

2) The web proxy could be blocking access for various reasons (including issues within the proxy).

For 1) please look at your firewall logs.  You'll find that in the beginning stuff like email won't work, and you need to open up SMTP and POP ports, etc.  Various games like Clash of Clans won't work properly until you open up the ports they use.  Regularly monitor your firewall blocks and determine if you want to have them continue blocking or not (email - yes, CoC - no).

If you are having problems and you are sure that 1) is not the issue then start looking at 2).  Again, logs are your friends.  Most websites/apps work well with the proxy, some have problems.  SSL, authentication, and AV scanning are often the things that bother apps the most.  Most of the time the problems can be worked around using Exceptions.  William likes to use the "big hammer" of the skiplist but I think that is unneccessary.

Some of the time that a website/app fails it is no one's fault.  For example, you require authentication and the app doesn't support authentication.  Therefore it is not a UTM bug if it doesn't work, it's just an exception you need to put in.  That being said, there are potentially bugs out there in the UTM.  The important thing if you want them resolved (rather than working around them) is to officially report them via Sophos Support.

Well, in my particular case, I know it's not the firewall, since it works on 90% of the ipads in the school, all ipads are on the same wireless network.

It has to be the webfilter, because when I add an offending ipad to the skip list, it works, the funny thing is, that it continues working after I remove it from the skip list - for a while anyway (months).

It is happening again now. I'm installing an App (iMovie) four ipads work, two are stuck with the spinning installer thing that they do.

I'm not sure what I'm supposed to be looking for exactly, but I grep'd the ip in both http.log and packetfilter.log and nothing is out of the ordinary - no errors or ssl errors.

I add the ip to the skiplist, reboot the ipad, and it starts working.

So again, is there a troubleshooting guide available for ipad configuration available?

Is there anyway to determine what client is causing the following errors?

2015:02:20-14:35:38 QMSGW httpproxy[1855]: id="0003" severity="info" sys="SecureWeb" sub="http" request="(nil)" function="read_request_headers" file="request.c" line="1567" message="Read error on the http handler 290 (Input/output error)"
2015:02:20-14:35:38 QMSGW httpproxy[1855]: id="0003" severity="info" sys="SecureWeb" sub="http" request="(nil)" function="read_request_headers" file="request.c" line="1567" message="Read error on the http handler 464 (Input/output error)"
2015:02:20-14:35:39 QMSGW httpproxy[1855]: id="0003" severity="info" sys="SecureWeb" sub="http" request="(nil)" function="read_request_headers" file="request.c" line="1567" message="Read error on the http handler 290 (Input/output error)"

I'm guessing that there's a line near those where there's a request for a URL using HTTPS.  Try disabling SSL scanning briefly to see if that cures the issue.  If it does, then find the URLs for which you should disable SSL scanning.  Any luck with that?

Cheers - Bob

I'm guessing that there's a line near those where there's a request for a URL using HTTPS.  Try disabling SSL scanning briefly to see if that cures the issue.  If it does, then find the URLs for which you should disable SSL scanning.  Any luck with that?

Cheers - Bob

No sure if apple changed something in the recent past...seems that some additional sites checks against MITM'ing.

As temporary workaround I created webfilter exceptions skipping SSL scanning at all for my iOS devices...will try later if I find more time to enable MITM step by step again finding the specific URL's / requests.

I tried to create new Apple exceptions for using following requests, but obviously I still mised something, as I still get those I/O stream errors in the http.log and app store or updates not working.

^https?://([A-Za-z0-9.-]*\.)?itunes.apple.com
^https?://([A-Za-z0-9.-]*\.)?ls.apple.com
^https?://([A-Za-z0-9.-]*\.)?push.apple.com
^https?://([A-Za-z0-9.-]*\.)?smoot.apple.com
^https?://([A-Za-z0-9.-]*\.)?icloud.com
^https?://([xp|guzzoni|phobos|pancake|api|cl|0-9|smoot|configuration|mesu]*\.)?apple.com

Maybe other people are more lucky creating a working regex, as I technically would prefer to keep SSL scanning in a widest range active. Seems that Apple (but also Android with their sucking MITM warning in their devices since android 4.x) do not want really be proxy friendly at all and avoiding SSL scanning - I guess they think we also could use it otherwise for unwanted and bad stuff in view of Apple and Google to block ads and trackers...who wants to block something like that ? No one wants privacy or full covered security [;)] [:D]