Astaro blocking Google Map Search all of a sudden?

Hey all,
Running 8.102 version ASG at home, and a week or two ago, ASG suddenly started blocking out Google Map Search view on my Google Home page (the widget you can add to your iGoogle page.  

I am running HTTP/S in Transparent Mode currently, and everything else is working as it should (or so appears thus far).  I have made no changes to any settings to warrant this, other than adding sites to be blocked that try to install that anti-virus malware garbage.  None of those sites are a part of Google, and I can ping the map search DNS name from the Astaro box using the Ping Tool, and I can trace route the DNS name and IP just fine.  if I turn off Transparent mode to Standard, the widget will re-appear, showing the map and traffic.  I can change it back to Transparent and the map search widget will stay visible for quite some time, but the next day, it's blocked again.

Anyone else running into this?

This is what I am seeing in the HTTP/S lie log when accessing iGoogle:

2011:05:12-07:19:21 amodin httpproxy[7437]: id="0062" severity="info" sys="SecureWeb" sub="http" name="web request blocked, forbidden url detected" action="block" method="GET" srcip="192.168.20.114" dstip="" user="" statuscode="403" cached="0" profile="REF_DefaultHTTPProfile (Default Proxy)" filteraction="REF_DefaultHTTPCFFAction (Default content filter action)" size="6463" time="953 ms" request="0xeab12958" url="www.google.com/jsapi

2011:05:12-07:19:21 amodin httpproxy[7437]: id="0062" severity="info" sys="SecureWeb" sub="http" name="web request blocked, forbidden url detected" action="block" method="GET" srcip="192.168.20.114" dstip="" user="" statuscode="403" cached="0" profile="REF_DefaultHTTPProfile (Default Proxy)" filteraction="REF_DefaultHTTPCFFAction (Default content filter action)" size="6463" time="1034 ms" request="0xeab12958" url="www.google.com/jsapi
  • If the Astaro had blocked that access purposely, you would have a reason="something" in the log.  Since there's no reason, it just looks like Google made a change that broke accesses via a proxy.  I bet this works now, or ???

    Cheers - Bob
  • No, still not working.
  • Then, I think this is a conflict that the proxy has with that Google app.  What haapens if you add an Exception for Anti-Virus for: http://www.google.com/jsapi?key=internal-ig-mapsearch

    Cheers - Bob
  • Same results adding the exception for AV.  I also added it to my general website extension blocking exception as well, and same results.  So far, when switching from Transparent mode to Standard is the only thing working.
  • OK, so I managed to look at the source code for that particular frame.  At first glance, you see nothing but some HTML code, but then inside the code is a URL link to the specific map item.

    When you click on that link, it stays in notepad and returns you to the source code for that specific item inside the frame.  Astaro has it blacklisted, but nothing appears under that frame from Astaro telling me that  Smile  I've bolded where it is showing in the source code, a blacklist.  The 'something is wrong' flag in my brain though is still flying high because I don't have it on a blacklist:

    ============================================



        
            
            Content blocked
            
            
        
        

            

            
                
                    
                        

                            
                            
    Astaro Security Gateway Version 8   Astaro Internet Security - Connect With Confidence   LICENSED FOR HOME USE ONLY, NOT FOR BUSINESS USE.

    LICENSED FOR HOME USE ONLY, NOT FOR BUSINESS USE

                        


                    
                    
                        

                        

                            
                            Content blocked
                        

                        

                    

                    
                        

                        

                            
                                
                                    
                                        

                                            While trying to retrieve the URL:
                                        


                                        
    http://www.google.com/jsapi?key=internal-ig-mapsearch&source=ms-home

                                    

                                    
                                        

                                            The content is blocked due to the following condition:
                                        

                                        
    The URL you have requested is blocked by a blacklist. If you think this is wrong, please contact your administrator.

                                    

                                    
                                        
    Your cache administrator is:

                                        

                                            

                                        

                                    
                                    
                                

                            
                        
                        

                    
                    
                        

                        

                        

                    

                    
                        

                            
                                
                                    
                                        
                                        


                                        

                                    
                                
                            
                    
                
            
        

  • The reason it is being blocked is that url is matching to an entry in your blacklist. What entries do you have in your blacklist as it appears one of them is matching part of that url and that is why it is being blocked.
  • Google has never been added, nor has ever been on my blacklist, as I indicated already in my post.
  • Yes, I realize that you do not have google added to your blacklist but one of your entries in the blacklist might match part of the url and that is why it is being blocked.

    Have you looked at the blacklist and checked to see if any entries could possibly match any part of the url in question?

    As a workaround I see you tried to create an exception for AV or extension blocking, since this was blocked as being on the blacklist you will need to create an exception to Skip the URL filter.
  • I've checked the blacklist three times to be sure.  The only items I have in the blacklist are places such as flvtube, and ce.ms hosted sites which host that garbage malware fake anti-virus installer. 

    I'm going to reset my ASG back to factory defaults and restore from a backup.  I've also cleared out my blacklist and tried and it was still doing the same thing.

    Like I said, this was just a sudden thing that happened.  It had been weeks since I had to log into Astaro and Google Map Search in iGoogle frame was just suddenly blocked.
  • Try creating a content filter exception for google.com and see if that fixes things up.
  • The exception I had tried already, but I found out the problem, and to me, this is really odd.

    Not only did I have ce.ms sites in my blacklist, but the domain 'ce.ms' as well was on my blacklist.  This was blocking the Google Map Search frame on iGoogle.  Why, I have no idea.  When I took that off, it started working.  Not sure, but I don't believe Google has anything to do with ce.ms and hopefully never do.
  • The blacklist takes regular expressions and the "." I believe is a wildcard, So if you had ce.ms as an entry it would catch things such as "source=ms" which was a part of the URL you were having an issue with.
  • Dilandau figured it out!  Amodin, those are "REGEX" - Regular Expressions.  "ce\.ms" will block all ce.ms subdomains, but it also will block, for example, http://www.goodplace.ms/.

    Cheers - Bob
  • In reply to BAlfson:

    Hi,

    Thanks for your pointers guys! I found this thread at the top of Google when searching on our issue. It helped me pinpoint our issue in 2017 and this post is more of a reference for others. !

    Certain Google searches were referring to a blacklist. Search keywords included ship, apprenticeship, apprentice ship, gainshill and the likes. 

    Under UTM: Web Filter Profiles, Policies, Edit Filter Action, Web Sites, Block these websites - we had a "Badword" block-list that contained a Regular Expression of "shi+". Removing this phrase allows searches to work again. I therefore assume that the “+” acts like a wildcard and was therefore blocking any word with "shi" in it. 

    My question is whats the meaning of “+” in the UTM?

    Many thanks.

  • In reply to Julian Small:

    Expression Description Example

    n+ Matches any string that contains one or more occurrences of n in a row

    from