unable to release mail from quarantine

Right, I was just wondering what you see when you look at the database through that window.  

RFCat_vk posted a similar issue recently: https://community.sophos.com/products/unified-threat-management/astaroorg/f/56/t/48603

Cheers - Bob

Please take a look here: https://community.sophos.com/products/unified-threat-management/astaroorg/f/95/t/67285

Frickler, I think you know the answer, but it is not clear from your comment on that post.

There is no place on the 'Advanced' tab where a selection is made about what can be done in Mail Manager - neither RFCat_vk nor William was trying to Release from the User Portal.

Thanks - Bob

The dropdown box left to the message should contain 'Release'. If that is not the case, i guess there is no pop3 server entered in POP3 -> Advanced.

I admit that I've played with the POP3 proxy, but never felt comfortable enough with it to sell it.

My understanding is that the 'POP3 Servers' box on the 'Advanced' tab has no effect on what's in the Quarantine or what the admin sees in the Mail Manager.  It only affects what can be seen with the End User Portal.

If the FQDN of a mail server is in the 'POP3 Servers' box, the End User Portal can allow individual users to have access to the emails quarantined for each.  If 'Prefetch Mode' is enabled, the proxy grabs emails from the server regardless of whether the enduser's client is active, and the Astaro doesn't send an email every time an item is quarantined.

If my understanding is correct, then there must be a bug because both RFCat_vk and William were unable to Release from the Mail Manager when logged in as WebAdmins.

I would appreciate anyone correcting any misunderstanding.

Thanks - Bob

You're mostly right.

Entering a hostname in 'POP3 Servers' is necessary to track (and release) mails. In order to reliably map a proxied connection (with its IP address) to a server (which may have multiple IP addresses), a forward lookup of all its IP addresses is done. This behaviour has been introduced in 7.300 to make releasing of mails more reliable.

It's best practice to enter all used pop3 servers to be able to release mail, even if not using prefetch or End User Portal.

You're mostly right.

Entering a hostname in 'POP3 Servers' is necessary to track (and release) mails. In order to reliably map a proxied connection (with its IP address) to a server (which may have multiple IP addresses), a forward lookup of all its IP addresses is done. This behaviour has been introduced in 7.300 to make releasing of mails more reliable.

It's best practice to enter all used pop3 servers to be able to release mail, even if not using prefetch or End User Portal.

That confuses me a little.

As I understand it, the POP3 proxy is a transparent proxy that looks at incoming POP3 emails regardless of where they come from.  I don't understand why anything is needed in 'POP3 Servers' if one is not configuring the EUP.

Again, thanks for your explanations.

You're right if the proxy would only block malicious content like the http- and ftp-proxy does. For releasing, it has to insert the quarantined mail back into the proxied connection. If the tracking would only be done by means of the servers ip address, it wouldn't succeed if the server has multiple ip addresses and lead to unexpected behaviour.

OK, let me say that another way to make sure I understand...

Apparently, the POP3 proxy tracks quarantined emails by server IP instead of by domain name unless the FQDN of the mail server is indicated in 'POP3 Servers'.

So, if User1's Outlook has connected with a different Gmail server, he will be unable to release a spam from the quarantine email even though the email is addressed to User1@gmail.com.

-----

Now, I'm confused again.  Gmail.com has five different MX records, and five different FQDNs - none of which is in the gmail.com domain.  How would one configure the EUP if the email address is in a differnt domain?  How does listing one of the FQDNs help the POP3 proxy find the other ones?

Thanks for helping us here.  The documentation just doesn't do a very good job of giving the Gestalt of how the Astaro works.

Cheers - Bob

Apparently, the POP3 proxy tracks quarantined emails by server IP instead of by domain name unless the FQDN of the mail server is indicated in 'POP3 Servers'.

Mails are tracked only if the servers hostname is indicated in 'POP3 Servers'. Take the same hostname as entered in your mail client.

So, if User1's Outlook has connected with a different Gmail server, he will be unable to release a spam from the quarantine email even though the email is addressed to User1@gmail.com.

Email-addresses are only used for logging/displaying.

Gmail.com has five different MX records

MX records are for smtp-delivery. Gmail is a bad example anyway, because it's only accessible via SSL.

Bob, I think Frickler is saying that these are separate functions. You have the release to End User function - which you've covered.  But then you also have the "current state of this specific e-mail" function, and what that means for a multiple IP address pop3 server farm (so to speak).

Remember you haven't "removed" the pop3 e-mail from the pop3 server if your Astaro proxy has it.  When your computer's mail client does grab it from the proxy, the Astaro notifies the pop3 server that this has occurred.

However, if the mail server is represented by an FQDN pop3 pool, the "wrong" server might be notified and the "right" server might not. That can cause sync issues back at the (POP3 server) farm, as in - did you or did you not, download this message.

I'll repeat that I don't feel comfortable with my understanding of the Astaro POP3 proxy.

Mails are tracked only if the servers hostname is indicated in 'POP3 Servers'. Take the same hostname as entered in your mail client.

This just doesn't make sense to me.  Even if nothing is in 'POP3 Servers', emails can be put into the quarantine by the proxy, and an email is sent to the user for each email "captured" there.

However, if the mail server is represented by an FQDN pop3 pool, the "wrong" server might be notified and the "right" server might not. That can cause sync issues back at the (POP3 server) farm, as in - did you or did you not, download this message.

As I understand it, the server already knows that the the email was downloaded, and doesn't care what the user did with it.  If the user left it in the quarantine until it was deleted or if the user released it from the quarantine, the sending server doesn't know and doesn't care.

MX records are for smtp-delivery. Gmail is a bad example anyway, because it's only accessible via SSL.

Yes, I did confuse the issue with MX records, thanks. 

OK.  Let me try this again after thinking outloud in the above...

When an email is quarantined in the POP3 proxy, it cannot be released unless the proxy can establish contact with the sending service.  In the case of a service with a single server for sending and negotiating emails, the IP address of the sending server is adequate.

In the case of services with multiple servers, it is normally not the sending server that is authorized to negotiate contact with the Astaro.  The Astaro must have the FQDN of the service, and that is supplied on the 'Advanced' tab.

Am I getting closer?

Thanks - Bob

 . . .the server already knows that the the email was downloaded

Well, I could easily be wrong, but . . .

Without a proxy - when multiple pop3 e-mails are downloaded, and the transaction stops midway through, the next time a download happens, the download starts over again with the first of that grouping; not, where it failed. This is because the pop3 transaction doesn't notify the mail server that any individual email download was successful until the end of the entire transaction (of multiple e-mails).

I think the proxy exploits that function, and doesn't notify the pop server of a successful download of an e-mail until after said e-mail has been downloaded from the proxy to the workstation - which notifies the proxy, and in turn notifies the mail server.  I believe that this functionality is the fail safe against the proxy itself failing and the e-mail never getting delivered.  Until that happens, I believe the e-mail remains on the pop3 server for delivery.

That sounds like what I would expect with pre-fetch, but not the behavior when I click on an email to have it displayed.  Or are you saying that my Outlook actually downloads all emails when it connects?

Color me confused - Bob

POP3 in general
The pop3 protocol doesn't have a server-side tracking which mails have already been retrieved. A mail client typically retrieves a mail and deletes it on the server afterwards. If the client is configured to not delete mails, then the last step is omitted and the client keeps track of which mail it already has.

POP3 server not known to the proxy
If a mail gets caught, the proxy replaces it with a notification right away in the same connection. The quarantined mail can be viewed in mail manager, but is not associated to a server or account and therefor can't be released in a later connection.

POP3 server known to the proxy (prefetch disabled)
Same as above, but the proxy keeps track which quarantined mail belongs to which server/account. So it can be released if the client polls the mailbox next time. For this to work, the proxy has to savely identify which ip addresses belong to which server (FQDN which you have entered in your mailclient).

POP3 server known to the proxy (prefetch enabled)
The connection between client and server is asynchron. The proxy only presents clean mails to the client, which it has downloaded before. It keeps track of which mails it already have. Clean mails gets only deleted on the server if there has been a delete command from the client before. There will be no notification for each single quarantined mail, instead there is a daily quarantine report.

POP3 server not known to the proxy
If a mail gets caught, the proxy replaces it with a notification right away in the same connection. The quarantined mail can be viewed in mail manager, but is not associated to a server or account and therefor can't be released in a later connection.

POP3 server known to the proxy (prefetch disabled)
Same as above, but the proxy keeps track which quarantined mail belongs to which server/account. So it can be released if the client polls the mailbox next time. For this to work, the proxy has to savely identify which ip addresses belong to which server (FQDN which you have entered in your mailclient).

Thank you for continuing to define clearly how the POP3 proxy functions.  Again, restating to make sure I understand...

There is an error in the design of the menus and documentation for the Astaro POP3 Proxy.  The proxy is virtually useless unless it knows the 'POP3 Servers' being used by POP3 clients behind the Astaro.  The list should be on the 'Global' tab along with an indication that quarantined emails cannot be released for POP3 servers unless they are included in this list.

Is that correct?

- - - - - 

I actually like this "limitation" of only allowing release from explicitly-indicated servers.  No organization uses Gmail for corporate purposes.  The only interest it has is limiting its exposure to malware.  If it chooses to allow endusers to access personal Gmail accounts, it should not worry about helping them manage spam.  The home user can add whatever public email services the family should have, so this is no limitation to reasonable use.

Cheers - Bob