This discussion has been locked.
You can no longer post new replies to this discussion. If you have a question you can start a new discussion

[9.106-17] POP3 Proxy Database Failure

Tonight i've updated a Hot-Standby Cluster to Version 9.106-17.
Now the POP3 Proxy ist nearly useless.

First i've got some Messages from a POP Download that it couldn't revice some Mails. But only 1 Message in 30 minutes and only from one account, so i thought it may be a Problem with the remote Server.
But then after about 5 hours i've got a Message every 30 seconds that de Download couldn't get Mails an now every Account has this issue.

I've looked in the POP3 Proxy Log and saw this:


2013:11:07-11:31:03 fw01-1 pop3proxy[28566]: SslClient 10.19.1.10 has closed the connection
2013:11:07-11:31:03 fw01-1 pop3proxy[28570]: Accepted client connection from 10.19.1.10 for 195.186.99.42 (pop.bluewin.ch Servers server_id 2)
2013:11:07-11:31:03 fw01-1 pop3proxy[28570]: ***************@bluewin.ch logged in (account 7)
2013:11:07-11:31:03 fw01-1 pop3proxy[28570]: Database error: ERROR: missing chunk number 1 for toast value 594034 in pg_toast_2619
2013:11:07-11:31:03 fw01-1 pop3proxy[28570]: Failed to shutdown SSL connection
2013:11:07-11:31:09 fw01-1 pop3proxy[28596]: Accepted client connection from 10.19.1.10 for 46.163.106.132 (mail.**********.ch Servers server_id 5)
2013:11:07-11:31:09 fw01-1 pop3proxy[28596]: Client 10.19.1.10 has closed the connection
2013:11:07-11:31:09 fw01-1 pop3proxy[28598]: Accepted client connection from 10.19.1.10 for 46.163.106.132 (mail.**********.ch Servers server_id 5)
2013:11:07-11:31:09 fw01-1 pop3proxy[28598]: ***************@********.ch logged in (account 8)
2013:11:07-11:31:09 fw01-1 pop3proxy[28598]: Database error: ERROR: missing chunk number 1 for toast value 594034 in pg_toast_2619



I've shutdown the Master Node and Switched to my second Node:

2013:11:07-11:31:09 fw01-1 pop3proxy[28598]: *******@*******.ch logged in (account 8)
2013:11:07-11:31:09 fw01-1 pop3proxy[28598]: Database error: ERROR: missing chunk number 1 for toast value 594034 in pg_toast_2619
2013:11:07-11:32:12 fw01-2 pop3proxy[14076]: Accepted client connection from 10.19.1.10 for 94.126.16.19 (mail.spe*****.ch Servers server_id 3)
2013:11:07-11:32:12 fw01-2 pop3proxy[14076]: SslClient 10.19.1.10 has closed the connection
2013:11:07-11:32:12 fw01-2 pop3proxy[14076]: Database error: ERROR: cannot execute UPDATE in a read-only transaction
2013:11:07-11:32:12 fw01-2 pop3proxy[2941]: Client 14076 exited with return code 1
2013:11:07-11:32:12 fw01-2 pop3proxy[14092]: Accepted client connection from 10.19.1.10 for 94.126.16.19 (mail.spe*****.ch Servers server_id 3)
2013:11:07-11:32:13 fw01-2 pop3proxy[14092]: Database error: ERROR: cannot execute UPDATE in a read-only transaction
2013:11:07-11:32:13 fw01-2 pop3proxy[14092]: Database error: ERROR: cannot execute UPDATE in a read-only transaction
2013:11:07-11:32:15 fw01-1 pop3proxy[5276]: Master terminated



As i can see there where some Errors while switching the Nodes. After Node2 took over, everything seems to work fine

But now: when i Switch back to the First Node, everything is working fine, but only for about 1 Hour. After that, i have the same Errors in the Logfile and i can reswitch to Node2 and do the same process again.

Is there a Bug in the new 9.106-17 and how can i Fix this??


EDIT: Now that i reswitched to Node2 again, the POP3 Proxy doesn't take the POP Connection, the POP Downloader takes the E-Mails directly from the POP3 Server and is downloading and sending all blocked E-Mails which are in the Quarantain, because there wheren't deleted from the Server??? Realy frustrating....



EDIT2: POP3 Proxy has not been started after Switching to Node2 again, so the Download was getting the Mails directly from the POP Server. After Starting Disabling and Enabling the Proxy again it works fine on Node2 at the moment.. But i think this is also a question of Time...


EDIT3: And now after 45 minutes, the Second Node is showing the same Errors in the Logfile and the POP3 Proxy does not work anymore.


This thread was automatically locked due to age.
Parents
  • I just noticed that there are some Errors in the System Message Log:

    2013:11:09-15:56:58 fw01-1 postgres[24261]: [3-1] ERROR: missing chunk number 0 for toast value 589541 in pg_toast_2619
    
    2013:11:09-15:56:58 fw01-1 postgres[24261]: [3-2] CONTEXT: automatic analyze of table "reporting.pg_catalog.pg_attribute"
    2013:11:09-15:57:39 fw01-1 postgres[24353]: [3-1] ERROR: missing chunk number 1 for toast value 594034 in pg_toast_2619
    2013:11:09-15:57:39 fw01-1 postgres[24353]: [3-2] CONTEXT: automatic analyze of table "pop3.public.messages"
    2013:11:09-15:57:58 fw01-1 postgres[24381]: [3-1] ERROR: missing chunk number 0 for toast value 589541 in pg_toast_2619
    2013:11:09-15:57:58 fw01-1 postgres[24381]: [3-2] CONTEXT: automatic analyze of table "reporting.pg_catalog.pg_attribute"
    2013:11:09-15:58:39 fw01-1 postgres[24446]: [3-1] ERROR: missing chunk number 1 for toast value 594034 in pg_toast_2619
    2013:11:09-15:58:39 fw01-1 postgres[24446]: [3-2] CONTEXT: automatic analyze of table "pop3.public.messages"
    2013:11:09-15:58:58 fw01-1 postgres[24473]: [3-1] ERROR: missing chunk number 0 for toast value 589541 in pg_toast_2619
    2013:11:09-15:58:58 fw01-1 postgres[24473]: [3-2] CONTEXT: automatic analyze of table "reporting.pg_catalog.pg_attribute"


    Has someone a idee how to fix this?
    When there is no fix, i will re-image the Firewalls, maybe it's better either way.
Reply
  • I just noticed that there are some Errors in the System Message Log:

    2013:11:09-15:56:58 fw01-1 postgres[24261]: [3-1] ERROR: missing chunk number 0 for toast value 589541 in pg_toast_2619
    
    2013:11:09-15:56:58 fw01-1 postgres[24261]: [3-2] CONTEXT: automatic analyze of table "reporting.pg_catalog.pg_attribute"
    2013:11:09-15:57:39 fw01-1 postgres[24353]: [3-1] ERROR: missing chunk number 1 for toast value 594034 in pg_toast_2619
    2013:11:09-15:57:39 fw01-1 postgres[24353]: [3-2] CONTEXT: automatic analyze of table "pop3.public.messages"
    2013:11:09-15:57:58 fw01-1 postgres[24381]: [3-1] ERROR: missing chunk number 0 for toast value 589541 in pg_toast_2619
    2013:11:09-15:57:58 fw01-1 postgres[24381]: [3-2] CONTEXT: automatic analyze of table "reporting.pg_catalog.pg_attribute"
    2013:11:09-15:58:39 fw01-1 postgres[24446]: [3-1] ERROR: missing chunk number 1 for toast value 594034 in pg_toast_2619
    2013:11:09-15:58:39 fw01-1 postgres[24446]: [3-2] CONTEXT: automatic analyze of table "pop3.public.messages"
    2013:11:09-15:58:58 fw01-1 postgres[24473]: [3-1] ERROR: missing chunk number 0 for toast value 589541 in pg_toast_2619
    2013:11:09-15:58:58 fw01-1 postgres[24473]: [3-2] CONTEXT: automatic analyze of table "reporting.pg_catalog.pg_attribute"


    Has someone a idee how to fix this?
    When there is no fix, i will re-image the Firewalls, maybe it's better either way.
Children
No Data