Thread Info
  • State Not Answered
  • Locked Locked
  • Replies 14 replies
  • Subscribers 2 subscribers
  • Views 31000 views
  • Users 0 members are here
Options
Suggested
This discussion has been locked.
You can no longer post new replies to this discussion. If you have a question you can start a new discussion

ASG320: Disk Space Full and 100% CPU Load

UweT
Hello Helpers,

we have got an ASG320, v.7.509 and experiencing:

- end user disconnections (no proxy connection)
- long loading times if there is a conenction
- cpu overload to access the Astaro's web management surface
- high PING times to external webpages 
- 0 MB empty disk space on the Astaro. 

I assume the device has internal logging problems and that harms the device and performance and end users... finally the enterprise's productivity in general.

Although I restarted the device, set the amount of days to keep the logs archived to "3" and although I deleted most of the big log files the disk is still full (36GB!). 

What uses that much disk space on the Astaro?
Where can I find it or how can i identify it?
How do I delete it?

I am already using an external log server using a SMB share. But this only duplicates the log files as I found out.

We need help over here as soon as possible and I don't have a solution to provide.

Best regards,
--Uwe


This thread was automatically locked due to age.
  • 0
    1)  Try a reboot and see if it helps.

    2)  This can be caused by database corruption.  I had this happen once to me.   https://support.astaro.com/support/index.php/User_Contributed:Finding_large_tables
    https://support.astaro.com/support/index.php/Advanced_Database_Troubleshooting
    Since you have an appliance with subscriptions, you also have a support contract.  The quickest and easiest means of getting this resolved with your current install,if this is db coruption, is to contact Astaro support.  Astaro Support Hotline.  They will be able to remote into the system and get this fixed quickly.  
    If you don't mind losing log data (which may happen anyway if corrupted), you can make a current config backup, download it to your management PC, reinstall Astaro from ISO, upload and apply config backup.

    3)  Double check your logging and reporting settings and thresholds.
    __________________
    ACE v8/SCA v9.3

    ...still have a v5 install disk in a box somewhere.

    http://xkcd.com
    http://www.tedgoff.com/mb
    http://www.projectcartoon.com/cartoon/1
  • 0
    Please login via SSH and enter following command:

    df -h

    Please post the output.
  • 0
    Hi there!

    I already rebooted as written above. That is what is frustrating me. Look at this:


    disgwac:/var/log # df -h
    Filesystem            Size  Used Avail Use% Mounted on
    rootfs                5.3G  1.7G  3.4G  34% /
    udev                  503M   68K  502M   1% /dev
    /dev/disk/by-label/root
                          5.3G  1.7G  3.4G  34% /
    /dev/disk/by-label/boot
                          342M   14M  311M   5% /boot
    /dev/disk/by-label/storage
                           27G  3.1G   23G  13% /var/storage
    /dev/disk/by-label/log
                           36G   35G     0 100% /var/log
    /dev/disk/by-label/tmp
                          1.8G   40M  1.7G   3% /tmp
    tmpfs                 503M   24K  503M   1% /var/storage/chroot-smtp/tmp/ram


    disgwac:/var/log # ls -rth -l
    total 201M
    drwx------  2 root root  16K Sep 28  2007 lost+found
    drwxrwx---  3 root log  4.0K Apr  2 00:00 xorp
    drwxrwx---  3 root log  4.0K Apr  2 00:00 xinetd
    drwxrwx---  3 root log  4.0K Apr  2 00:00 wireless
    drwxrwx---  3 root log  4.0K Apr  2 00:00 user_prefetch
    drwxrwx---  3 root log  4.0K Apr  2 00:00 ufod
    drwxrwx---  3 root log  4.0K Apr  2 00:00 u2dcache
    drwxrwx---  3 root log  4.0K Apr  2 00:00 sshd
    drwxrwx---  3 root log  4.0K Apr  2 00:00 squid
    drwxrwx---  3 root log  4.0K Apr  2 00:00 spamd
    drwxrwx---  3 root log  4.0K Apr  2 00:00 sockd
    drwxrwx---  3 root log  4.0K Apr  2 00:00 red
    drwxrwx---  3 root log  4.0K Apr  2 00:00 qa-logging
    drwxrwx---  3 root log  4.0K Apr  2 00:00 pptpd
    drwxrwx---  3 root log  4.0K Apr  2 00:00 pppoa
    drwxrwx---  3 root log  4.0K Apr  2 00:00 pppd
    drwxrwx---  3 root log  4.0K Apr  2 00:00 pop3
    drwxrwx---  3 root log  4.0K Apr  2 00:00 ospf
    drwxrwx---  3 root log  4.0K Apr  2 00:00 openvpn
    drwxrwx---  3 root log  4.0K Apr  2 00:00 named
    drwxrwx---  3 root log  4.0K Apr  2 00:00 login
    drwxrwx---  3 root log  4.0K Apr  2 00:00 kernel
    drwxrwx---  3 root log  4.0K Apr  2 00:00 ips
    drwxrwx---  3 root log  4.0K Apr  2 00:00 identd
    drwxrwx---  3 root log  4.0K Apr  2 00:00 httpd
    drwxrwx---  3 root log  4.0K Apr  2 00:00 high-availability
    drwxrwx---  3 root log  4.0K Apr  2 00:00 ftp
    drwxrwx---  3 root log  4.0K Apr  2 00:00 fallback
    drwxrwx---  3 root log  4.0K Apr  2 00:00 exim
    drwxrwx---  3 root log  4.0K Apr  2 00:00 dhcpd
    drwxrwx---  3 root log  4.0K Apr  2 00:00 device-agent
    drwxrwx---  3 root log  4.0K Apr  2 00:00 boot
    drwxrwx---  3 root log  4.0K Apr  2 00:00 aua
    drwxrwx---  3 root log  4.0K Apr  2 00:00 afc
    drwxrwx---  3 root log  4.0K Apr  2 00:00 acm
    drwxrwx---  3 root log  4.0K Apr  2 00:00 accd
    drwxrwx---  3 root log  4.0K Apr  3 00:00 up2date
    drwxrwx---  3 root log  4.0K Apr  3 00:00 system
    drwxrwx---  3 root log  4.0K Apr  3 00:00 smtp
    drwxrwx---  3 root log  4.0K Apr  3 00:00 service_monitor
    drwxrwx---  3 root log  4.0K Apr  3 00:00 selfmon
    drwxrwx---  3 root log  4.0K Apr  3 00:00 pppoe
    drwxrwx---  3 root log  4.0K Apr  3 00:00 packetfilter
    drwxrwx---  3 root log  4.0K Apr  3 00:00 notifier
    drwxrwx---  3 root log  4.0K Apr  3 00:00 mdw
    drwxrwx---  3 root log  4.0K Apr  3 00:00 logging
    drwxrwx---  3 root log  4.0K Apr  3 00:00 ipsec
    drwxrwx---  3 root log  4.0K Apr  3 00:00 http
    drwxrwx---  3 root log  4.0K Apr  3 00:00 confd
    -rw-rw----  1 root log     0 Jun  7 00:00 xorp.log
    -rw-rw----  1 root log     0 Jun  7 00:00 xinetd.log
    -rw-rw----  1 root log     0 Jun  7 00:00 wireless.log
    -rw-rw----  1 root log     0 Jun  7 00:00 user_prefetch.log
    -rw-rw----  1 root log     0 Jun  7 00:00 ufod.log
    -rw-rw----  1 root log     0 Jun  7 00:00 u2dcache.log
    -rw-rw----  1 root log     0 Jun  7 00:00 squid.log
    -rw-rw----  1 root log     0 Jun  7 00:00 spamd.log
    -rw-rw----  1 root log     0 Jun  7 00:00 sockd.log
    -rw-rw----  1 root log     0 Jun  7 00:00 red.log
    -rw-rw----  1 root log     0 Jun  7 00:00 qa-logging.log
    -rw-rw----  1 root log     0 Jun  7 00:00 pppoa.log
    -rw-rw----  1 root log     0 Jun  7 00:00 pppd.log
    -rw-rw----  1 root log     0 Jun  7 00:00 pop3.log
    -rw-rw----  1 root log     0 Jun  7 00:00 ospf.log
    -rw-rw----  1 root log     0 Jun  7 00:00 identd.log
    -rw-rw----  1 root log     0 Jun  7 00:00 high-availability.log
    -rw-rw----  1 root log     0 Jun  7 00:00 ftp.log
    -rw-rw----  1 root log     0 Jun  7 00:00 exim.log
    -rw-rw----  1 root log     0 Jun  7 00:00 device-agent.log
    -rw-rw----  1 root log     0 Jun  7 00:00 afc.log
    -rw-rw----  1 root log     0 Jun  7 00:00 acm.log
    -rw-rw----  1 root log     0 Jun  7 00:00 accd.log
    -rw-r-----  1 root log   22K Jun  7 09:00 boot.log
    -rw-r-----  1 root log   151 Jun  7 09:01 pptpd.log
    -rw-r-----  1 root log  3.7K Jun  7 09:01 pppoe.log
    -rw-r-----  1 root log  1.6K Jun  7 09:01 logging.log
    -rw-r-----  1 root log  9.2K Jun  7 09:02 service_monitor.log
    -rw-r-----  1 root log  6.5K Jun  7 09:09 kernel.log
    -rw-r-----  1 root log   687 Jun  7 09:34 aua.log
    -rw-r-----  1 root log  1.3K Jun  7 10:56 login.log
    -rw-r-----  1 root log   15K Jun  7 11:02 openvpn.log
    -rw-r-----  1 root log   52K Jun  7 11:12 ipsec.log
    -rw-r-----  1 root log   97K Jun  7 11:14 mdw.log
    -rw-r-----  1 root log  1.9K Jun  7 11:14 sshd.log
    -rw-r-----  1 root log   21K Jun  7 11:14 fallback.log
    -rw-r-----  1 root log   15K Jun  7 11:14 notifier.log
    drwxr-xr-x 10 root root 4.0K Jun  7 11:15 reporting
    -rw-r-----  1 root log   94K Jun  7 11:17 selfmon.log
    -rw-r-----  1 root log  404K Jun  7 11:17 ips.log
    -rw-r-----  1 root log  592K Jun  7 11:17 named.log
    -rw-r-----  1 root log  386K Jun  7 11:17 dhcpd.log
    -rw-r-----  1 root log  226K Jun  7 11:18 smtp.log
    -rw-r-----  1 root log  127K Jun  7 11:18 up2date.log
    -rw-r-----  1 root log   12M Jun  7 11:18 system.log
    -rw-r-----  1 root log   21M Jun  7 11:18 packetfilter.log
    -rw-r-----  1 root log   13M Jun  7 11:18 httpd.log
    -rw-r-----  1 root log   63M Jun  7 11:18 confd.log
    -rw-r-----  1 root log   91M Jun  7 11:18 http.log


    So tell me: Where is the rest of 35GB - 201MB ?


    I no created a support ticket, too.
  • 0
    Okay it's the log-partition...next command:

    du -sh /var/log/
  • 0
    Update: Astaro Support only helps resellers or partners. We as an end user would have to pay.

    My reseller is not available today.

    BUT I have found out that 34 GB is being used in the 
    /var/log/reporting/pgsql/16519  directory on the log disk.

    Thse are the monitoring trend charts?

    Does it rotate? What happens if I delete the folder's content? But I do not want to lose any reporting data over the former long period.

    OR: Is IT the actual problem? But at least reporting and daily (web filter, packet filter...) logs are being saved on the same disk, aren't they?
  • 0
    Details:


    disgwac:/var/log # du -h -a --max-depth=1
    384K    ./kernel
    16K     ./openvpn.log
    3.3M    ./smtp
    388K    ./service_monitor
    384K    ./user_prefetch
    944M    ./http
    0       ./device-agent.log
    104K    ./selfmon.log
    1.1M    ./mdw
    34G     ./reporting
    384K    ./acm
    392K    ./logging
    384K    ./u2dcache
    384K    ./qa-logging
    388K    ./pppoe
    11M     ./confd
    4.0K    ./sshd.log
    0       ./xinetd.log
    412K    ./ips.log
    760K    ./selfmon
    4.0K    ./logging.log
    384K    ./sockd
    384K    ./pop3
    0       ./wireless.log
    0       ./squid.log
    0       ./identd.log
    0       ./ospf.log
    1.6M    ./ips
    4.0K    ./login.log
    384K    ./sshd
    384K    ./afc
    12K     ./service_monitor.log
    384K    ./wireless
    384K    ./exim
    0       ./pop3.log
    4.0K    ./pppoe.log
    0       ./pppoa.log
    0       ./high-availability.log
    0       ./acm.log
    384K    ./accd
    384K    ./ftp
    0       ./accd.log
    0       ./ufod.log
    392K    ./notifier
    23M     ./packetfilter.log
    468K    ./fallback
    600K    ./named.log
    0       ./u2dcache.log
    1.5M    ./up2date
    108K    ./mdw.log
    24K     ./fallback.log
    0       ./ftp.log
    13M     ./httpd.log
    384K    ./ospf
    8.0K    ./kernel.log
    384K    ./xinetd
    384K    ./ufod
    2.9M    ./dhcpd
    1.2M    ./httpd
    13M     ./system.log
    384K    ./red
    66M     ./system
    20K     ./notifier.log
    384K    ./pppoa
    384K    ./xorp
    0       ./spamd.log
    820K    ./named
    4.0K    ./pptpd.log
    0       ./qa-logging.log
    384K    ./high-availability
    396K    ./openvpn
    0       ./afc.log
    384K    ./pppd
    384K    ./spamd
    60K     ./ipsec.log
    384K    ./boot
    384K    ./device-agent
    0       ./xorp.log
    0       ./exim.log
    0       ./user_prefetch.log
    384K    ./pptpd
    436K    ./dhcpd.log
    0       ./red.log
    240K    ./smtp.log
    384K    ./identd
    66M     ./packetfilter
    0       ./sockd.log
    384K    ./aua
    16K     ./lost+found
    4.0K    ./aua.log
    64M     ./confd.log
    764K    ./ipsec
    136K    ./up2date.log
    101M    ./http.log
    384K    ./login
    0       ./pppd.log
    24K     ./boot.log
    384K    ./squid
    35G     .


    disgwac:/var/log/reporting # du -h -a --max-depth=1
    384K    ./meta
    34G     ./pgsql
    4.0K    ./adbs
    4.0K    ./exec
    1.2M    ./images
    136K    ./inline
    28K     ./accu
    3.0M    ./rrd
    34G     .


    disgwac:/var/log/reporting # cd pgsql
    disgwac:/var/log/reporting/pgsql # du -h -a --max-depth=1
    34G     ./16519
    34G     .


    disgwac:/var/log/reporting/pgsql # cd 16519
    disgwac:/var/log/reporting/pgsql/16519 # du -h -a --max-depth=1
    953M    ./43397.4
    1.1G    ./16525.20
    14M     ./16655
    276K    ./16733
    23M     ./16644
    6.1M    ./16723
    1.1G    ./16525.15
    140K    ./16632
    16K     ./16543
    1.1G    ./43398
    1.1G    ./16525.2
    1.1G    ./16525.17
    1.1G    ./16525.22
    8.0K    ./43399
    1.1G    ./16525.9
    1.1G    ./16525.11
    6.4M    ./16696
    100K    ./16736
    4.1M    ./16722
    49M     ./16525.23
    8.2M    ./16683
    1.1G    ./43397.3
    1.1G    ./43398.2
    85M     ./16670
    1.1G    ./43397.1
    1.1G    ./43398.1
    8.9M    ./16684
    1.1G    ./16525.12
    260K    ./16735
    20M     ./16713
    1.1G    ./16525.5
    16K     ./16550
    1.1G    ./16525.10
    164K    ./16710
    1.1G    ./16525.6
    7.7M    ./16648
    9.4M    ./16697
    32K     ./16709
    1.1G    ./16525.4
    9.1M    ./16611
    276M    ./43398.4
    0       ./16534
    0       ./16623
    1.4M    ./16618
    16K     ./16552
    1.1G    ./16525.3
    12M     ./16657
    1.4M    ./16620
    15M     ./16658
    4.0M    ./16720
    1.1G    ./43398.3
    1.1G    ./16525.18
    8.0K    ./43400
    28M     ./16645
    48K     ./16707
    1.1G    ./43397.2
    1.1G    ./43397
    24M     ./16687
    3.0M    ./16630
    1.1G    ./16525.7
    1.1G    ./16525.1
    1.1G    ./16525.14
    22M     ./16642
    1.1G    ./16525.19
    452K    ./16635
    10M     ./16681
    1.1G    ./16525
    1.1G    ./16525.13
    6.2M    ./16694
    378M    ./16661
    1.1G    ./16525.16
    1.1G    ./16525.21
    118M    ./16671
    81M     ./16668
    1.1G    ./16525.8
    34G     .
  • 0
    The reporting database has crashed - that's the problem. Remember: There is no way to regain the reportings - but no problem.

    Please rebuild the database with following commands - line by line:

    /etc/init.d/postgresql stop
    rm -fr /var/log/reporting/pgsql
    /etc/init.d/postgresql start
    mkdir /var/log/reporting/pgsql
    chown postgres[:P]ostgres /var/log/reporting/pgsql
    /var/storage/pgsql/init/reporting_db_init.sh -v

    After that everything is fine again and also your reporting will work again.
  • 0 in reply to buddy007
    Hi Buddy,

    probably you are my saviour!

    Before I do that I want to backup this data. How can I copy these files to a Windows SMB share? I tried mounting a USB disk but when connecting it to the Astaro there is no /dev/... in the folder structure.

    Can I connect to a net share directly? or via SFTP?
  • 0
    You're welcome.

    How to mount a USB flash drive:

    1) Plugin the USB flash drive
    2) Enter the command: dmesg
        
    check the last loglines here, you should see such like this:

    usb-storage: device found at 3
    usb-storage: waiting for device to settle before scanning
      Vendor: SanDisk   Model: U3 Cruzer Micro   Rev: 2.18
      Type:   Direct-Access                      ANSI SCSI revision: 02
    SCSI device sda: 4013713 512-byte hdwr sectors (2055 MB)
    sda: Write Protect is off
    sda: Mode Sense: 03 00 00 00
    sda: assuming drive cache: write through
    SCSI device sda: 4013713 512-byte hdwr sectors (2055 MB)
    sda: Write Protect is off
    sda: Mode Sense: 03 00 00 00
    sda: assuming drive cache: write through
     sda: sda1

    sda1 = USB flash drive

    3) Create a directory which you want mount: e.g. mkdir /var/storage/usb
    4) Mount the USB flash drive: e.g. mount /dev/sda1 /var/storage/usb

    Finally you can copy all data to /var/storage/usb

    But as I told you, this database is crashed - there is no way to get the data back. Is the reporting very important for you?
  • 0 in reply to buddy007
    Wow, this information could be useful I guess :-D

    Well, reporting is interesting for future evaluations because we are in a network infrastructure migration process. In short: Is there any possibility to backup the data that it can be used somewhere else?

    I think of capturing screenshots of the trend charts (daily, monthly, yearly, network, harddisk usage...).

    Is there any other data that is used by the reporting engine? What else does it cover? Executive reports?

    Thank you for your great support!
Unfiltered HTML