Juniper mx80 - filesystem full

Juniper logo

После внесения очередных изменений в конфигурацию маршрутизатора Juniper MX80, отправил комманду на применения изменений, однако в результате получил следующую ошибку применения конфигурации:

muff@router# commit
error: could not open configuration database (juniper.data+)

И хотя был уверен, что не допустил ошибок в коммандах конфигурации, решил посмотреть, какие именно изменения будут применяться. Однако, снова ошибка:

muff@router# show | compare
error: file copy of database failed

И здесь уже явно понятно, что проблема не с конфигурацией, а более глобальна. Похоже на проблемы с файловой системой. Проверим, возможно есть записи в логах:

muff@router# run show log messages

Полистав логи, обнаружил примерно следующие записи:

Mar 21 20:22:06 router /kernel: pid 52932 (mgd), uid 0 inumber 117767 on /var: filesystem full
Mar 21 20:22:15 router mgd[52932]: UI_COMMIT: User 'muff' requested 'commit' operation (comment: none)
Mar 21 20:22:16 router /kernel: pid 52932 (mgd), uid 0 inumber 117767 on /var: filesystem full
Mar 21 20:22:58 router /kernel: pid 52932 (mgd), uid 0 inumber 117767 on /var: filesystem ful

Подозрения оправдались. На файловой системе переполнился раздел /var. Попробуем разобраться в сложившейся ситуации.

Перейдем в UNIX shell под аккаунтом root:

muff@router> start shell user root
Password:

Выведем информацию о файловых системах:

root@router% df -h

Filesystem     Size    Used   Avail Capacity  Mounted on
/dev/da0s1a    885M    132M    682M    16%    /
devfs          1.0K    1.0K      0B   100%    /dev
/dev/md0        57M     57M      0B   100%    /packages/mnt/jbase
/dev/md1       189M    189M      0B   100%    /packages/mnt/jkernel-ppc-12.3R3.4
/dev/md2        38M     38M      0B   100%    /packages/mnt/jpfe-MX80-12.3R3.4
/dev/md3       6.2M    6.2M      0B   100%    /packages/mnt/jdocs-12.3R3.4
/dev/md4        63M     63M      0B   100%    /packages/mnt/jroute-ppc-12.3R3.4
/dev/md5        12M     12M      0B   100%    /packages/mnt/jcrypto-ppc-12.3R3.4
/dev/md6       2.7G    8.0K    2.5G     0%    /tmp
/dev/md7       2.7G     18M    2.5G     1%    /mfs
/dev/da0s1e     98M    136K     90M     0%    /config
procfs         4.0K    4.0K      0B   100%    /proc
/dev/da1s1f    2.7G    2.7G   -220M   109%    /var

Попробуем разобраться, что именно "скушало" свободное место на разделе:

root@router% du -h

2.0K    ./.snap
2.0K    ./bin
 55M    ./crash
2.0K    ./cron/tabs
4.0K    ./cron
1.3M    ./db/config
2.0K    ./db/help
2.0K    ./db/fsad
2.0K    ./db/certs/common/key-pair
2.0K    ./db/certs/common/local
2.0K    ./db/certs/common/certificate-request
2.0K    ./db/certs/common/certification-authority
2.0K    ./db/certs/common/crl
 12K    ./db/certs/common
4.0K    ./db/certs/system-key-pair
4.0K    ./db/certs/system-cert
 28K    ./db/certs
2.0K    ./db/commit-queue
2.0K    ./db/entropy
2.0K    ./db/ext
2.0K    ./db/gtpcd
2.0K    ./db/leases
2.0K    ./db/scripts/commit
2.0K    ./db/scripts/event
2.0K    ./db/scripts/op
2.0K    ./db/scripts/lib
 10K    ./db/scripts
2.0K    ./db/zoneinfo
1.5M    ./db
2.0K    ./empty
6.0K    ./home/muff
 12K    ./home
2.0K    ./log/flowc/failed
4.0K    ./log/flowc
2.0K    ./log/ext
2.0K    ./log/ggsn/gtppcdr
4.0K    ./log/ggsn
6.4M    ./log
377M    ./sw/pkg
377M    ./sw
2.0K    ./tmp/vi.recover
126K    ./tmp/gres-tp
2.0K    ./tmp/rtsdb
2.0K    ./tmp/usb
2.0K    ./tmp/install
2.0K    ./tmp/pics
2.3G    ./tmp
2.0K    ./account
2.0K    ./at/jobs
2.0K    ./at/spool
6.0K    ./at
2.0K    ./backups
2.0K    ./transfer/config
4.0K    ./transfer
2.0K    ./heimdal
2.0K    ./jail
2.0K    ./mail
2.0K    ./msgs
2.0K    ./named
2.0K    ./preserve
2.0K    ./validate
2.0K    ./logical-systems
2.0K    ./rwho
2.0K    ./spool/lock
2.0K    ./spool/lpd
2.0K    ./spool/mqueue
2.0K    ./spool/opielocks
2.0K    ./spool/output/lpd
4.0K    ./spool/output
 14K    ./spool
2.0K    ./yp
2.0K    ./rundb/private
 26M    ./rundb
2.0K    ./.downgrade/run
2.0K    ./.downgrade/etc/filters
4.0K    ./.downgrade/etc
8.0K    ./.downgrade
408K    ./pdb
2.7G    .

Из доступных на разделе 2,7 GB дискового пространства, на каталог tmp приходится 2,3 GB. Проверим, какие именно файлы находятся в этом каталоге и сколько они "весят":

root@router% ls -la

total 4722316
drwxrwxrwt   8 root  field       1024 Mar 21 13:22 .
drwxr-xr-x  30 root  wheel        512 Oct 20 06:03 ..
-rw-r--r--   1 root  field         30 Jul 19  2013 ex.txt
drwxr-xr-x   2 root  field        512 Jul 19  2013 gres-tp
drwxrwxrwx   2 root  wheel        512 Dec  6  2013 install
-rw-r--r--   1 root  wheel  149431931 Dec  6  2013 jinstall-ppc-12.3R3.4-domestic-signed.tgz
-rw-r--r--   1 root  field        155 Nov 28  2013 krt_gencfg_filter.txt
-rw-rw----   1 root  field   12382208 Jun  2  2014 l2ald.core.0
drwxrwxrwx   2 root  wheel        512 Dec  6  2013 pics
-rw-r--r--   1 root  wheel       4054 Jan 15  2014 ppe_trap_fpc0_pfe0_lu0.0
-rw-r--r--   1 root  wheel       4109 Oct 22 09:00 ppe_trap_fpc0_pfe0_lu0.1
-rw-r--r--   1 root  wheel     130048 Nov 28 17:28 ppe_trap_fpc0_pfe0_lu0.2
-rw-r--r--   1 root  wheel     130697 Dec 12 02:25 ppe_trap_fpc0_pfe0_lu0.3
-rw-r--r--   1 root  wheel     129190 Feb 27 15:50 ppe_trap_fpc0_pfe0_lu0.4
-r--r--r--   1 root  field        237 Dec  6  2013 preinstall_boot_loader.conf
-rw-rw----   1 root  field  684576768 Mar 12 19:30 rpd.core.0
-rw-rw----   1 root  field  684576768 Mar 16 06:48 rpd.core.1
-rw-rw----   1 root  field  684576768 Mar 16 07:01 rpd.core.2
-rw-rw----   1 root  field  201064448 Mar 21 09:50 rpd.core.3
-rw-rw----   1 root  field       4096 Mar 21 13:36 rpd.core.4
drwxr-xr-x   2 root  field        512 Jul 19  2013 rtsdb
-rw-r-----   1 root  field        178 Mar 18  2014 sampled.pkts
drwxr-xr-x   2 root  field        512 Dec  6  2013 usb
drwxrwxrwt   2 root  wheel        512 Jul 19  2013 vi.recover

Core-файлы создаются автоматически, когда процесс авайрийно завершается из-за возникновении критической ошибки. Разбираться с проблемами падения rpd (routing protocol daemon) будем потом, а на данный момент необходимо освободить дисковое пространство.

Скопируем core-файл на FTP-сервер для последующего анализа (копирование виполняем не из UNIX shell):

muff@router> file copy /var/tmp/rpd.core.2 ftp://LOGIN:PASS@ftp.example.com

Удалим core-файлы для освобождения дискового пространства:

root@router% rm /var/tmp/rpd.core.*

Проверим, сколько дискового пространства освободилось в результате наших манипуляций:

root@router% df -h

Filesystem     Size    Used   Avail Capacity  Mounted on
/dev/da0s1a    885M    132M    682M    16%    /
devfs          1.0K    1.0K      0B   100%    /dev
/dev/md0        57M     57M      0B   100%    /packages/mnt/jbase
/dev/md1       189M    189M      0B   100%    /packages/mnt/jkernel-ppc-12.3R3.4
/dev/md2        38M     38M      0B   100%    /packages/mnt/jpfe-MX80-12.3R3.4
/dev/md3       6.2M    6.2M      0B   100%    /packages/mnt/jdocs-12.3R3.4
/dev/md4        63M     63M      0B   100%    /packages/mnt/jroute-ppc-12.3R3.4
/dev/md5        12M     12M      0B   100%    /packages/mnt/jcrypto-ppc-12.3R3.4
/dev/md6       2.7G    8.0K    2.5G     0%    /tmp
/dev/md7       2.7G     19M    2.5G     1%    /mfs
/dev/da0s1e     98M    136K     90M     0%    /config
procfs         4.0K    4.0K      0B   100%    /proc
/dev/da1s1f    2.7G    621M    1.9G    24%    /var

Кажется теперь проблемы с нехваткой свободного дискового пространства должны исчезнуть. Перейдем из UNIX shell в режим конфигурирования и применяем изменения конфигурации:

root@router% exit

muff@router> configure

muff@router# commit
commit complete