English | Vietnamese
 

banner

[Rule] Rules  [Home] Main Forum  [Portal] Portal  
[Members] Member Listing  [Statistics] Statistics  [Search] Search  [Reading Room] Reading Room 
[Register] Register   [Login] Login [  http  | https  ]
 
Forum Index Thảo luận hệ điều hành *nix load average cao nhưng cpu thấp  XML
  [Discussion]   load average cao nhưng cpu thấp 21/06/2013 14:31:15 (+0700) | #1 | 276770
p.n.t
Member
[Minus]    0    [Plus]
Joined: 12/07/2012 12:16:07
Messages: 45
Offline
[Profile] [PM]
Xin chào anh chị !

Hiện tại mình có 1 server chạy website có load average lên rất cao khiến việc truy cập vào trang web rất khó khăn và cả khi truy cập ssh hay truy cập từ console cũng rất chậm chạp,tuy nhiên cpu lại load thấp,mong mọi người xem giúp thử server đang bị vấn để gì vậy?

Đây là kết quả lệnh top khi server load cao,lúc này ssh vào rất khó khăn

Code:
top - 14:55:57 up  5:24,  2 users,  load average: 168.09, 112.59, 53.37
Tasks: 400 total,   1 running, 399 sleeping,   0 stopped,   0 zombie
Cpu(s):  3.4%us,  5.6%sy,  0.0%ni, 32.8%id, 58.1%wa,  0.0%hi,  0.1%si,  0.0%st
Mem:   4017820k total,  3986360k used,    31460k free,     1100k buffers
Swap:  8193140k total,  5034288k used,  3158852k free,    24236k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND                                                                                                                           
15423 daemon    16   0  239m  59m 4952 S  1.3  1.5   0:03.57 httpd                                                                                                                             
15506 daemon    16   0  238m  58m 4968 S  1.7  1.5   0:03.43 httpd                                                                                                                             
15612 daemon    16   0  237m  57m 4952 S  2.0  1.5   0:01.89 httpd                                                                                                                             
15535 daemon    16   0  231m  53m 4536 S  0.0  1.4   0:01.72 httpd                                                                                                                             
15488 daemon    16   0  237m  52m 4808 S  2.7  1.3   0:01.71 httpd                                                                                                                             
15617 daemon    17   0  229m  51m 4544 S  1.3  1.3   0:06.64 httpd                                                                                                                             
15467 daemon    15   0  229m  51m 4508 S  0.0  1.3   0:05.40 httpd                                                                                                                             
15468 daemon    16   0  236m  46m 4512 S  0.0  1.2   0:02.82 httpd                                                                                                                             
15447 daemon    16   0  235m  45m 4496 D  0.0  1.2   0:02.35 httpd                                                                                                                             
15474 daemon    16   0  222m  43m 4084 D  3.3  1.1   0:02.34 httpd                                                                                                                             
15586 daemon    16   0  219m  41m 4548 S 13.9  1.1   0:03.00 httpd                                                                                                                             
15071 daemon    16   0  231m  39m 4984 D  0.0  1.0   0:07.92 httpd                                                                                                                             
 4235 mysql     15   0 1520m  38m 2812 S  1.3  1.0   2:12.51 mysqld                                                                                                                            
15452 daemon    15   0  214m  36m 4548 S  0.0  0.9   0:03.82 httpd                                                                                                                             
15589 daemon    15   0  214m  36m 4040 S  0.0  0.9   0:00.96 httpd                                                                                                                             
15513 daemon    15   0  214m  36m 4056 S  0.0  0.9   0:01.58 httpd                                                                                                                             
15519 daemon    15   0  214m  36m 4032 S  0.0  0.9   0:01.40 httpd                                                                                                                             
15518 daemon    15   0  214m  36m 4032 S  0.0  0.9   0:01.32 httpd                                                                                                                             
15530 daemon    15   0  214m  36m 4032 S  0.0  0.9   0:01.61 httpd                                                                                                                             
15515 daemon    15   0  214m  36m 4552 S  0.0  0.9   0:02.81 httpd                                                                                                                             
15536 daemon    15   0  214m  36m 4044 S  0.0  0.9   0:00.85 httpd                                                                                                                             
15573 daemon    15   0  211m  34m 4548 S  0.0  0.9   0:03.01 httpd                                                                                                                             
15470 daemon    15   0  211m  34m 4452 S  0.0  0.9   0:02.53 httpd                                                                                                                             
15598 daemon    16   0  211m  33m 4508 D  0.0  0.9   0:02.21 httpd                                                                                                                             
15596 daemon    16   0  211m  33m 4044 D  0.0  0.9   0:01.11 httpd                                                                                                                             
15465 daemon    16   0  219m  33m 3944 D  0.0  0.8   0:01.71 httpd                                                                                                                             
14626 daemon    17   0  216m  32m 4928 D  0.0  0.8   0:46.50 httpd                                                                                                                             
15627 daemon    15   0  210m  32m 3756 S  0.0  0.8   0:01.30 httpd                                                                                                                             
15574 daemon    15   0  210m  32m 3748 S  0.0  0.8   0:01.06 httpd                                                                                                                             
 2801 root      14 -10 38944  32m 1740 S  0.0  0.8   0:00.01 iscsiuio                                                                                                                          
15460 daemon    16   0  214m  31m 4040 D  0.0  0.8   0:01.61 httpd                                                                                                                             
15399 daemon    16   0  214m  31m 4076 D  0.0  0.8   0:02.55 httpd


Rất mong sự giúp đỡ của mọi người, chân thành cảm ơn



[Up] [Print Copy]
  [Discussion]   load average cao nhưng cpu thấp 22/06/2013 09:07:07 (+0700) | #2 | 276782
xwm
Member
[Minus]    0    [Plus]
Joined: 29/08/2011 21:49:17
Messages: 36
Offline
[Profile] [PM]
Nguyên nhân theo tớ thấy có thể có quá nhiều tiến trình apache -> cậu xem logs coi phải bị DDOS hay không
[Up] [Print Copy]
  [Discussion]   load average cao nhưng cpu thấp 22/06/2013 09:37:27 (+0700) | #3 | 276784
KhanhLN
Member
[Minus]    0    [Plus]
Joined: 19/06/2013 20:29:45
Messages: 3
Offline
[Profile] [PM]
Theo mình có 3 yếu tố chính ảnh hưởng đến load average đó là:
- CPU
- Disk I/O
- Network I/O

Ở đây bạn thấy CPU thấp --> kiểm tra 2 yếu tố còn lại là Disk I/O và Network I/O. Từ đó sẽ tìm ra nguyên nhân chính xác là do đâu.
[Up] [Print Copy]
  [Discussion]   load average cao nhưng cpu thấp 22/06/2013 14:10:14 (+0700) | #4 | 276793
p.n.t
Member
[Minus]    0    [Plus]
Joined: 12/07/2012 12:16:07
Messages: 45
Offline
[Profile] [PM]

xwm wrote:
Nguyên nhân theo tớ thấy có thể có quá nhiều tiến trình apache -> cậu xem logs coi phải bị DDOS hay không
 


Cảm ơn cậu đã trả lời tuy nhiên sau khi kiểm tra thì việc bị ddos bị loại trừ

[Up] [Print Copy]
  [Discussion]   load average cao nhưng cpu thấp 22/06/2013 14:17:26 (+0700) | #5 | 276794
p.n.t
Member
[Minus]    0    [Plus]
Joined: 12/07/2012 12:16:07
Messages: 45
Offline
[Profile] [PM]

KhanhLN wrote:
Theo mình có 3 yếu tố chính ảnh hưởng đến load average đó là:
- CPU
- Disk I/O
- Network I/O

Ở đây bạn thấy CPU thấp --> kiểm tra 2 yếu tố còn lại là Disk I/O và Network I/O. Từ đó sẽ tìm ra nguyên nhân chính xác là do đâu.
 


Cảm ơn bạn đã trả lời, theo như trong output của lệnh top mình post lên thì thấy wait I/O cao (51%) và process apache chiếm Ram rất nhiều , vậy có thể tuning gì trong trường hợp này để giải quyết tình trạng wait I/O cao(server mình đang dùng Raid 5 với 3 ổ SAS)???,còn Ram thì có lẽ phải upgrade thêm

Tks
[Up] [Print Copy]
  [Discussion]   load average cao nhưng cpu thấp 22/06/2013 21:22:43 (+0700) | #6 | 276802
consoko
Member
[Minus]    0    [Plus]
Joined: 11/10/2008 00:48:33
Messages: 26
Offline
[Profile] [PM]
swap đang chạy tới 5GB kìa bạn, kiểu này đường nào ko treo server. Upgrade thêm Ram đi nha bạn. Check lại code php và compile lại apache và php với cấu hình thích hợp nhất xem sao nhé.
[Up] [Print Copy]
  [Discussion]   load average cao nhưng cpu thấp 23/06/2013 22:44:01 (+0700) | #7 | 276817
[Avatar]
 quanta
Moderator
Joined: 28/07/2006 14:44:21
Messages: 7265
Location: $ locate `whoami`
Offline
[Profile] [PM]
@p.n.t: bạn để ý cột STATE (S) xem có gì lạ không smilie?
Let's build on a great foundation!
[Up] [Print Copy]
  [Discussion]   load average cao nhưng cpu thấp 24/06/2013 19:00:54 (+0700) | #8 | 276859
p.n.t
Member
[Minus]    0    [Plus]
Joined: 12/07/2012 12:16:07
Messages: 45
Offline
[Profile] [PM]

quanta wrote:
@p.n.t: bạn để ý cột STATE (S) xem có gì lạ không smilie? 


Em thấy ở cột S có rất nhiều process httpd bị D state, chắc có lẻ đây là nguyên nhân chính dẫn đến Load Average tăng cao, anh quanta có thể đưa ra hướng xử lý tình trạng này giúp em được ko ạ?Cảm ơn anh trước
[Up] [Print Copy]
  [Discussion]   load average cao nhưng cpu thấp 24/06/2013 22:44:17 (+0700) | #9 | 276866
myquartz
Member
[Minus]    0    [Plus]
Joined: 04/01/2005 04:58:30
Messages: 563
Offline
[Profile] [PM]
D state là đang xài đĩa (IO), còn S state là sleep. R state là đang chạy (xài CPU).
Các tiến trình apache vừa xài đĩa nhiều (có mấy cái lận), mà lại thiếu RAM phải xài swap tới 5GB => IO wait cao (IO wait được tính vào load). => chậm lắm.
Cần nâng cấp RAM lên gấp đôi hoặc 3 số lượng hiện có (4GB -> 12GB).
Hoặc là giảm số lượng max apache process xuống (có khả năng thiếu RAM do cái này).
Để ý thấy mỗi apache httpd chiếm khoảng 1% RAM, nghĩa là máy nên có 80-90 process = 90% RAM. Giảm số process xuống còn 90 thôi. người ta bị từ chối truy cập còn hơn là server đơ ra.
[Up] [Print Copy]
  [Discussion]   load average cao nhưng cpu thấp 26/06/2013 08:21:30 (+0700) | #10 | 276915
p.n.t
Member
[Minus]    0    [Plus]
Joined: 12/07/2012 12:16:07
Messages: 45
Offline
[Profile] [PM]

myquartz wrote:
D state là đang xài đĩa (IO), còn S state là sleep. R state là đang chạy (xài CPU).
Các tiến trình apache vừa xài đĩa nhiều (có mấy cái lận), mà lại thiếu RAM phải xài swap tới 5GB => IO wait cao (IO wait được tính vào load). => chậm lắm.
Cần nâng cấp RAM lên gấp đôi hoặc 3 số lượng hiện có (4GB -> 12GB).
Hoặc là giảm số lượng max apache process xuống (có khả năng thiếu RAM do cái này).
Để ý thấy mỗi apache httpd chiếm khoảng 1% RAM, nghĩa là máy nên có 80-90 process = 90% RAM. Giảm số process xuống còn 90 thôi. người ta bị từ chối truy cập còn hơn là server đơ ra. 


Thank myquartz nha, mình cũng đã upgrade Ram lên 16GB rồi và đang theo dõi xem sao
[Up] [Print Copy]
  [Discussion]   load average cao nhưng cpu thấp 26/06/2013 08:37:39 (+0700) | #11 | 276916
[Avatar]
 quanta
Moderator
Joined: 28/07/2006 14:44:21
Messages: 7265
Location: $ locate `whoami`
Offline
[Profile] [PM]
@p.n.t: bạn enable SysRq lên rồi chạy `echo w > /proc/sysrq-trigger` và mở kernel log ra xem mấy processes bị D state kia đang treo ở đâu.

Cho mình xem luôn:
- /proc/[pid]/wchan
- /proc/[pid]/status (chạy xong, đợi vài giây rồi chạy lại và gửi kết quả cả 2 lần lên)
- /proc/[pid]/io, /proc/[pid]/stack, /proc/[pid/syscall (nếu kernel đủ mới)
Let's build on a great foundation!
[Up] [Print Copy]
  [Discussion]   load average cao nhưng cpu thấp 26/06/2013 09:16:00 (+0700) | #12 | 276917
p.n.t
Member
[Minus]    0    [Plus]
Joined: 12/07/2012 12:16:07
Messages: 45
Offline
[Profile] [PM]

quanta wrote:
@p.n.t: bạn enable SysRq lên rồi chạy `echo w > /proc/sysrq-trigger` và mở kernel log ra xem mấy processes bị D state kia đang treo ở đâu.

Cho mình xem luôn:
- /proc/[pid]/wchan
- /proc/[pid]/status (chạy xong, đợi vài giây rồi chạy lại và gửi kết quả cả 2 lần lên)
- /proc/[pid]/io, /proc/[pid]/stack, /proc/[pid/syscall (nếu kernel đủ mới) 


Cảm ơn anh đã trả lời , hiện tại sau khi upgrade thêm Ram và số lượng truy cập chưa nhiều nên chưa có process D state , khi nào server xuất hiện tình trạng đó em sẽ gửi ouput lên cho anh xem giúp.Tks

[Up] [Print Copy]
  [Discussion]   load average cao nhưng cpu thấp 01/07/2013 16:30:50 (+0700) | #13 | 277041
everytest
Member
[Minus]    0    [Plus]
Joined: 13/06/2013 01:21:22
Messages: 6
Offline
[Profile] [PM]
Sẵn mấy anh cho em hỏi thêm thông tin lệnh Top được ko ạ, em ko hiểu mấy chỗ này có nghĩa gì:

PR
NI
VIRT
RES
SHR
TIME+

Cám ơn anh chị giúp đỡ.
[Up] [Print Copy]
  [Discussion]   load average cao nhưng cpu thấp 02/07/2013 15:25:49 (+0700) | #14 | 277082
[Avatar]
 quanta
Moderator
Joined: 28/07/2006 14:44:21
Messages: 7265
Location: $ locate `whoami`
Offline
[Profile] [PM]

everytest wrote:
Sẵn mấy anh cho em hỏi thêm thông tin lệnh Top được ko ạ, em ko hiểu mấy chỗ này có nghĩa gì:

PR
NI
VIRT
RES
SHR
TIME+
 

Đây là những từ viết tắt, ví dụ: PR là Priority, NI là Nice, ... Bạn gõ `man top` rồi `/` để search nhé, trong đó cũng giải thích ý nghĩa luôn.
Let's build on a great foundation!
[Up] [Print Copy]
[digg] [delicious] [google] [yahoo] [technorati] [reddit] [stumbleupon]
Go to: 
 Users currently in here 
1 Anonymous

Powered by JForum - Extended by HVAOnline
 hvaonline.net  |  hvaforum.net  |  hvazone.net  |  hvanews.net  |  vnhacker.org
1999 - 2013 © v2012|0504|218|