English | Vietnamese
 

banner

[Rule] Rules  [Home] Main Forum  [Portal] Portal  
[Members] Member Listing  [Statistics] Statistics  [Search] Search  [Reading Room] Reading Room 
[Register] Register   [Login] Login [  http  | https  ]
 
Forum Index Thảo luận hệ điều hành *nix CentOS 5.3: kernel: Xploit 21956: segfault at  XML
  [Question]   CentOS 5.3: kernel: Xploit 21956: segfault at 01/07/2010 10:10:54 (+0700) | #1 | 214379
[Avatar]
 quanta
Moderator
Joined: 28/07/2006 14:44:21
Messages: 7265
Location: $ locate `whoami`
Offline
[Profile] [PM]
Chào các bạn,

Sáng nay OSSEC báo về trong /var/log/messages xuất hiện hàng loạt thông tin:

Jul 1 10:51:09 xx kernel: Xploit[21956]: segfault at 0000000000000000 rip 00000000080a7f53 rsp 00000000ffef5a8c error 4 

Tần suất xuất hiện là 1 phút khoảng trên dưới 10 lần.

Vấn đề là mình không biết Xploit là thằng nào. Các bạn có gợi ý nào thì giúp mình với.
Let's build on a great foundation!
[Up] [Print Copy]
  [Question]   CentOS 5.3: kernel: Xploit 21956: segfault at 01/07/2010 10:34:56 (+0700) | #2 | 214384
[Avatar]
 conmale
Administrator
Joined: 07/05/2004 23:43:15
Messages: 9353
Location: down under
Offline
[Profile] [PM]

quanta wrote:
Chào các bạn,

Sáng nay OSSEC báo về trong /var/log/messages xuất hiện hàng loạt thông tin:

Jul 1 10:51:09 xx kernel: Xploit[21956]: segfault at 0000000000000000 rip 00000000080a7f53 rsp 00000000ffef5a8c error 4 

Tần suất xuất hiện là 1 phút khoảng trên dưới 10 lần.

Vấn đề là mình không biết Xploit là thằng nào. Các bạn có gợi ý nào thì giúp mình với. 


Kernel trên hệ thống này có phiên bản mấy em?
What bringing us together is stronger than what pulling us apart.
[Up] [Print Copy]
  [Question]   CentOS 5.3: kernel: Xploit 21956: segfault at 01/07/2010 10:37:16 (+0700) | #3 | 214385
[Avatar]
 quanta
Moderator
Joined: 28/07/2006 14:44:21
Messages: 7265
Location: $ locate `whoami`
Offline
[Profile] [PM]
2.6.18-128 anh ạ.
Let's build on a great foundation!
[Up] [Print Copy]
  [Question]   CentOS 5.3: kernel: Xploit 21956: segfault at 01/07/2010 10:39:37 (+0700) | #4 | 214387
[Avatar]
 conmale
Administrator
Joined: 07/05/2004 23:43:15
Messages: 9353
Location: down under
Offline
[Profile] [PM]

quanta wrote:
2.6.18-128 anh ạ. 


Em thử:
echo 0 > /proc/sys/kernel/randomize_va_space

và theo dõi xem hiện tượng trên còn xảy ra không?
What bringing us together is stronger than what pulling us apart.
[Up] [Print Copy]
  [Question]   CentOS 5.3: kernel: Xploit 21956: segfault at 01/07/2010 11:02:23 (+0700) | #5 | 214389
[Avatar]
 quanta
Moderator
Joined: 28/07/2006 14:44:21
Messages: 7265
Location: $ locate `whoami`
Offline
[Profile] [PM]

conmale wrote:


Em thử:
echo 0 > /proc/sys/kernel/randomize_va_space

và theo dõi xem hiện tượng trên còn xảy ra không? 

Turn off randomization in memory allocator theo anh gợi ý nhưng tình hình không thuyên giảm anh à:
Code:
# cat /proc/sys/kernel/randomize_va_space 
0

# grep "Jul  1 11:5[1-5]:.. xx kernel: Xploit" /var/log/messages | wc -l
36
Let's build on a great foundation!
[Up] [Print Copy]
  [Question]   CentOS 5.3: kernel: Xploit 21956: segfault at 01/07/2010 11:05:52 (+0700) | #6 | 214391
[Avatar]
 conmale
Administrator
Joined: 07/05/2004 23:43:15
Messages: 9353
Location: down under
Offline
[Profile] [PM]

quanta wrote:

conmale wrote:


Em thử:
echo 0 > /proc/sys/kernel/randomize_va_space

và theo dõi xem hiện tượng trên còn xảy ra không? 

Turn off randomization in memory allocator theo anh gợi ý nhưng tình hình không thuyên giảm anh à:
Code:
# cat /proc/sys/kernel/randomize_va_space 
0

# grep "Jul  1 11:5[1-5]:.. xx kernel: Xploit" /var/log/messages | wc -l
36
 


Em có thể tạm thời offline máy đó khỏi network được không? Nếu được, thử rút network cable ra và xem thử tình trạng trên còn xảy ra không?
What bringing us together is stronger than what pulling us apart.
[Up] [Print Copy]
  [Question]   CentOS 5.3: kernel: Xploit 21956: segfault at 01/07/2010 11:18:37 (+0700) | #7 | 214392
[Avatar]
 quanta
Moderator
Joined: 28/07/2006 14:44:21
Messages: 7265
Location: $ locate `whoami`
Offline
[Profile] [PM]

conmale wrote:

Em có thể tạm thời offline máy đó khỏi network được không? Nếu được, thử rút network cable ra và xem thử tình trạng trên còn xảy ra không? 

Việc này tạm thời em chưa thực hiện ngay được, anh còn gợi ý nào khác không ạ?
Let's build on a great foundation!
[Up] [Print Copy]
  [Question]   CentOS 5.3: kernel: Xploit 21956: segfault at 01/07/2010 11:54:07 (+0700) | #8 | 214398
[Avatar]
 conmale
Administrator
Joined: 07/05/2004 23:43:15
Messages: 9353
Location: down under
Offline
[Profile] [PM]

quanta wrote:

conmale wrote:

Em có thể tạm thời offline máy đó khỏi network được không? Nếu được, thử rút network cable ra và xem thử tình trạng trên còn xảy ra không? 

Việc này tạm thời em chưa thực hiện ngay được, anh còn gợi ý nào khác không ạ?
 


Thông tin em cho quá ít nên khó xác định được nguồn gốc từ đâu. Anh nghĩ nó đụng tới memory nhưng để giúp thu hẹp biên độ, anh đề nghị ngắt server ấy khỏi mạng xem thử nó còn bị hay không. Nếu nó hết bị, chắc chắn một daemon nào đó liên quan đến mạng có lỗi. Nếu nó còn bị, chắn chắn nguồn gốc của segfault này không liên quan đến mạng.

Một cách detect khác là set ulimit -c để cho phép tạo core dump rồi analyse core dump thì mới biết chính xác nguồn cơn. Segfault đột nhiên xảy ra thường do hệ thống vừa cập nhật cái gì đó (thư viện, binaries...) và cập nhật này tạo lỗi và cách chính xác nhất là cho phép kernel tạo core dump để phân tích thôi em (vì khó biết được daemon nào gây sự cố).
What bringing us together is stronger than what pulling us apart.
[Up] [Print Copy]
  [Question]   CentOS 5.3: kernel: Xploit 21956: segfault at 01/07/2010 17:00:36 (+0700) | #9 | 214415
[Avatar]
 quanta
Moderator
Joined: 28/07/2006 14:44:21
Messages: 7265
Location: $ locate `whoami`
Offline
[Profile] [PM]
Tạm thời em đã xác định được do thằng nagios plugin gây ra:
Code:
# ps -u nagios
  PID TTY          TIME CMD
  18176 ?        00:00:01 Xploit
Let's build on a great foundation!
[Up] [Print Copy]
  [Question]   CentOS 5.3: kernel: Xploit 21956: segfault at 01/07/2010 17:33:42 (+0700) | #10 | 214416
[Avatar]
 conmale
Administrator
Joined: 07/05/2004 23:43:15
Messages: 9353
Location: down under
Offline
[Profile] [PM]

quanta wrote:
Tạm thời em đã xác định được do thằng nagios plugin gây ra:
Code:
# ps -u nagios
  PID TTY          TIME CMD
  18176 ?        00:00:01 Xploit

 


Hè hè... coi thử nagios chạy phiên bản nào, có thể bị lỗi gì. Anh không hiểu sao lúc chiều em nói không hề thấy có process nào có "Xploit" hết.
What bringing us together is stronger than what pulling us apart.
[Up] [Print Copy]
  [Question]   CentOS 5.3: kernel: Xploit 21956: segfault at 02/07/2010 07:46:41 (+0700) | #11 | 214454
[Avatar]
 quanta
Moderator
Joined: 28/07/2006 14:44:21
Messages: 7265
Location: $ locate `whoami`
Offline
[Profile] [PM]

conmale wrote:
Anh không hiểu sao lúc chiều em nói không hề thấy có process nào có "Xploit" hết. 

Em có nói dối anh đâu:
Code:
# ps -ef | grep Xploit
root      1371  1292  0 08:40 pts/0    00:00:00 grep Xploit

# ps -ef | grep nagios
nagios     635 15071  0 08:11 ?        00:00:00 /bin/bash ./a xx.xx
nagios     680   635  0 08:16 ?        00:00:00 /usr/sbin/sshd
nagios     684   680  0 08:16 ?        00:00:00 /usr/sbin/sshd
nagios     689   680  0 08:16 ?        00:00:03 /usr/sbin/sshd
nagios     692   680  0 08:16 ?        00:00:03 /usr/sbin/sshd
nagios     693   680  0 08:16 ?        00:00:03 /usr/sbin/sshd
...
nagios   10713     1  0 Jul01 ?        00:00:00 nrpe -c /usr/local/nagios/etc/nrpe.cfg -d
nagios   15071     1  0 00:13 ?        00:00:00 /bin/sh ./mass 220

# ps -u nagios
  PID TTY          TIME CMD
  635 ?        00:00:00 a
  680 ?        00:00:00 Xploit
  684 ?        00:00:01 Xploit
  689 ?        00:00:03 Xploit
  692 ?        00:00:04 Xploit
  693 ?        00:00:03 Xploit
...
10713 ?        00:00:00 nrpe
15071 ?        00:00:00 sh

# ps -u nagios | wc -l
236
Let's build on a great foundation!
[Up] [Print Copy]
  [Question]   CentOS 5.3: kernel: Xploit 21956: segfault at 02/07/2010 09:15:38 (+0700) | #12 | 214478
[Avatar]
 conmale
Administrator
Joined: 07/05/2004 23:43:15
Messages: 9353
Location: down under
Offline
[Profile] [PM]

quanta wrote:

conmale wrote:
Anh không hiểu sao lúc chiều em nói không hề thấy có process nào có "Xploit" hết. 

Em có nói dối anh đâu:
Code:
# ps -ef | grep Xploit
root      1371  1292  0 08:40 pts/0    00:00:00 grep Xploit

# ps -ef | grep nagios
nagios     635 15071  0 08:11 ?        00:00:00 /bin/bash ./a xx.xx
nagios     680   635  0 08:16 ?        00:00:00 /usr/sbin/sshd
nagios     684   680  0 08:16 ?        00:00:00 /usr/sbin/sshd
nagios     689   680  0 08:16 ?        00:00:03 /usr/sbin/sshd
nagios     692   680  0 08:16 ?        00:00:03 /usr/sbin/sshd
nagios     693   680  0 08:16 ?        00:00:03 /usr/sbin/sshd
...
nagios   10713     1  0 Jul01 ?        00:00:00 nrpe -c /usr/local/nagios/etc/nrpe.cfg -d
nagios   15071     1  0 00:13 ?        00:00:00 /bin/sh ./mass 220

# ps -u nagios
  PID TTY          TIME CMD
  635 ?        00:00:00 a
  680 ?        00:00:00 Xploit
  684 ?        00:00:01 Xploit
  689 ?        00:00:03 Xploit
  692 ?        00:00:04 Xploit
  693 ?        00:00:03 Xploit
...
10713 ?        00:00:00 nrpe
15071 ?        00:00:00 sh

# ps -u nagios | wc -l
236
 


Hì hì, anh đâu có bảo em "nói dối" đâu smilie . Ý anh là phương pháp test ps để tìm process "Xploit" của mình (em và anh) chưa được thấu đáo. Chính anh cũng không nghĩ đến option ps -u mặc dù cả hai anh em mình đều biết chắc rằng process ấy không spawn được và bị segfault.
What bringing us together is stronger than what pulling us apart.
[Up] [Print Copy]
  [Question]   CentOS 5.3: kernel: Xploit 21956: segfault at 02/07/2010 09:30:46 (+0700) | #13 | 214485
[Avatar]
 quanta
Moderator
Joined: 28/07/2006 14:44:21
Messages: 7265
Location: $ locate `whoami`
Offline
[Profile] [PM]
Em vẫn chưa biết tại sao lại có nhiều processes sshd owned bởi nagios kết nối đi lung tung đến thế:
Code:
# netstat -natp | grep sshd | awk '{print $5}' | sort | uniq -c | sort -rn
      1 220.231.4.177:22
      1 220.229.32.38:22
      1 220.228.163.199:22
      1 220.228.160.232:22
      1 220.227.99.217:22
      1 220.227.99.195:22
      1 220.227.95.69:22
      1 220.227.95.125:22
      1 220.227.90.238:22
      1 220.227.89.225:22
      1 220.227.75.221:22
      1 220.227.75.125:22
      1 220.227.72.234:22
      1 220.227.67.237:22
      1 220.227.62.250:22
      1 220.227.62.230:22
      1 220.227.61.77:22
      1 220.227.56.66:22
      1 220.227.56.179:22
      1 220.227.55.17:22
      1 220.227.53.61:22
      1 220.227.43.157:22
      1 220.227.41.228:22
      1 220.227.40.18:22
      1 220.227.37.187:22
      1 220.227.35.142:22
      1 220.227.31.105:22
      1 220.227.255.1:22
      1 220.227.254.74:22
      1 220.227.254.58:22
      1 220.227.254.134:22
      1 220.227.253.93:22
      1 220.227.253.169:22
      1 220.227.253.109:22
      1 220.227.252.250:22
      1 220.227.252.110:22
      1 220.227.25.162:22
      1 220.227.251.116:22
      1 220.227.251.101:22
      1 220.227.250.254:22
      1 220.227.250.114:22
      1 220.227.249.1:22
      1 220.227.247.225:22
      1 220.227.245.201:22
      1 220.227.242.42:22
      1 220.227.242.218:22
      1 220.227.242.158:22
      1 220.227.242.146:22
      1 220.227.241.21:22
      1 220.227.240.92:22
      1 220.227.240.91:22
      1 220.227.240.84:22
      1 220.227.240.72:22
      1 220.227.240.174:22
      1 220.227.240.162:22
      1 220.227.238.54:22
      1 220.227.238.27:22
      1 220.227.238.26:22
      1 220.227.237.241:22
      1 220.227.237.213:22
      1 220.227.237.133:22
      1 220.227.236.164:22
      1 220.227.235.163:22
      1 220.227.235.149:22
      1 220.227.235.145:22
      1 220.227.235.129:22
      1 220.227.219.78:22
      1 220.227.219.4:22
      1 220.227.219.110:22
      1 220.227.218.8:22
      1 220.227.218.3:22
      1 220.227.213.98:22
      1 220.227.213.50:22
      1 220.227.213.163:22
      1 220.227.213.145:22
      1 220.227.211.109:22
      1 220.227.207.44:22
      1 220.227.207.2:22
      1 220.227.207.219:22
      1 220.227.198.230:22
      1 220.227.198.1:22
      1 220.227.190.196:22
      1 220.227.190.178:22
      1 220.227.190.10:22
      1 220.227.178.20:22
      1 220.227.176.214:22
      1 220.227.170.26:22
      1 220.227.169.169:22
      1 220.227.168.14:22
      1 220.227.168.110:22
      1 220.227.165.120:22
      1 220.227.164.242:22
      1 220.227.164.148:22
      1 220.227.161.85:22
      1 220.227.161.225:22
      1 220.227.158.77:22
      1 220.227.158.210:22
      1 220.227.158.178:22
      1 220.227.158.108:22
      1 220.227.157.69:22
      1 220.227.157.37:22
      1 220.227.157.169:22
      1 220.227.156.1:22
      1 220.227.155.49:22
      1 220.227.154.51:22
      1 220.227.15.146:22
      1 220.227.15.145:22
      1 220.227.15.139:22
      1 220.227.147.83:22
      1 220.227.147.143:22
      1 220.227.141.213:22
      1 220.227.13.87:22
      1 220.227.137.30:22
      1 220.227.13.65:22
      1 220.227.134.52:22
      1 220.227.13.249:22
      1 220.227.131.121:22
      1 220.227.130.12:22
      1 220.227.129.89:22
      1 220.227.128.98:22
      1 220.227.124.16:22
      1 220.227.123.81:22
      1 220.227.12.218:22
      1 220.227.121.203:22
      1 220.227.121.200:22
      1 220.227.118.190:22
      1 220.227.114.171:22
      1 220.227.113.21:22
      1 220.227.113.209:22
      1 220.227.113.13:22
      1 220.227.11.1:22
      1 220.227.106.114:22
      1 220.227.105.202:22
      1 220.227.100.50:22
      1 220.227.100.122:22
      1 220.227.100.12:22


Tạm thời em đã kill hết các processes này, stop luôn nrpe, add thêm một rule cản packets đi ra đến port 22 trong iptables. Anh có gợi ý nào không ạ?

PS: Em đang dùng nagios-plugins 1.4.14 và nrpe 2.12.
Let's build on a great foundation!
[Up] [Print Copy]
  [Question]   CentOS 5.3: kernel: Xploit 21956: segfault at 02/07/2010 10:13:43 (+0700) | #14 | 214495
[Avatar]
 conmale
Administrator
Joined: 07/05/2004 23:43:15
Messages: 9353
Location: down under
Offline
[Profile] [PM]

quanta wrote:
Em vẫn chưa biết tại sao lại có nhiều processes sshd owned bởi nagios kết nối đi lung tung đến thế:

Tạm thời em đã kill hết các processes này, stop luôn nrpe, add thêm một rule cản packets đi ra đến port 22 trong iptables. Anh có gợi ý nào không ạ?

PS: Em đang dùng nagios-plugins 1.4.14 và nrpe 2.12. 


Anh đề nghị em lưu lại các hồ sơ cấu hình và uninstall rồi install lại nagios + nrpe hoàn toàn. Xem kỹ lại trên hệ thống coi thử có dấu vết bị xâm nhập hay không. Xem kỹ lại cấu hình của nagios có bị thay đổi gì không.
What bringing us together is stronger than what pulling us apart.
[Up] [Print Copy]
[digg] [delicious] [google] [yahoo] [technorati] [reddit] [stumbleupon]
Go to: 
 Users currently in here 
1 Anonymous

Powered by JForum - Extended by HVAOnline
 hvaonline.net  |  hvaforum.net  |  hvazone.net  |  hvanews.net  |  vnhacker.org
1999 - 2013 © v2012|0504|218|