[Question] Log server how to |
04/10/2007 01:35:21 (+0700) | #1 | 88499 |
|
MrMe
Elite Member
|
0 |
|
|
Joined: 08/07/2006 13:01:01
Messages: 150
Offline
|
|
Chào tất cả anh em. Em mới vào nghề nên ít khinh nghiệm muốn hỏi các bác đi trước vấn đề sau:
Em có một dống thiết bị mạng và server. Em muốn tập trung tất cả log của các thiết bị mạng và server đó về 1 máy được ko?
Máy đó em cần cài phần mềm gì và cài như thế nào để có thể nhận log từ các máy khác.
Nếu có thể các bác cho em biết thêm về cách cấu hình và sử dụng ldap và radius server thì càng tốt.
Thanks all. |
|
|
|
|
[Question] Log server how to |
04/10/2007 05:59:12 (+0700) | #2 | 88557 |
|
conmale
Administrator
|
Joined: 07/05/2004 23:43:15
Messages: 9353
Location: down under
Offline
|
|
MrMe wrote:
Chào tất cả anh em. Em mới vào nghề nên ít khinh nghiệm muốn hỏi các bác đi trước vấn đề sau:
Em có một dống thiết bị mạng và server. Em muốn tập trung tất cả log của các thiết bị mạng và server đó về 1 máy được ko?
Máy đó em cần cài phần mềm gì và cài như thế nào để có thể nhận log từ các máy khác.
Nếu có thể các bác cho em biết thêm về cách cấu hình và sử dụng ldap và radius server thì càng tốt.
Thanks all.
Có hai giải pháp:
1) syslog server chạy trên UNIX: thử nghiên cứu http://www.intersectalliance.com/snareserver/index.html.
2) syslog server chạy trên Windows: thử nghiên cứu http://www.winsyslog.com/en/.
Cả hai chọn lựa trên đều tốn tiền (mua) và không nhất thiết sẽ hỗ trợ tất cả các log format từ "đống" thiết bị mạng và server bồ có.
Nếu vấn đề kinh phí hạn chế thì thử: http://www.balabit.com/network-security/syslog-ng/ (UNIX) hoặc http://syslog-win32.sourceforge.net/ (Windows). Hai cái này đòi hỏi kiến thức về cả UNIX và Windows vững để config.
Về việc "nhân thể", nên tạo chủ đề mới cho từng vấn đề. Không nên gởi nhiều vấn đề chồng chất trong một chủ đề. |
|
What bringing us together is stronger than what pulling us apart. |
|
|
|
[Question] Re: Log server how to |
10/10/2007 03:23:01 (+0700) | #3 | 89741 |
|
lQ
Moderator
|
Joined: 29/03/2005 17:06:20
Messages: 494
Offline
|
|
lQ prefer mô hình: 01 syslog server để lưu trữ và 1 daemon để phân tích. Cụ thể lựa chọn của lQ là syslog-ng và Splunk. Trong topic Mỗi tháng 1 công cụ (/hvaonline/posts/list/10498.html) của box Network của pnco có giới thiệu 1 số công cụ dạng này.
|
|
|
|
|
[Question] Re: Log server how to |
12/12/2008 13:57:05 (+0700) | #4 | 162118 |
|
quanta
Moderator
|
Joined: 28/07/2006 14:44:21
Messages: 7265
Location: $ locate `whoami`
Offline
|
|
@MrMe: vụ này sau đó em làm ngon chứ?
Hiện tại, mình dự định sẽ dùng syslog-ng + Splunk (hoặc php-syslog-ng).
Để đổ logs về từ Event Viewer mình search thấy vài cái tools như:
+ syslog-ng agent: 'món' này chỉ có trong bản Premium Edition của syslog-ng
+ Snare Eventlog Agent: mất phí
+ NTsyslog: cái này free, nhưng log đổ về phân loại không được tốt lắm. Tớ mới ngó qua thì thấy hình như nó không có cả IP của client nữa
+ EventReporter: 'món' này cũng mất phí luôn
+ ...
Tớ đang thử lần lượt từng 'món' một để quyết định xem nên dùng 'món' nào. Tuy nhiên, anh em nào có kinh nghiệm trong vụ này xin 'quân sư' cho vài 'chiêu'.
Ngoài ra, mình cũng còn cần theo dõi log của IIS, Microsoft Exchange, ... và cả đám Cisco + AIX + Red Hat nữa. Không hiểu là việc đổ tất cả log về một con server chạy Linux có thực hiện được không và có nên thực hiện không? Ngoài ra còn cách nào tối ưu hơn không? Nhờ anh em chỉ giúp.
Cảm ơn mọi người. |
|
Let's build on a great foundation! |
|
|
|
[Question] Re: Log server how to |
12/12/2008 14:46:30 (+0700) | #5 | 162124 |
|
MrMe
Elite Member
|
0 |
|
|
Joined: 08/07/2006 13:01:01
Messages: 150
Offline
|
|
Vụ này em đã cài syslog-ng lên 1 server linux.
Với mỗi server, thiết bị đổ log vào log server thì có tạo file riêng. sau đó tạo crontab để logroltale.
Việc đổ log vào 1 server em có thử cho thiết bị mạng, solaris và linux thì ok.
AIX thì ko có điều kiện tiếp cận nhưng em nghĩ là cũng ok thôi .
Chỉ có điều bắn nhiều log qua mạng quá làm mạng châm. Em chỉ cho những con quan trong bắn trực tiếp thôi.
Những con ít quan trong hơn thì log ở local rồi chạy crontab để đẩy file qua ftp vào những giờ có ít lưu lượng.
Cái khoản phân tích log em vẫn chỉ làm bằng tay thôi chưa cài mấy trình phân tích nào cả . |
|
|
|
|
[Question] Re: Log server how to |
12/12/2008 15:00:25 (+0700) | #6 | 162126 |
mR.Bi
Member
|
0 |
|
|
Joined: 22/03/2006 13:17:49
Messages: 812
Offline
|
|
MrMe xài splunk đi.
http://www.splunk.com/download
Rảnh làm cái tut gom logs nhé |
|
All of my life I have lived by a code and the code is simple: "honour your parent, love your woman and defend your children" |
|
|
|
[Question] Re: Log server how to |
13/12/2008 00:11:36 (+0700) | #7 | 162161 |
pnco
HVA Friend
|
Joined: 24/06/2005 16:33:48
Messages: 515
Offline
|
|
@quanta: đổ log từ windows sao không xài thử Datagram SyslogAgent của lQ Anh thấy công cụ này rất hay. Còn tất cả các log như IIS,... thì do mình cấu hình thôi.
Theo anh thì rất nên có 1 syslog server, không kể trường hợp bị tấn công thì cũng có những trường hợp hỏng hóc hdd hoặc phần cứng, khi đó có 1 syslog server thật đáng giá. Anh đã từng bị hỏng hdd của máy chủ mà không hay tới chừng hay thì không thể truy cập được vào máy chủ này. May mà có syslog server mới biết chuyện gì đang xảy ra. Tất nhiên là syslog server cũng có thể bị hỏng nhưng xác xuất 2 hoặc nhiều máy chủ hỏng cùng 1 lúc thì khó.
Về traffic, anh thiết kế 1 mạng vpn local tất cả các traffic không cần public anh đều cho nó đi qua mạng này như log, snmp, monitor, database, backup, remote.
Ngoài ra em cũng nên thử ossec, nó cũng có công cụ search log đơn giản và email alert.
Thân. |
|
|
|
|
[Question] Re: Log server how to |
19/12/2008 10:43:36 (+0700) | #8 | 163106 |
|
tranhuuphuoc
Moderator
|
Joined: 05/09/2004 06:08:09
Messages: 865
Location: Lầu Xanh
Offline
|
|
pnco wrote:
@quanta: đổ log từ windows sao không xài thử Datagram SyslogAgent của lQ Anh thấy công cụ này rất hay. Còn tất cả các log như IIS,... thì do mình cấu hình thôi.
Theo anh thì rất nên có 1 syslog server, không kể trường hợp bị tấn công thì cũng có những trường hợp hỏng hóc hdd hoặc phần cứng, khi đó có 1 syslog server thật đáng giá. Anh đã từng bị hỏng hdd của máy chủ mà không hay tới chừng hay thì không thể truy cập được vào máy chủ này. May mà có syslog server mới biết chuyện gì đang xảy ra. Tất nhiên là syslog server cũng có thể bị hỏng nhưng xác xuất 2 hoặc nhiều máy chủ hỏng cùng 1 lúc thì khó.
Về traffic, anh thiết kế 1 mạng vpn local tất cả các traffic không cần public anh đều cho nó đi qua mạng này như log, snmp, monitor, database, backup, remote.
Ngoài ra em cũng nên thử ossec, nó cũng có công cụ search log đơn giản và email alert.
Thân.
Đọc được những dòng này của anh trai mới nhớ Khi trường hợp attacker tấn công máy chủ thì lấy log ra , alô cho BKIS để ... xử
anh Diêu wrote:
Nếu vấn đề kinh phí hạn chế thì thử: syslog-ng (UNIX) hoặc syslog-win32 (Windows). Hai cái này đòi hỏi kiến thức về cả UNIX và Windows vững để config.
Giải pháp của anh pnco em có dùng qua và nó khá good tuy nhiên em sẽ xem giải pháp miễn phí và thương mại của anh trong thời gian sớm nhất . Cám ơn anh cung cấp khá nhiều công cụ "độc" |
|
|
|
|
[Question] Re: Log server how to |
19/12/2008 11:33:09 (+0700) | #9 | 163111 |
|
quanta
Moderator
|
Joined: 28/07/2006 14:44:21
Messages: 7265
Location: $ locate `whoami`
Offline
|
|
pnco wrote:
...
Về traffic, anh thiết kế 1 mạng vpn local tất cả các traffic không cần public anh đều cho nó đi qua mạng này như log, snmp, monitor, database, backup, remote.
Ngoài ra em cũng nên thử ossec, nó cũng có công cụ search log đơn giản và email alert.
Thân.
Cảm ơn anh về ý tưởng này. Nhưng cho em hỏi là: việc thiết kế một mạng local VPN rồi đẩy traffic qua đó có ảnh hưởng nhiều đến tốc độ đường truyền và bandwidth không anh? Hiện tại thì em đang kết hợp syslog-ng + stunnel, em sẽ thử luôn cả local VPN xem thế nào. Dù sao thì việc thiết lập local VPN cũng dùng được cho nhiều mục đích sau này (như anh nói ở trên).
|
|
Let's build on a great foundation! |
|
|
|
[Question] Re: Log server how to |
19/12/2008 12:21:32 (+0700) | #10 | 163121 |
pnco
HVA Friend
|
Joined: 24/06/2005 16:33:48
Messages: 515
Offline
|
|
Nếu trong 1 site thì không ảnh hưởng vì mình tạo 1 mạng riêng mà. Khác site thì dĩ nhiên dùng chung 1 kết nối public thì có ảnh hưởng rồi.
(site1) local < ---> server <----> public <---->vpn<---> public <---> server (site2)
Trong trường hợp nhiều site khác nhau thì phải cân nhắc. Nếu trong site đó có nhiều server, device thì nên thiết kế riêng 1 mạng local nữa. Mà mấy cái traffic không cần public kia nó ngốn bandwith hơn rất nhiều so với traffic public |
|
|
|
|
[Question] Re: Log server how to |
20/12/2008 00:05:39 (+0700) | #11 | 163191 |
|
lQ
Moderator
|
Joined: 29/03/2005 17:06:20
Messages: 494
Offline
|
|
hi MrMe,
thằng syslog-ng đâu cần logrotate. Nó cho phép tạo các log files với các thông tin $DAY, $MONTH, $YEAR mà. Có điều dĩ nhiên nó sẽ ko tự nén để tiết kiệm không gian đĩa.
Cũng ko nên lưu log dạng offline. Theo kinh nghiệm của tui thì logchỉ chiếm một phần nhỏ dung lượng. Hơn nữa có thể bị mất log, hoặc giả log. |
|
|
|
|
[Question] Re: Log server how to |
20/12/2008 06:04:42 (+0700) | #12 | 163255 |
|
siro
Member
|
0 |
|
|
Joined: 20/11/2004 02:12:18
Messages: 12
Offline
|
|
Mình thấy khi gởi log của client B về syslog-ng sever A thì chỉ nhận log của mail ( postfix ) , ssh , kernel ... từ B thôi , vậy mình muốn hỏi là có thể cấu hình để chuyển log của http , mysql từ B đổ về A được không . Thanks . |
|
|
|
|
[Question] Re: Log server how to |
20/12/2008 06:46:05 (+0700) | #13 | 163260 |
|
quanta
Moderator
|
Joined: 28/07/2006 14:44:21
Messages: 7265
Location: $ locate `whoami`
Offline
|
|
siro wrote:
Mình thấy khi gởi log của client B về syslog-ng sever A thì chỉ nhận log của mail ( postfix ) , ssh , kernel ... từ B thôi , vậy mình muốn hỏi là có thể cấu hình để chuyển log của http , mysql từ B đổ về A được không . Thanks .
Với Apache bạn có thể đọc: http://www.oreillynet.com/pub/a/sysadmin/2006/10/12/httpd-syslog.html
Với MySQL, tớ http://chaos.untouchable.net/index.php/HOWTO_setup_syslog-ng_to_log_to_mysql thôi, tức là: cấu hình syslog-ng để đưa các thông tin logs có được vào MySQL. Còn nếu muốn thì bạn có thể dùng... scp + cron job. |
|
Let's build on a great foundation! |
|
|
|
[Question] Re: Log server how to |
20/12/2008 07:17:59 (+0700) | #14 | 163264 |
|
MrMe
Elite Member
|
0 |
|
|
Joined: 08/07/2006 13:01:01
Messages: 150
Offline
|
|
lQ wrote:
hi MrMe,
thằng syslog-ng đâu cần logrotate. Nó cho phép tạo các log files với các thông tin $DAY, $MONTH, $YEAR mà. Có điều dĩ nhiên nó sẽ ko tự nén để tiết kiệm không gian đĩa.
Cũng ko nên lưu log dạng offline. Theo kinh nghiệm của tui thì logchỉ chiếm một phần nhỏ dung lượng. Hơn nữa có thể bị mất log, hoặc giả log.
Hi anh lQ đúng là thằng syslog nó có logrotate nhưng log của em nhiều kinh khủng. Do vậy em phải chạy cront để 10 phút thì cắt thành 1 file sau phân tích nó dễ. Em lười chưa cài trình phân tích log nào cả nên phải làm cách củ chuối đó. |
|
|
|
|
[Question] Re: Log server how to |
20/12/2008 12:24:44 (+0700) | #15 | 163315 |
safari
Member
|
0 |
|
|
Joined: 31/01/2008 01:19:23
Messages: 33
Location: somewhere
Offline
|
|
quanta wrote:
Với MySQL, tớ http://chaos.untouchable.net/index.php/HOWTO_setup_syslog-ng_to_log_to_mysql thôi, tức là: cấu hình syslog-ng để đưa các thông tin logs có được vào MySQL. Còn nếu muốn thì bạn có thể dùng... scp + cron job.
http://www.mysqlperformanceblog.com/2008/11/14/mysql-binaries-percona-build7-with-latest-patches/ có thể đưa log của mysql ra syslog-ng. |
|
|
|
|
[Question] Re: Log server how to |
20/12/2008 14:24:21 (+0700) | #16 | 163328 |
|
tranhuuphuoc
Moderator
|
Joined: 05/09/2004 06:08:09
Messages: 865
Location: Lầu Xanh
Offline
|
|
quanta wrote:
Với MySQL, tớ http://chaos.untouchable.net/index.php/HOWTO_setup_syslog-ng_to_log_to_mysql thôi, tức là: cấu hình syslog-ng để đưa các thông tin logs có được vào MySQL. Còn nếu muốn thì bạn có thể dùng... scp + cron job.
Còn anh thì nghĩ khác, nên tập hợp các thông tin này lại vào trong database để dễ dàng tìm kiếm, dễ quản lý đâu cần phải nén lại gì đâu . Nếu cần thì có thể sử dụng web interface http://sourceforge.net/projects/php-syslog-ng/ để query những thông tin trong đó
Nếu thành thạo câu lệnh SQL căn bản thì có thể query nó dễ dàng
SELECT ... FROM ... ORDER BY ... |
|
|
|
|
[Question] Re: Log server how to |
20/12/2008 16:29:56 (+0700) | #17 | 163334 |
mrro
Administrator
|
Joined: 27/12/2001 05:07:00
Messages: 745
Offline
|
|
@quanta: người ta làm ngược lại thì kệ người ta :-p, đâu phải cái gì cũng nhét vào dbms được, tớ là tớ rất sợ dbms, cực chẳng đã cần lưu trữ structure data với fixed schema thì mới dùng đến chúng, chứ những thứ như log, chẳng có schema, chẳng có structure, chẳng có "quan hệ" gì với nhau thì cứ lưu dạng flat file cho nhanh gọn lẹ.
muốn tìm kiếm ư? cứ index chúng cho tốt vào, thì tìm cái gì cũng ra cả. thằng splunk mà có bạn đề cập ở trên nó cũng làm việc dựa theo nguyên lý này. thậm chí không có splunk thì awk, grep, sed...cũng ra.
-m
|
|
http://tinsang.net
TetCon 2013 http://tetcon.org
Làm an toàn thông tin thì học gì?/hvaonline/posts/list/42133.html |
|
|
|
[Question] Re: Log server how to |
21/12/2008 04:00:14 (+0700) | #18 | 163383 |
|
Phó Hồng Tuyết
Member
|
0 |
|
|
Joined: 20/04/2007 20:02:10
Messages: 275
Location: Nơi Sâu Thẳm Tâm Hồn
Offline
|
|
tranhuuphuoc wrote:
quanta wrote:
Với MySQL, tớ http://chaos.untouchable.net/index.php/HOWTO_setup_syslog-ng_to_log_to_mysql thôi, tức là: cấu hình syslog-ng để đưa các thông tin logs có được vào MySQL. Còn nếu muốn thì bạn có thể dùng... scp + cron job.
Còn anh thì nghĩ khác, nên tập hợp các thông tin này lại vào trong database để dễ dàng tìm kiếm, dễ quản lý đâu cần phải nén lại gì đâu . Nếu cần thì có thể sử dụng web interface http://sourceforge.net/projects/php-syslog-ng/ để query những thông tin trong đó
Nếu thành thạo câu lệnh SQL căn bản thì có thể query nó dễ dàng
SELECT ... FROM ... ORDER BY ...
Mình đồng ý với cách của anh Phước. Với cách này linh động và tiết kiệm được nhiều thứ. |
|
"Một người thành công không có ý nghĩ đổ thừa thất bại do ...." |
|
|
|
[Question] Re: Log server how to |
21/12/2008 15:33:37 (+0700) | #19 | 163439 |
LeVuHoang
HVA Friend
|
Joined: 08/03/2003 16:54:07
Messages: 1155
Offline
|
|
Theo các bác thì có tool nào (syslog-ng ?) đáp ứng được yêu cầu sau không:
1. Monitor sự thay đổi của 1 file bất kỳ (custom log file)
2. Đổ log về log server theo dạng real-time |
|
|
|
|
[Question] Re: Log server how to |
21/12/2008 21:58:02 (+0700) | #20 | 163443 |
|
Angelvn
Member
|
0 |
|
|
Joined: 13/05/2007 21:39:58
Messages: 27
Location: Viet Nam
Offline
|
|
LeVuHoang wrote:
Theo các bác thì có tool nào (syslog-ng ?) đáp ứng được yêu cầu sau không:
2. Đổ log về log server theo dạng real-time
Làm gì có real-time được lão. |
|
Shut up and Get down. |
|
|
|
[Question] Re: Log server how to |
22/12/2008 04:57:01 (+0700) | #21 | 163479 |
LeVuHoang
HVA Friend
|
Joined: 08/03/2003 16:54:07
Messages: 1155
Offline
|
|
Có 1 vài hệ thống mà log file cực kỳ quan trọng. Nếu dùng cron tab hoặc log không ở dạng real-time, attacker có thể dễ dàng fake log hoặc erase log trong khi log chưa đổ về log server. Tui đang xem xét coi có giải pháp nào như vậy không:
Monitor log file, xem changes về date, time, size chẳng hạn, xong đẩy về server. |
|
|
|
|
[Question] Re: Log server how to |
22/12/2008 12:42:46 (+0700) | #22 | 163521 |
|
quanta
Moderator
|
Joined: 28/07/2006 14:44:21
Messages: 7265
Location: $ locate `whoami`
Offline
|
|
LeVuHoang wrote:
Theo các bác thì có tool nào (syslog-ng ?) đáp ứng được yêu cầu sau không:
1. Monitor sự thay đổi của 1 file bất kỳ (custom log file)
tail -f được không bác?
LeVuHoang wrote:
Tui đang xem xét coi có giải pháp nào như vậy không:
Monitor log file, xem changes về date, time, size chẳng hạn, xong đẩy về server
Bác tham khảo: /hvaonline/posts/list/21789.html#130107
|
|
Let's build on a great foundation! |
|
|
|
[Question] Re: Log server how to |
22/12/2008 12:54:23 (+0700) | #23 | 163523 |
LeVuHoang
HVA Friend
|
Joined: 08/03/2003 16:54:07
Messages: 1155
Offline
|
|
vài giây crontab "tail -f" 1 lần rồi gởi log về server thì có vẻ hơi thủ công thì phải
Ngoài ra, yêu cầu 1 & 2 phải đi cùng với nhau, log ở chế độ realtime, chứ không có tách ra "monitor changes" không được quanta ah
Monitor hệ thống thì tui đang thử OSSEC nhưng vấn đề monitor và realtime này là cho log server. |
|
|
|
|
[Question] Re: Log server how to |
22/12/2008 15:00:24 (+0700) | #24 | 163535 |
mrro
Administrator
|
Joined: 27/12/2001 05:07:00
Messages: 745
Offline
|
|
tớ nghĩ đừng quá quan tâm đến integrity của log, bởi một khi attacker đã muốn làm sai lệch log thì họ sẽ làm được. đây chính là điểm khác biệt giữa những gì sách vở nói và hiện thực cuộc sống :p.
sách thì luôn kêu phải bảo vệ log, kẻo bọn tấn công sẽ cung cấp thông tin giả, làm nhiễu log này nọ, bởi log rất quan trọng. nhưng thật tế thì tớ thấy, muốn làm tốt công việc auditing, thì đừng bao giờ đặt trọn niềm tin vào log :-p.
tớ luôn làm việc với tiêu chí, log có thể chứa thông tin sai, chẳng hạn như những thông tin mà attacker muốn tớ nhìn thấy, chứ không phải là những sự kiện thật sự đã diễn ra.
--m
|
|
http://tinsang.net
TetCon 2013 http://tetcon.org
Làm an toàn thông tin thì học gì?/hvaonline/posts/list/42133.html |
|
[Question] Re: Log server how to |
23/12/2008 01:50:46 (+0700) | #25 | 163569 |
LeVuHoang
HVA Friend
|
Joined: 08/03/2003 16:54:07
Messages: 1155
Offline
|
|
Log không phải là tất cả nhưng tay không bắt cướp thì hơi khó |
|
|
|