(Các soft Get All tài nguyên của 1 Site) Trục trặc ở site này !?

English | Vietnamese

Rules

Main Forum

Portal

Member Listing

Statistics

Search

Reading Room
[Register]

Login [ | https ]

Forum Index

Thảo luận hệ điều hành Windows

(Các soft Get All tài nguyên của 1 Site) Trục trặc ở site này !?

[Question] (Các soft Get All tài nguyên của 1 Site) Trục trặc ở site này !?	07/07/2009 10:48:04 (+0700) \| #1 \| 185633

kamikazeq
Member

Joined: 04/07/2006 03:20:53
Messages: 837
Location: Panic Malware Planet
Offline

http://www.deskcity.com/

Mình đã dùng IDM Grabber - Teleport (Pro+Ultimate) - Offline Explorer - WebRipper - Httrack ... để thử lấy hết hình trong Site trên.
Đã thử thiết lập nhiều kiểu nhưng vẫn không thành công.

Với IDM Grabber thì mình lấy được khoảng hơn 250 hình thôi (mỗi hình phải >100 KB, web này toàn hình bự thôi).
Thấy rằng vẫn còn thiếu khá nhiều hình chưa lấy được.

Mấy tool kia thì không lấy được hay bằng IDM Grabber, cũng trăm mấy thôi.

Có thể có site chống Get All kiểu này. Nhưng ở site trên, mình cũng lấy được hơn 250 ảnh rồi, và những ảnh chưa lấy được cũng nằm trong những chỗ Public như những ảnh kia thôi, vậy mà không lấy được !?

Nhờ các bạn chỉ cách thiết lập của Tool nào mà down được hoàn toàn hình ảnh .jpg >100 KB ở trang trên.

IDM 5.18 http://tinyurl.com/pl2ejj | Quick Remove Malware http://tinyurl.com/lbbm9x - http://tinyurl.com/arna6g

[Question] (Các soft Get All tài nguyên của 1 Site) Trục trặc ở site này !?	09/07/2009 05:06:16 (+0700) \| #2 \| 185799

kamikazeq
Member

Joined: 04/07/2006 03:20:53
Messages: 837
Location: Panic Malware Planet
Offline

Có bác nào hứng thú chủ đề này không smilie

IDM 5.18 http://tinyurl.com/pl2ejj | Quick Remove Malware http://tinyurl.com/lbbm9x - http://tinyurl.com/arna6g

[Question] (Các soft Get All tài nguyên của 1 Site) Trục trặc ở site này !?	09/07/2009 05:10:30 (+0700) \| #3 \| 185801

gamma95
Researcher

Joined: 20/05/2003 07:15:41
Messages: 1377
Location: aaa">
Offline

Nhiều wallpaper đẹp đó. Đợi vài ngày nữa rảnh mình post cái script get link lên smilie

)

Cánh chym không mỏi
lol

[Question] (Các soft Get All tài nguyên của 1 Site) Trục trặc ở site này !?	09/07/2009 06:20:57 (+0700) \| #4 \| 185810

gamma95
Researcher

Joined: 20/05/2003 07:15:41
Messages: 1377
Location: aaa">
Offline

Xong rồi, bồ chạy thử script này đi, nó lấy hết theo yêu cầu của bồ đó
_http://pastebin.com/f250736cf

Cánh chym không mỏi
lol

[Question] (Các soft Get All tài nguyên của 1 Site) Trục trặc ở site này !?	09/07/2009 08:53:20 (+0700) \| #5 \| 185817

gamma95
Researcher

Joined: 20/05/2003 07:15:41
Messages: 1377
Location: aaa">
Offline

file text chứa tất cả các link ảnh đã lấy được
_http://www.mediafire.com/?byhee5zo2i1

Cánh chym không mỏi
lol

[Question] (Các soft Get All tài nguyên của 1 Site) Trục trặc ở site này !?	09/07/2009 09:23:01 (+0700) \| #6 \| 185821

quanta
Moderator

Joined: 28/07/2006 14:44:21
Messages: 7265
Location: $ locate `whoami`
Offline

kamikazeq wrote:

...
Nhờ các bạn chỉ cách thiết lập của Tool nào mà down được hoàn toàn hình ảnh .jpg >100 KB ở trang trên.

Trong thâm tâm, mình vẫn đinh ninh rằng wget có tùy chọn giới hạn size, thế quái nào tìm trong man page lại không thấy nhỉ? Lẽ nào mình nhớ nhầm?

Nếu đúng mình nhầm thật và không có tools nào khác có chức năng đó thì đành "chơi" cách này vậy:
Code:

$ wget -A.jpg -r -e robots=off -nd http://www.deskcity.com/
$ for f in *; do if [ `wc -c "$f" | cut -d" " -f1` -lt 102400 ]; then rm -fr "$f"; fi; done

Let's build on a great foundation!

[Question] (Các soft Get All tài nguyên của 1 Site) Trục trặc ở site này !?	09/07/2009 09:43:54 (+0700) \| #7 \| 185822

secmask
Elite Member

Joined: 29/10/2004 13:52:24
Messages: 553
Location: graveyard
Offline

tớ thử một tẹo với IDM 5.12 thấy vẫn download đc ảnh ở site đó mà smilie

, grabber để level 3, enable java script processing (mấy ảnh cỡ lớn ~500kb ).

[Question] (Các soft Get All tài nguyên của 1 Site) Trục trặc ở site này !?	09/07/2009 12:06:47 (+0700) \| #8 \| 185831

zerozeroone
Member

Joined: 24/12/2006 13:29:23
Messages: 149
Offline

quanta wrote:

kamikazeq wrote:

...
Nhờ các bạn chỉ cách thiết lập của Tool nào mà down được hoàn toàn hình ảnh .jpg >100 KB ở trang trên.

Trong thâm tâm, mình vẫn đinh ninh rằng wget có tùy chọn giới hạn size, thế quái nào tìm trong man page lại không thấy nhỉ? Lẽ nào mình nhớ nhầm?

Nếu đúng mình nhầm thật và không có tools nào khác có chức năng đó thì đành "chơi" cách này vậy:
Code:
$ wget -A.jpg -r -e robots=off -nd http://www.deskcity.com/
$ for f in *; do if [ `wc -c "$f" | cut -d" " -f1` -lt 102400 ]; then rm -fr "$f"; fi; done

Cái này của anh quanta chỉ lấy được mấy cái hình *-small.jpg ở trang chủ http://www.deskcity.com/) thôi. Và mấy cái này thì cũng đều nhỏ hơn 100 KB nên đều bị xóa hết. Còn mấy cái ở mấy trang khác (không phải trang chủ http://www.deskcity.com/) thì nó để cái link theo dạng: *-small.jpgxxxxxxxxxxx nên bị cái câu lệnh ở trên nó reject rồi. Còn mấy cái ảnh "chất lượng cao" thì bỏ đi cái "-small" trong cái link image đó là được.

[Question] (Các soft Get All tài nguyên của 1 Site) Trục trặc ở site này !?	10/07/2009 00:14:36 (+0700) \| #9 \| 185870

quanta
Moderator

Joined: 28/07/2006 14:44:21
Messages: 7265
Location: $ locate `whoami`
Offline

zerozeroone wrote:

Cái này của anh quanta chỉ lấy được mấy cái hình *-small.jpg ở trang chủ http://www.deskcity.com/) thôi. Và mấy cái này thì cũng đều nhỏ hơn 100 KB nên đều bị xóa hết. Còn mấy cái ở mấy trang khác (không phải trang chủ http://www.deskcity.com/) thì nó để cái link theo dạng: *-small.jpgxxxxxxxxxxx nên bị cái câu lệnh ở trên nó reject rồi. Còn mấy cái ảnh "chất lượng cao" thì bỏ đi cái "-small" trong cái link image đó là được.

Cảm ơn 001.

Mình cũng đã thử luôn -A "*.jpg*" -R "*-small.jpg*" luôn rồi nhưng không ăn thua. Lý do có lẽ nằm ở http://www.gnu.org/software/wget/manual/html_node/Types-of-Files.html#Types-of-Files:

Note, too, that query strings (strings at the end of a url beginning with a question mark (‘?’) are not included as part of the filename for accept/reject rules, even though these will actually contribute to the name chosen for the local file. It is expected that a future version of Wget will provide an option to allow matching against query strings.

Nên có lẽ bó tay với wget rồi, để thử mấy cái khác xem sao.

Let's build on a great foundation!

[Question] (Các soft Get All tài nguyên của 1 Site) Trục trặc ở site này !?	10/07/2009 01:57:54 (+0700) \| #10 \| 185879

gamma95
Researcher

Joined: 20/05/2003 07:15:41
Messages: 1377
Location: aaa">
Offline

ko ai đọc cái reply của mình à ? smilie

Toàn bộ link hình chất lượng mình post lên rồi mà, chỉ cần import vào IDM hoặc downthemall ngồi chờ nó down là xong thôi.

Cánh chym không mỏi
lol

[Question] (Các soft Get All tài nguyên của 1 Site) Trục trặc ở site này !?	10/07/2009 04:07:16 (+0700) \| #11 \| 185889

kamikazeq
Member

Joined: 04/07/2006 03:20:53
Messages: 837
Location: Panic Malware Planet
Offline

@gamma95: list link bác nhiều ghê. Mà sao không thấy script vậy kìa?

@secmask: với IDM thì vấn đề ở chỗ mình chưa enable java script. Giờ get ngon rồi. Mà dùng java này mạo hiểm quá không ta smilie

Thanks all smilie

---

Trước đó mình có mò thấy nó gói các ảnh lại theo từng chủ đề thành file rar với pass là "deskcity.com" .
Dùng IDM batch download lụm được cỡ 2.7 Gb file rar, không biết đủ chưa nhỉ .

http://www1.deskcity.com/images/download/2565.rar
http://www1.deskcity.com/images/download/2566.rar
http://www1.deskcity.com/images/download/2567.rar

...

http://www1.deskcity.com/images/download/3004.rar

IDM 5.18 http://tinyurl.com/pl2ejj | Quick Remove Malware http://tinyurl.com/lbbm9x - http://tinyurl.com/arna6g

[Question] (Các soft Get All tài nguyên của 1 Site) Trục trặc ở site này !?	10/07/2009 04:47:55 (+0700) \| #12 \| 185890

gamma95
Researcher

Joined: 20/05/2003 07:15:41
Messages: 1377
Location: aaa">
Offline

kamikazeq wrote:

@gamma95: list link bác nhiều ghê. Mà sao không thấy script vậy kìa?
Trước đó mình có mò thấy nó gói các ảnh lại theo từng chủ đề thành file rar với pass là "deskcity.com" .
Dùng IDM batch download lụm được cỡ 2.7 Gb file rar, không biết đủ chưa nhỉ .

http://www1.deskcity.com/images/download/2565.rar
http://www1.deskcity.com/images/download/2566.rar
http://www1.deskcity.com/images/download/2567.rar
http://www1.deskcity.com/images/download/3004.rar

Mò sao hay vậy? smilie

Cánh chym không mỏi
lol

[Question] (Các soft Get All tài nguyên của 1 Site) Trục trặc ở site này !?	10/07/2009 07:14:50 (+0700) \| #13 \| 185911

kamikazeq
Member

Joined: 04/07/2006 03:20:53
Messages: 837
Location: Panic Malware Planet
Offline

Khi đang coi tấm ảnh , dùng "download all link with IDM" vô tình thấy 1 file dạng http://www1.deskcity.com/images/download/xxxx.rar . Rồi từ đó dùng batch download của IDM mò hết cái xxxx đó thôi , ai ngờ nó ra cả đống. Nhưng không biết nhiêu đó có đủ không vì chưa giải nén ra đem so sánh với khoảng 56200 link của bác gamma.

Mà script của bác gamma là gì vậy, gửi lên lại dùm mình đi.

IDM 5.18 http://tinyurl.com/pl2ejj | Quick Remove Malware http://tinyurl.com/lbbm9x - http://tinyurl.com/arna6g

[Question] (Các soft Get All tài nguyên của 1 Site) Trục trặc ở site này !?	10/07/2009 07:37:25 (+0700) \| #14 \| 185914

ham_choi
Member

Joined: 03/09/2006 21:42:03
Messages: 396
Offline

Code:

1.
      #!/usr/bin/env python
   2.
      #coded by gamma95
   3.
      #Language: Python 2.5.1
   4.
      #usage: ./getlink.py
   5.
      import sys
   6.
      import os
   7.
      import urllib2
   8.
      import urllib
   9.
      _listurl = []
  10.
      _url = "http://www.deskcity.com/details/picture/"
  11.
      _egg = "http://www.deskcity.com"
  12.
      for i in xrange(0, 3009):
  13.
              _listurl.append(str(_url) + str(i) + ".html")
  14.
      #print _listurl
  15.
      for _line1 in _listurl:
  16.
              #try:
  17.
              req = urllib2.Request(_line1)
  18.
              try:
  19.
                      response = urllib2.urlopen(req)
  20.
              #except:# urlError, e:
  21.
              #       continue
  22.
                      the_page = response.readlines()
  23.
                      for _line2 in the_page:
  24.
                              a = _line2.find("src=\"/picture/image_url")
  25.
                              b = _line2.find("-small.jpg")
  26.
                              if a<> -1 and b <> -1:
  27.
                              #print _line2[a+5: b]
  28.
                                      print _egg + _line2[a+5: b] + str(".jpg")
  29.
                      #break
  30.
              except:# urlError, e:
  31.
                      continue
  32.
              #break
  33.
      exit()

Cái này hả ?

If love were human it would know me
In a lost space come and show me
Hold me and control me and then
Melt me slowly down
Like chocolate !

[Question] (Các soft Get All tài nguyên của 1 Site) Trục trặc ở site này !?	10/07/2009 08:10:15 (+0700) \| #15 \| 185917

bolzano_1989
Journalist

Joined: 30/01/2007 12:49:15
Messages: 1406
Offline

@kamikazeq : Trang pastebin , phải đổi "http://www." thành "http://" mới xem được đúng .

Kiểm tra các file bạn nghi ngờ có virus:
http://goo.gl/m3Fb6C
http://goo.gl/EqaZt
http://goo.gl/gEF8e
Nhận mẫu virus qua FB: http://goo.gl/70Xo23
HVA Malware Response Team: kiemtravirus@gmail.com
Trợ giúp diệt virus: http://goo.gl/2bqxY

Go to:

Users currently in here
1 Anonymous