<br><br><div class="gmail_quote">On Wed, Nov 26, 2008 at 11:12 AM, Matt Juszczak <span dir="ltr"><<a href="mailto:matt@atopia.net">matt@atopia.net</a>></span> wrote:<br><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">
I have about 3 TB of data I need to mirror off of an FTP box.  Using<br>
traditional methods, it would take me about 16+ days to get all of that<br>
information.<br>
<br>
I've looked at things like lftp, and a few other "scripts" out there, but<br>
ideally I would love to find something that can:<br>
<br>
1) Index the entire FTP<br>
2) Split the downloads into multiple threads<br>
3) Update the index at any time (the FTP server changes) and download the<br>
differences (yes, this may be an expensive operation I know)<br>
<br>
Any suggestions?  Off topic I know, but I've been struggling for some time<br>
now on this issue and I'm hoping some of you fellow sysadmins have some<br>
suggestions.<br>
<br>
Thanks!<br>
<br>
-Matt<br>
_______________________________________________<br>
talk mailing list<br>
<a href="mailto:talk@lists.nycbug.org">talk@lists.nycbug.org</a><br>
<a href="http://lists.nycbug.org/mailman/listinfo/talk" target="_blank">http://lists.nycbug.org/mailman/listinfo/talk</a><br>
</blockquote></div><br>Really, lftp and ncftp are the only decent clients for this sort of thing.<br>If you use lftp make sure to tune the number of parallel threads to something realistic, but greater than say 3.<br>lftp
is very fancy, and is about as feature rich as wget, so you have to
experiment with it to make it run the way you mean it to. <br>ncftp
works as well, but the number of knobs it has for checking "sameness"
of teh remote vs local version of a file is much fewer. This makes it
slower, since you have to clobber if there's any doubt.<br>Both have some seriously cool batching options. If you use an ftp client more than once a day there are really no other options.<br>I use ncftp for everyday, and lftp if I have to do heavy lifting.<br>
<br>So, I say stick with lftp. It's a pain at first because it can sometimes hang or skip files, but keep working with it.<br><br>-jesse<br>