]> www.wagner.pp.ru Git - oss/ljdump.git/blob - ljdump.py
e7534a91b83f940f69321a0142c743069eb2adb0
[oss/ljdump.git] / ljdump.py
1 #!/usr/bin/python
2 #
3 # ljdump.py - livejournal archiver
4 # Greg Hewgill <greg@hewgill.com> http://hewgill.com
5 # Version 1.2
6 #
7 # $Id$
8 #
9 # This program reads the journal entries from a livejournal (or compatible)
10 # blog site and archives them in a subdirectory named after the journal name.
11 #
12 # The configuration is read from "ljdump.config". A sample configuration is
13 # provided in "ljdump.config.sample", which should be copied and then edited.
14 # The configuration settings are:
15 #
16 #   server - The XMLRPC server URL. This should only need to be changed
17 #            if you are dumping a journal that is livejournal-compatible
18 #            but is not livejournal itself.
19 #
20 #   username - The livejournal user name. A subdirectory will be created
21 #              with this same name to store the journal entries.
22 #
23 #   password - The account password. This password is never sent in the
24 #              clear; the livejournal "challenge" password mechanism is used.
25 #
26 # This program may be run as often as needed to bring the backup copy up
27 # to date. Both new and updated items are downloaded.
28 #
29 # LICENSE
30 #
31 # This software is provided 'as-is', without any express or implied
32 # warranty.  In no event will the author be held liable for any damages
33 # arising from the use of this software.
34 #
35 # Permission is granted to anyone to use this software for any purpose,
36 # including commercial applications, and to alter it and redistribute it
37 # freely, subject to the following restrictions:
38 #
39 # 1. The origin of this software must not be misrepresented; you must not
40 #    claim that you wrote the original software. If you use this software
41 #    in a product, an acknowledgment in the product documentation would be
42 #    appreciated but is not required.
43 # 2. Altered source versions must be plainly marked as such, and must not be
44 #    misrepresented as being the original software.
45 # 3. This notice may not be removed or altered from any source distribution.
46 #
47 # Copyright (c) 2005-2006 Greg Hewgill
48
49 import codecs, md5, os, pickle, pprint, re, shutil, sys, urllib2, xml.dom.minidom, xmlrpclib
50 from xml.sax import saxutils
51
52 MimeExtensions = {
53     "image/gif": ".gif",
54     "image/jpeg": ".jpg",
55     "image/png": ".png",
56 }
57
58 def calcchallenge(challenge, password):
59     return md5.new(challenge+md5.new(password).hexdigest()).hexdigest()
60
61 def flatresponse(response):
62     r = {}
63     while True:
64         name = response.readline()
65         if len(name) == 0:
66             break
67         if name[-1] == '\n':
68             name = name[:len(name)-1]
69         value = response.readline()
70         if value[-1] == '\n':
71             value = value[:len(value)-1]
72         r[name] = value
73     return r
74
75 def getljsession(username, password):
76     r = urllib2.urlopen(Server+"/interface/flat", "mode=getchallenge")
77     response = flatresponse(r)
78     r.close()
79     r = urllib2.urlopen(Server+"/interface/flat", "mode=sessiongenerate&user=%s&auth_method=challenge&auth_challenge=%s&auth_response=%s" % (username, response['challenge'], calcchallenge(response['challenge'], password)))
80     response = flatresponse(r)
81     r.close()
82     return response['ljsession']
83
84 def dochallenge(params, password):
85     challenge = server.LJ.XMLRPC.getchallenge()
86     params.update({
87         'auth_method': "challenge",
88         'auth_challenge': challenge['challenge'],
89         'auth_response': calcchallenge(challenge['challenge'], password)
90     })
91     return params
92
93 def dumpelement(f, name, e):
94     f.write("<%s>\n" % name)
95     for k in e.keys():
96         if isinstance(e[k], {}.__class__):
97             dumpelement(f, k, e[k])
98         else:
99             s = unicode(str(e[k]), "UTF-8")
100             f.write("<%s>%s</%s>\n" % (k, saxutils.escape(s), k))
101     f.write("</%s>\n" % name)
102
103 def writedump(fn, event):
104     f = codecs.open(fn, "w", "UTF-8")
105     f.write("""<?xml version="1.0"?>\n""")
106     dumpelement(f, "event", event)
107     f.close()
108
109 def createxml(doc, name, map):
110     e = doc.createElement(name)
111     for k in map.keys():
112         me = doc.createElement(k)
113         me.appendChild(doc.createTextNode(map[k]))
114         e.appendChild(me)
115     return e
116
117 def gettext(e):
118     if len(e) == 0:
119         return ""
120     return e[0].firstChild.nodeValue
121
122 config = xml.dom.minidom.parse("ljdump.config")
123 Server = config.documentElement.getElementsByTagName("server")[0].childNodes[0].data
124 Username = config.documentElement.getElementsByTagName("username")[0].childNodes[0].data
125 Password = config.documentElement.getElementsByTagName("password")[0].childNodes[0].data
126
127 m = re.search("(.*)/interface/xmlrpc", Server)
128 if m:
129     Server = m.group(1)
130
131 print "Fetching journal entries for: %s" % Username
132 try:
133     os.mkdir(Username)
134     print "Created subdirectory: %s" % Username
135 except:
136     pass
137
138 ljsession = getljsession(Username, Password)
139
140 server = xmlrpclib.ServerProxy(Server+"/interface/xmlrpc")
141
142 newentries = 0
143 newcomments = 0
144 errors = 0
145
146 lastsync = ""
147 lastmaxid = 0
148 try:
149     f = open("%s/.last" % Username, "r")
150     lastsync = f.readline()
151     if lastsync[-1] == '\n':
152         lastsync = lastsync[:len(lastsync)-1]
153     lastmaxid = f.readline()
154     if len(lastmaxid) > 0 and lastmaxid[-1] == '\n':
155         lastmaxid = lastmaxid[:len(lastmaxid)-1]
156     if lastmaxid == "":
157         lastmaxid = 0
158     else:
159         lastmaxid = int(lastmaxid)
160     f.close()
161 except:
162     pass
163 origlastsync = lastsync
164
165 r = server.LJ.XMLRPC.login(dochallenge({
166     'username': Username,
167     'ver': 1,
168     'getpickws': 1,
169     'getpickwurls': 1,
170 }, Password))
171 userpics = dict(zip(map(str, r['pickws']), r['pickwurls']))
172 userpics['*'] = r['defaultpicurl']
173
174 while True:
175     r = server.LJ.XMLRPC.syncitems(dochallenge({
176         'username': Username,
177         'ver': 1,
178         'lastsync': lastsync,
179     }, Password))
180     #pprint.pprint(r)
181     if len(r['syncitems']) == 0:
182         break
183     for item in r['syncitems']:
184         if item['item'][0] == 'L':
185             print "Fetching journal entry %s (%s)" % (item['item'], item['action'])
186             try:
187                 e = server.LJ.XMLRPC.getevents(dochallenge({
188                     'username': Username,
189                     'ver': 1,
190                     'selecttype': "one",
191                     'itemid': item['item'][2:],
192                 }, Password))
193                 writedump("%s/%s" % (Username, item['item']), e['events'][0])
194                 newentries += 1
195             except xmlrpclib.Fault, x:
196                 print "Error getting item: %s" % item['item']
197                 pprint.pprint(x)
198                 errors += 1
199         lastsync = item['time']
200
201 # The following code doesn't work because the server rejects our repeated calls.
202 # http://www.livejournal.com/doc/server/ljp.csp.xml-rpc.getevents.html
203 # contains the statement "You should use the syncitems selecttype in
204 # conjuntions [sic] with the syncitems protocol mode", but provides
205 # no other explanation about how these two function calls should
206 # interact. Therefore we just do the above slow one-at-a-time method.
207
208 #while True:
209 #    r = server.LJ.XMLRPC.getevents(dochallenge({
210 #        'username': Username,
211 #        'ver': 1,
212 #        'selecttype': "syncitems",
213 #        'lastsync': lastsync,
214 #    }, Password))
215 #    pprint.pprint(r)
216 #    if len(r['events']) == 0:
217 #        break
218 #    for item in r['events']:
219 #        writedump("%s/L-%d" % (Username, item['itemid']), item)
220 #        newentries += 1
221 #        lastsync = item['eventtime']
222
223 print "Fetching journal comments for: %s" % Username
224
225 try:
226     f = open("%s/comment.meta" % Username)
227     metacache = pickle.load(f)
228     f.close()
229 except:
230     metacache = {}
231
232 try:
233     f = open("%s/user.map" % Username)
234     usermap = pickle.load(f)
235     f.close()
236 except:
237     usermap = {}
238
239 maxid = lastmaxid
240 while True:
241     r = urllib2.urlopen(urllib2.Request(Server+"/export_comments.bml?get=comment_meta&startid=%d" % (maxid+1), headers = {'Cookie': "ljsession="+ljsession}))
242     meta = xml.dom.minidom.parse(r)
243     r.close()
244     for c in meta.getElementsByTagName("comment"):
245         id = int(c.getAttribute("id"))
246         metacache[id] = {
247             'posterid': c.getAttribute("posterid"),
248             'state': c.getAttribute("state"),
249         }
250         if id > maxid:
251             maxid = id
252     for u in meta.getElementsByTagName("usermap"):
253         usermap[u.getAttribute("id")] = u.getAttribute("user")
254     if maxid >= int(meta.getElementsByTagName("maxid")[0].firstChild.nodeValue):
255         break
256
257 f = open("%s/comment.meta" % Username, "w")
258 pickle.dump(metacache, f)
259 f.close()
260
261 f = open("%s/user.map" % Username, "w")
262 pickle.dump(usermap, f)
263 f.close()
264
265 print "Fetching userpics for: %s" % Username
266 f = open("%s/userpics.xml" % Username, "w")
267 print >>f, """<?xml version="1.0"?>"""
268 print >>f, "<userpics>"
269 for p in userpics:
270     print >>f, """<userpic keyword="%s" url="%s" />""" % (p, userpics[p])
271     pic = urllib2.urlopen(userpics[p])
272     ext = MimeExtensions.get(pic.info()["Content-Type"], "")
273     picf = open("%s/%s%s" % (Username, codecs.utf_8_decode(p)[0], ext), "wb")
274     shutil.copyfileobj(pic, picf)
275     pic.close()
276     picf.close()
277 print >>f, "</userpics>"
278 f.close()
279
280 newmaxid = maxid
281 maxid = lastmaxid
282 while True:
283     r = urllib2.urlopen(urllib2.Request(Server+"/export_comments.bml?get=comment_body&startid=%d" % (maxid+1), headers = {'Cookie': "ljsession="+ljsession}))
284     meta = xml.dom.minidom.parse(r)
285     r.close()
286     for c in meta.getElementsByTagName("comment"):
287         id = int(c.getAttribute("id"))
288         jitemid = c.getAttribute("jitemid")
289         comment = {
290             'id': str(id),
291             'parentid': c.getAttribute("parentid"),
292             'subject': gettext(c.getElementsByTagName("subject")),
293             'date': gettext(c.getElementsByTagName("date")),
294             'body': gettext(c.getElementsByTagName("body")),
295             'state': metacache[id]['state'],
296         }
297         if usermap.has_key(c.getAttribute("posterid")):
298             comment["user"] = usermap[c.getAttribute("posterid")]
299         try:
300             entry = xml.dom.minidom.parse("%s/C-%s" % (Username, jitemid))
301         except:
302             entry = xml.dom.minidom.getDOMImplementation().createDocument(None, "comments", None)
303         found = False
304         for d in entry.getElementsByTagName("comment"):
305             if int(d.getElementsByTagName("id")[0].firstChild.nodeValue) == id:
306                 found = True
307                 break
308         if found:
309             print "Warning: downloaded duplicate comment id %d in jitemid %s" % (id, jitemid)
310         else:
311             entry.documentElement.appendChild(createxml(entry, "comment", comment))
312             f = codecs.open("%s/C-%s" % (Username, jitemid), "w", "UTF-8")
313             entry.writexml(f)
314             f.close()
315             newcomments += 1
316         if id > maxid:
317             maxid = id
318     if maxid >= newmaxid:
319         break
320
321 lastmaxid = maxid
322
323 f = open("%s/.last" % Username, "w")
324 f.write("%s\n" % lastsync)
325 f.write("%s\n" % lastmaxid)
326 f.close()
327
328 if origlastsync:
329     print "%d new entries, %d new comments (since %s)" % (newentries, newcomments, origlastsync)
330 else:
331     print "%d new entries, %d new comments" % (newentries, newcomments)
332 if errors > 0:
333     print "%d errors" % errors