UChome 日志导出

2010/07/03 16:16 - Posted By - Tags: ,, - Category: 电脑技巧
19 条评论

因为纸飞机（http://my.nuaa.edu.cn）的外网开通一直没有着落，也可能因为一些其他的各种原因，Sherry 想要将纸飞机空间 UChome 里的日志导出，用以导入到其他的博客托管服务上，不过很可惜的是 UChome 本身并不提供日志导出这一功能，而且也没有提供日志的 RSS Feed，仅有的一个订阅分享输出的日志都还是截断过的摘要，这样一来就不好办了，想要达到目标只能尝试使用其他的一些手段。

首先想到的是管理员直接操作数据库，这个最为简单，直接...不过很显然，我不是管理员，所以这个方法暂时放一边。

第二个可行的方法就是编写程序，分别访问作者的每一篇日志，并且解析 html 文件，从中提取出作者，分类，文章内容，发布日期等要素，自己再重组输出为 xml 文件，于是可以使用这个 xml 文件导入到其他的博客系统。

鉴于条件限制，我貌似只能使用第二种方法，访问日志页面？还是用 顺手，至于解析 html 文件，上次使用 的 BeautifulSoup 模块很有感觉的样子...那么就开始了

飞机的页面设置了权限，非登录用户无法查看别人的页面，所以第一步是要登录纸飞机空间，使用上篇文章中提到过的代码

  1. import os,re,urllib,codecs,time
  2. from BeautifulSoup import BeautifulSoup
  4. print u'登录飞机...'
  5. os.system(curl+ ' \"http://my.nuaa.edu.cn/home/do.php?ac=a4d30c424df67e23cdefc40e489f82c2&&ref\" >enuaa_temp.txt 2>nul')
  6. enuaa_web=BeautifulSoup(file(r'enuaa_temp.txt').read())
  7. formhash=enuaa_web.find('input',attrs={'name':'formhash'})['value']
  8. os.system(curl +' -c enuaa.txt -d \"username='+ user +'&password='+ password +'&cookietime=315360000&refer=space.php?do\=home&loginsubmit=true&formhash='+ formhash +'\" \"http://my.nuaa.edu.cn/home/do.php?ac=a4d30c424df67e23cdefc40e489f82c2&&ref\" >nul')

接下来访问日志列表的页面，其地址组成为：http://my.nuaa.edu.cn/home/space-'+ uid +'-do-blog-view-me-page-'+ page_num +'.html ，其中的 UID 就是账户的一个身份标识，可以直接查看，page_num为页数，所以可以带cookie访问这个页面，输出到文件后用 BeautifulSoup 来解析，提取出每一篇文章的地址

  1. os.system(curl+ ' -b enuaa.txt \"http://my.nuaa.edu.cn/home/space-'+ uid +'-do-blog-view-me-page-'+ page_num +'.html\" >enuaa_temp.txt 2>nul')
  2. os.system('\"'+ convertz + '\" /o:utf8 enuaa_temp.txt enuaa_temp_ut.txt')
  3. enuaa_web=BeautifulSoup(file(r'enuaa_temp_ut.txt').read())
  4. for i in range(0,10):
  5.     blog_url=enuaa_web.findAll('div',attrs={'class':'title'})[i].h4.a['href']
  6.     ExportToXML(blog_url)

同样地，然后再访问获取到的单篇文章页面，并使用 BeautifulSoup 来提取信息，在这个步骤上需要注意的是，如果 BeautifulSoup 解析发生非正常的莫名其妙的错误的时候，可能需要换用旧的 3.0.8 版本，我不是太清楚 rss 规范，所以部分参照 wordpress 的输出，最终的代码如下：

  1. #!/usr/bin/python
  2. #coding=utf-8
  3. import os,re,urllib,codecs,time
  4. from BeautifulSoup import BeautifulSoup
  5. curl=r'g:\curl\curl.exe'
  6. convertz=r'g:\curl\convertz\convertz.exe'
  7. user=''
  8. password=''
  9. uid='100395'
  10. page_num=7
  11. last_num=2
  12. author=u'sherry'
  14. def    ExportToXML(blog_url):
  15.     os.system(curl+ ' -b enuaa.txt \"http://my.nuaa.edu.cn/home/'+ blog_url +'\" >enuaa_temp.txt 2>nul')
  16.     os.system('\"'+ convertz + '\" /o:utf8 .\\enuaa_temp.txt .\\enuaa_post.txt')
  17.     os.system('copy enuaa_post.txt enuaa_post.html /y >nul')
  18.     blog_post=BeautifulSoup(file(r'enuaa_post.html').read())
  19.     ss=u'正在导出日志: '+ blog_post.findAll('h1')[1].string +' ...'
  20.     print ss
  21.     bb='''    <item>
  22.         <title>'''
  23.     bb=bb + blog_post.findAll('h1')[1].string + '''</title>'''
  24.     print >>yunmengze,bb
  25.     bb='''        <link>http://my.nuaa.edu.cn/home/'''+ blog_url +'''</link>'''
  26.     print >>yunmengze,bb
  27.     bb='''        <pubDate>''' + blog_post.findAll('span',attrs={'class':'gray'})[1].string + '''</pubDate>'''
  28.     print >>yunmengze,bb
  29.     bb='''        <dc:creator>'''+ author +'''</dc:creator>
  30.         <category><![CDATA[ Uncategorized ]]></category>
  31.         <description></description>'''
  32.     print >>yunmengze,bb
  33.     bb='''        <content:encoded><![CDATA[''' + str(blog_post.findAll('div',attrs={'id':'blog_article'})[0]).decode('utf-8') + ''']]></content:encoded>'''
  34.     print >>yunmengze,bb
  35. #    bb='''        <wp:post_date>''' + blog_post.findAll('span',attrs={'class':'gray'})[1].string + '''</wp:post_date>'''
  36. #    print >>yunmengze,bb
  37.     bb='''    </item>'''
  38.     print >>yunmengze,bb   
  39. def ExportBlogUrl(uid,page_num):
  40.     os.system(curl+ ' -b enuaa.txt \"http://my.nuaa.edu.cn/home/space-'+ uid +'-do-blog-view-me-page-'+ page_num +'.html\" >enuaa_temp.txt 2>nul')
  41.     os.system('\"'+ convertz + '\" /o:utf8 .\\enuaa_temp.txt .\\enuaa_temp_ut.txt')
  42.     enuaa_web=BeautifulSoup(file(r'enuaa_temp_ut.txt').read())
  43.         for i in range (0,10):
  44.             if i==4    :
  45.                 continue
  46.             else    :
  47.                 blog_url=enuaa_web.findAll('div',attrs={'class':'title'})[i].h4.a['href']
  48.                 ExportToXML(blog_url)
  49.     else    :
  50.         for i in range(0,10):
  51.             blog_url=enuaa_web.findAll('div',attrs={'class':'title'})[i].h4.a['href']
  52.             ExportToXML(blog_url)
  53.    
  54. print u'登录飞机...'
  55. os.system(curl+ ' \"http://my.nuaa.edu.cn/home/do.php?ac=a4d30c424df67e23cdefc40e489f82c2&&ref\" >enuaa_temp.txt 2>nul')
  56. enuaa_web=BeautifulSoup(file(r'enuaa_temp.txt').read())
  57. formhash=enuaa_web.find('input',attrs={'name':'formhash'})['value']
  58. os.system(curl +' -c enuaa.txt -d \"username='+ user +'&password='+ password +'&cookietime=315360000&refer=space.php?do\=home&loginsubmit=true&formhash='+ formhash +'\" \"http://my.nuaa.edu.cn/home/do.php?ac=a4d30c424df67e23cdefc40e489f82c2&&ref\" >nul')
  59. os.system('del /q enuaa_temp.txt')
  60. yunmengze=codecs.open(author +'.xml','w','utf-8')
  61. bb=u'''<?xml version="1.0" encoding="UTF-8"?>
    <rss version="2.0"
  62.     xmlns:content="http://purl.org/rss/1.0/modules/content/"
  63.     xmlns:wfw="http://wellformedweb.org/CommentAPI/"
  64.     xmlns:dc="http://purl.org/dc/elements/1.1/"
  65.     xmlns:atom="http://www.w3.org/2005/Atom"
  66.     xmlns:sy="http://purl.org/rss/1.0/modules/syndication/"
  67.     xmlns:slash="http://purl.org/rss/1.0/modules/slash/"
  68. >
    <!-- 该文件由起衣导出 http://isouth.org -->
  69. <channel>
  70.     <title>'''+ author +u''' 的日志</title>
        <link>http://yunmengze.net</link>
  71.     <description>斜阳院落，柳边深巷</description>
  72.     <pubDate>'''+ time.asctime() +'''</pubDate>
  73.     <language>zh-cn</language>
  74.     <sy:updatePeriod>hourly</sy:updatePeriod>
  75.     <sy:updateFrequency>1</sy:updateFrequency>
  76.     <generator>http://yunmengze.net</generator>
  77. '''
  78. print >>yunmengze,bb
  79. for i in range(1,page_num+1):
  80.     ExportBlogUrl(uid,str(i))
  81. bb='''    </channel>
  82. </rss>'''
  83. print >>yunmengze,bb
  84. yunmengze.close()
  85. os.system('del /q enuaa_temp_ut.txt >nul')
  86. os.system('del /q enuaa_post.html >nul')
  87. os.system('del /q enuaa_temp.txt >nul')
  88. os.system('del /q enuaa_post.txt >nul')
  89. os.system('del /q enuaa.txt >nul')

然后我将生成的 sherry.xml 导入 wordpress ，成功！

本文链接: http://isouth.org/archives/278.html , 转载请注明出处，此外还可以订阅我。

相关日志 Relate Posts

收藏与分享 : Twitter 分享 | Facebook 分享 | Diglog 分享 | FriendFeed 分享 | Google 书签 | 雅虎收藏 | Messenger | SkyDrive | 百度搜藏 | QQ 书签 | QQ 空间 | 朋友社区 | 鲜果推荐 | 豆瓣九点 | 开心分享 | 人间分享 | 人人分享 | 新浪微博 | MisterWong 书签 | del.icio.us 收藏 | Buzz | PDF 下载

“UChome 日志导出”19条留言

  1. 权子: July 3, 2010 at 4:38 pm1951
    Reply

    沙发哦~~~

    • 起衣: July 3, 2010 at 4:41 pm1952

      @权子 第一次呀

    • littlewater: July 3, 2010 at 5:42 pm1954

      @起衣 

      嗯，感觉这个的日志功能还是太复杂了~-~ 谁谁想要个～

    • 起衣: July 3, 2010 at 7:46 pm1956

      @littlewater 可能需要针对性的才有效

    • littlewater: July 4, 2010 at 9:29 pm1960

      @起衣 

      =3= 你就爱折腾－ －

    • 起衣: July 4, 2010 at 9:31 pm1964

      @littlewater 这次是帮忙嘛

    • littlewater: July 8, 2010 at 8:24 pm2026

      @起衣 

      多好的功能，只可惜了没有办法帮到水水\ \～

  2. sherrychiaki: July 3, 2010 at 7:31 pm1955
    Reply

    :grin: :wink: :cool:

    • 起衣: July 3, 2010 at 7:47 pm1957

      @sherrychiaki 发现…脚本还有很多地方需要修改，不过写它的目的只是给你导出日志，现在目的达到了，就不再理会叻

  3. 软件盒子: July 4, 2010 at 12:13 am1958
    Reply

    Uchome是什么我不知道呢

    • 起衣: July 4, 2010 at 8:54 am1959

      @软件盒子 那个和Discuz!一起的康盛的空间产品…

  4. ishagua: July 7, 2010 at 8:03 pm1999
    Reply

    嘿嘿 起衣真牛逼啊,来学习学习 :grin: :grin:

    • 起衣: July 7, 2010 at 8:48 pm2002

      @ishagua  :idea: 是看出了我的无聊…折腾

  5. why: November 24, 2010 at 10:13 pm2467
    Reply

    GFW blog 转载了这篇 这里www.chinagfw.org/2010/11/15.html

    • 起衣: December 7, 2010 at 7:03 pm2504

      @why 偶也，多谢风笛？GFW转过几篇叻～

  6. why: December 7, 2010 at 10:33 pm2531
    Reply

    不好 暴露了

    • 起衣: December 8, 2010 at 10:25 am2532

      @why 你早暴露叻额…

  7. 长春日租房: November 11, 2011 at 2:14 pm3155
    Reply

    这个方法使用与其他的吗

Pingbacks/Trackbacks

  1. Tweets that mention UChome 日志导出 -- Topsy.com: July 3, 2010 at 4:55 pm1953
    Reply

    [...] This post was mentioned on Twitter by 起衣, 起衣. 起衣 said: UChome 日志导出 http://isouth.org/archives/278.html [...]

发表留言（Ctrl+Enter提交）