这篇文章的 key idea 是,把关于文档结构的层级结构信息加入模型,有助于生成更好的文本表征。

这里的文档结构主要是说文章由句子组成,是层级结构。之前的方法是把所有句子连成一起输入一个 RNN 模型,这样其实丢失了段落这样的层级结构。

相应地,另一种方法是把每个句子里的词先分步输入一个 RNN 模型,生成句子表征;再将所有的句子表征输入另一个RNN模型,生成… Read more...

Random_old

硕士论文还需要最后修改,陆续在看文献。从上周五开始,先后花了两个白天,两个傍晚,两个清晨,才大概看懂 Philip Converse 1964 年的名著 The Nature of Belief Systems in Mass Publics。引用了许多次,今天才真正搞懂。以为是他写得差,拿去问美国人,道是这文章写得太优美,导致理解困难。

头几次看的时候,没有意识到自己不懂,但是行为表现就是水,上网,玩手机,聊天。… Read more...

Random_old

Random_old

This semester I’m taking three courses and two of them surprisingly take up much more time than I thought, and I wondered why I spent so much time of them. The courses are nlp and big data with machine learning systems.

Here are the reasons:… Read more...

Random_old

这周目前进展不错的事情,是加入了 meetup 上一个六点半的晨练小组。两年来声称要六点半起床,很少做到,加入这个小组后已经连续做到三天。明天应该也可以。做过测试,说自己的办事方式是 obliger,也就是需要外部监督。

为了早起,报名了很多早上的锻炼活动。为了写作,加入了几个写作小组。纽约啥都有。

这个规律出现在读研过程里。硕士一是没有结构,二是没有群体,因为 consciousness 是社会属性,孤立的时候,… Read more...

Random_old

References –

  • Speech and Language Processing (2nd Edition, 2007, Prentice-Hall), by Daniel Jurafsky and James Martin
  • UCB CS 294-5: Statistical Natural Language Processing, Fall 2005 course notes 
  • Manning and Shuetze, Foundations
Read more...

Random_old Techy

我牵挂的人里十个有九个在美国。今年过年,他们九个有八个没有回家。小红在东岸上课,小高在西岸编程。所有的学霸都在芝加哥奋力攀登知识顶峰。他们散落在北美大地上气喘吁吁地生活,共同特点有两个。一是年三十全部去了同学那儿,围着面目模糊的餐具颠三倒四地包饺子;二是即将或者正在成为码农。

年三十我端着烫嘴的糯米排骨看春晚,爸妈在旁边低头抢红包。想到他们… Read more...

Random_old

这两天和几位师友吃饭,刚刚无意中看到一些911记录片,又有些感慨。

周日是一心向学的聂同学和解学妹,逛库布里克书店、听音乐会,还去尖沙嘴转了一圈听本土摇滚乐队。吐槽学术,被反吐槽。

周一晚见田老师,说我想做生意。老师先问:你父母能给你什么?又提及他在南方科技大学带学生,说若是把南方科技大学建成香港科技大学,“这一辈子也没有白活”。田老师人好,对学生的职业发展非常负责。

周一晚见到某想读心… Read more...

Random_old

调研其他公号的运营情况,不知道怎么翻出一篇小说,题目是《金融街没有爱情》。越看越有劲,觉得节奏很好,语言很时尚。人肉发现作者刘玥,北大中文系毕业,在伯克利读博,吓了一跳。豆瓣上高手还是挺多啊,只是不知道为什么要这么写文章?是我太僵硬,还是作者心态好?

想起来桐华和楚湘云也是北大校友。这两位我还是给导师做RA时读… Read more...

Random_old

This is a log book of my study in kdb+ database which hopefully will evolve into some implementations of common trading strategies.

Sep 12 2016

  • Downloaded kdb+ 32 bit
  • Learnt how to evoke kdb+ / q language
  • Find some resources
    • The cookbook http://code.kx.com/wiki/Cookbook
Read more...

Random_old