Skip to main content

4 posts tagged with "life"

View All Tags

回归是开放空间,分类是固定空间 这个是基于结果来说的视角.

从训练看,分类的数据 在现实中也只是子集,本身也是一种特定场域的固定空间.

只是分类的答案是少数的固定空间 ,回归的答案是开放空间;

打个比方就是值域的不同; 值域不同会让他找到局部最小的语义表达,用来适配任务.

不过,无论分类回归还是降唯聚类,在小模型的时候其实就是相当于直接让模型学会了低维度表示下的方言(用于回归的权重方言,分类的方言)此时可以认为这些都是不同的权重范畴,差别较大,此时也不需要统一表示。

相同模型可以做各类任务 比如cnn都能多元回归。 但在有无监督预训练模型的情况下可以直接迁移到这些子任务,至于任务间学到的语义细节肯定还是有差,这是由于输出的空间和输入空间的差别带来的,但可以相信无监督预训练大模型能够拥有兼容这些任务的统一表示。

相同的网络层和架构,加上不同子任务所需的判别标准,就可以让权重学到对应需要的语义方言。 如今的大模型时代让我们可以通过迁移学习的方式快速学到恰当的方言表征,数据越大其本质越模糊,无论是哪类任务的底层语义都应该是相似的。

life2 min read

我很喜欢王立群老师的发言,以及他漫长且精彩的人生路。

王立群老师人生道路并不顺利,可以称的上是一路坎坷。在讲史的过程中,他也会讲自己的人生感悟。王立群年轻时候因为成分不好,只能半读半工的方式勉强求学,读民办中学坚持读书。参考高考的时候,取得了五门100分的良好成绩,本以为能够金榜提名。但是在身边成绩差了多的同学都拿到大学通知书的情况下,他知道坏了,历史重演。求职老师时,一机部办了两所学校,一所是机工学校,一所是子弟小学,王立群应聘机工学校的数学老师并成功通过考核。但是一个月之后校长找到他谈话说因为工作需要调到子弟小学,听闻这个消息的王立群当场落泪,也只好接受命运的安排。

1979年恢复高考的时候,王立群老师已经是高龄34岁,想要参加高考但是超龄。后来得知超龄可以直接报考研究生,王立群老师凭借这个机会考上了河南大学的研究生,抓住了人生的机会。后来,百家讲坛在全国遴选老师参与节目,王立群老师讲鸿门宴第一句“沛公据霸上,未得与项羽相见”就讲了十几分钟,这部分内容就打动了节目组,由此站上了百家讲坛的舞台,成为了家喻户晓的人物。直接跨考研究生,一句话十几分钟带来的机会,背后是人生的阅历和积累,磨练打不倒的才华与勇气。

life4 min read

最近我一直在思考,在大语言模型即将无处不在的时代,有什么工具能够帮每个人最快速获得领域知识(相当于一个快速知识蒸馏的工具),一个人怎么学习才算是掌握并验证了这个知识?又或者从做事的视角来看——一个人要做好一件事、做成一件事,它需要哪些信息?哪些最重要?怎么能把一些事情交给AI来做?

对于这些问题,我们当然可以简单从信息获取、模仿开始;如果我要学习一个未知领域,一个好的办法是遵守该领域的权威:各类大V、各类老师、各类前辈、同行;那我当然可以把这些信息源用来构建我自己的知识库,根据我的需求检索而且按照时间更新;我可以在这些平台获取这类信息源:书本、b站、油管、推特、抖音、arxiv、公众号、研究报告。我可以从这些地方不间断的爬取我想学习领域的内容,然后增量更新构建一个庞大的领域知识库,结合最近大火的RAG(Retrieval-Augmented Generation )技术,我们之后只需要对知识库提问就可以让自己能达到不错的前沿水平。

life11 min read

info

据传说中,织田信长最喜欢的能乐。当然我也很喜欢,出自能乐《敦盛》的谣曲。

常思人世漂流无常,譬如朝露,水中映月 。

刹那繁华瞬间即逝,风流人物,今非昔比。

人生五十年,莫非熙熙攘攘,浮生幻梦。

life2 min read