73年前，香农已经给大模型发展埋下一颗种子

今日应用

素白白影视

又又又是一个集大成的影视资源网站啊！关键又是免费的在线观影。香港电影、经典电影、高分电影、国产电影、欧美电影，电影大全。简直就是专门给看电影的人准备的呀！

今日话题

73年前，香农已经给大模型发展埋下一颗种子

 

重点标签 AI考古、香农原理、大语言模型、信息论、统计计算

文章摘要

AI 领域的祖师爷：克劳德・香农与大语言模型的起源

在当今人工智能（AI）领域，大语言模型（LLM）的火爆程度不言而喻。然而，普林斯顿大学教授承现峻（Sebastian Seung）提出了一个引人深思的观点：大语言模型的原理，实际上可以追溯到1951年克劳德・香农在贝尔实验室的工作。香农在那时提出了预测下一个单词的问题，这成为了大语言模型的起点。

香农的论文《Prediction and Entropy of Printed English》发表于1951年，至今已被引用超过4000次。在这篇论文中，香农探讨了如何估算语言的熵（entropy）和冗余度（redundancy），并提出了一种新方法。熵是衡量每个字母平均产生的信息量的统计参数，而冗余度则衡量语言的统计结构对文本施加的约束。香农通过定义熵和冗余，为后来的语言模型奠定了基础。

香农的论文与现代AI技术的联系

香农的论文中提到了两种估计英语熵的方法：使用N-gram和计算与每个单词相关的熵。这些方法不仅为理解语言的统计特性提供了工具，而且为现代自然语言处理（NLP）技术的发展奠定了基础。例如，香农提出的利用人类思维来衡量自然冗余度的方法，与现代AI技术中通过学习大量文本数据来预测下一个词或下一段话的可能性有着异曲同工之妙。

此外，香农的研究还涉及到了信息论在实际应用中的潜力，如文本压缩。尽管现代计算机拥有足够大的内存，但Huffman压缩和Lempel-Ziv压缩算法在存储文本时仍能节省大量空间。

AIGC技术在营销互动中的应用

除了探讨AI技术的起源，文章还提到了AIGC（人工智能生成内容）技术在营销互动中的应用。7月3日的《AIGC体验派》第三期邀请了多位嘉宾，共同探讨了如何利用AIGC技术提升营销互动率。讨论内容包括：

– 品牌人如何利用AIGC技术进行节点营销。
– 创造WOW时刻，新一代智能车舱的创作营销新思路。
– AIGC时代，智能汽车交互背后的关键技术。

通过识别海报二维码或点击阅读原文，读者可以立即报名参加直播，深入了解AIGC技术在营销领域的应用。

结语

克劳德・香农的研究不仅为AI领域的发展奠定了基础，而且其理论和方法在今天依然具有重要的现实意义。同时，AIGC技术的应用也在不断拓展，为营销互动等领域带来了新的机遇。随着技术的不断进步，我们可以期待AI将在未来发挥更加重要的作用。

文章来源

原文地址: 点我阅读全文
原文作者: 机器之心