Untitled
《Cross-Attention is All You Need》Gheini 等人的研究明确指出，在对预训练模型进行迁移学习以适应新语言对时，交叉注意力参数的更新比自注意力参数更为关键 。交叉注意力微调策略的一个衍生深度洞察是，它能够强制模型在保持主体冻结的情况下实现嵌入向量的跨语言对齐。 《Bridging the Language Gaps in Large Language Models with Inference-Time Cross-Lingual Intervention》针对解码器（Decoder-only）架构的 LLM，Wang 等人提出的 INCLINE 框架则更进一步，将对齐过程从训练阶段推向了推理阶段 。这种方法不需要修改模型的权重，而是通过在推理时动态注入干预向量，将低表现语言（源语言）的隐藏状态“拨正”到高表现语言（目标语言，通常为英语）的表示空间中 。 《Neural Machine Translation by Jointly Learning to Align and Translate》这篇文章针对传统“编码器-解码器”架构将源句强制压缩为...
Hexo搭建
先安装node.js(LTS)版本 然后安装 git bash 创建一个目录存放博客，例 F:/blog 在目录下右键启动git bash 安装Hexo ，在git bash输入npm install hexo-cli -g 输入 hexo init 初始化博客 输入hexo g 生成静态文件 输入hexo s部署到本地，连接既是地址，可以查看 在git bash命令窗口下按Ctrl+C可退出本地部署 使用butterfly主题 安装依赖 npm install hexo-renderer-pug hexo-renderer-stylus 下载butterfly主题 git clone -b master https://github.com/jerryc127/hexo-theme-butterfly.git themes/butterfly blog/themes目录下会出现一个butterfly文件夹，说明主题下载成功 打开blog目录下的_config.yml配置文件 更改主题为butterfly 1theme: butterfly 清理缓存hexo clean 生成静...
词句摘要
12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535455565758596061626364656667686970717273747576777879808182838485Large Language Models (LLMs) have shown remarkable capabilities in XXXXXLLMs在某些方面/领域展现出卓越的能力significant performance显著的性能表现exhibit 展览/展现among different language不同语言之间gaps/disparities差距Most existing approaches大多数现有的方法Recent approaches近期的研究方法rely on pretraining or fine-tuning依赖于预训练或微调To overcome these limitations为了克服这些局限性XXX by aligning ...