-
transformers训练分类器
transformers 分类器训练环境说明: python 3.10, ubuntu 22.04 pytorch 2.3.0 transformers 4.40.2 ... -
大模型训练框架swift简单使用
在做大模型开发的时候,会遇到模型选型的问题,需要测试不通模型的效果,对于一开始刚接触大模型小白的我,是一个一个模型尝试,在环境部署,模型训练效果对比,在不同环境中切换。后来接触到了swfit框架后就相对轻松很多了。 ... -
paddlenlp文本分类实践
环境安装文档 这里我使用的docker 安装比较方便,在 NVIDIA 提供的 cuda-12.2 docker镜像基础上安装 paddlenlp 2.6 一开始是自己安装,折腾了好久,各种版本不匹配。后来就改... -
docker镜像制作
docker镜像制作 在学习PaddleNLP的时候,用到了docker但是官网给的版本太低了2.3,所以就基于 12.2.2-cudnn8-runtime-ubuntu20.04做了一个2.6版本的,第一次做遇到不少问题,记录一下 这个是... -
大模型学习一
大模型学习一 环境搭建和测试 1.环境和安装包 Ubuntu 20 python 3.10 中文模型 这里使用的 Chinese-LLaMA-2-7B llama.cpp 本文参考:https://github.com/ym... -
创建java和scala混合项目
在开发spark项目的时候会用到scala和java这两种语言, 一般会有用到idea添加Scala相关包,这里介绍使用maven引入scala的方式,在idea和eclipse中都通用,配置如下 123456789101112131415... -
对写代码的理解
总结一下自己对面向对象编程的理解;记录一下也算是自己的感悟吧! 在面向对象编程里,第一节课就是,世界万物皆是对象, 那个时候,以为理解了,可是随着编程时间 越来越长,对对象的理解也越来越深,这句话虽然一开始就懂,但是在懂... -
elasticsearch8检索流程
在es 中涉及到操作最多就是检索,接下来看看检索的源码是怎么个流程,在es Rest请求中我们看到了 **org.elasticsearch.rest.RestController#dispatchRequest(org.elasti... -
elasticsearch8源码学习之rest请求
es 支持NIO 和netty 两种默认的方式 ,这里看es 的nio 主要是学习es是如何使用和封装的 直接看org.elasticsearch.action.ActionModule 的构造函数 这里主要有两个 setu... -
Spring事件发布应用
spring 事件机制的应用,在业务开发过程中很多时候会出现这样的需求,当系统创建一个任务的时候会有很多业务要做,比如我在项目中有一个这样的需求,创建一个数据映射任务配置之后,需要把这个任务上报到其他系统,在图库中创建相关的schem...
Keep writing and Keep loving.