• transformers训练分类器

    transformers 分类器训练环境说明:​ python 3.10, ​ ubuntu 22.04 ​ pytorch 2.3.0 ​ transformers 4.40.2 ...
  • 大模型训练框架swift简单使用

    ​ 在做大模型开发的时候,会遇到模型选型的问题,需要测试不通模型的效果,对于一开始刚接触大模型小白的我,是一个一个模型尝试,在环境部署,模型训练效果对比,在不同环境中切换。后来接触到了swfit框架后就相对轻松很多了。 ​ ...
  • paddlenlp文本分类实践

    ​ 环境安装文档 这里我使用的docker 安装比较方便,在 NVIDIA 提供的 cuda-12.2 docker镜像基础上安装 paddlenlp 2.6 一开始是自己安装,折腾了好久,各种版本不匹配。后来就改...
  • docker镜像制作

    docker镜像制作 在学习PaddleNLP的时候,用到了docker但是官网给的版本太低了2.3,所以就基于 12.2.2-cudnn8-runtime-ubuntu20.04做了一个2.6版本的,第一次做遇到不少问题,记录一下 ​ 这个是...
  • 大模型学习一

    大模型学习一 环境搭建和测试 ​ 1.环境和安装包 Ubuntu 20 python 3.10 中文模型 这里使用的 Chinese-LLaMA-2-7B llama.cpp 本文参考:https://github.com/ym...
  • 创建java和scala混合项目

    在开发spark项目的时候会用到scala和java这两种语言, ​ 一般会有用到idea添加Scala相关包,这里介绍使用maven引入scala的方式,在idea和eclipse中都通用,配置如下 123456789101112131415...
  • 对写代码的理解

    ​ 总结一下自己对面向对象编程的理解;记录一下也算是自己的感悟吧! ​ 在面向对象编程里,第一节课就是,世界万物皆是对象, 那个时候,以为理解了,可是随着编程时间 越来越长,对对象的理解也越来越深,这句话虽然一开始就懂,但是在懂...
  • elasticsearch8检索流程

    ​ 在es 中涉及到操作最多就是检索,接下来看看检索的源码是怎么个流程,在es Rest请求中我们看到了 **org.elasticsearch.rest.RestController#dispatchRequest(org.elasti...
  • elasticsearch8源码学习之rest请求

    ​ es 支持NIO 和netty 两种默认的方式 ,这里看es 的nio 主要是学习es是如何使用和封装的 直接看org.elasticsearch.action.ActionModule 的构造函数 这里主要有两个 setu...
  • Spring事件发布应用

    ​ spring 事件机制的应用,在业务开发过程中很多时候会出现这样的需求,当系统创建一个任务的时候会有很多业务要做,比如我在项目中有一个这样的需求,创建一个数据映射任务配置之后,需要把这个任务上报到其他系统,在图库中创建相关的schem...