【南山智尚出席第93届国际毛纺织大会】4月16-18日，IWTO第93届国际毛纺织大会在澳大利亚，南澳大利亚州首府阿德莱德圆满举办。来自全球300多名行业从业者及相关领域的代表参加了此次国际盛会。中国代表团由中国纺织工业联合会副会长杨兆华和中国毛纺织行业协会会长刘家强领队，由国家检测机构、毛纺贸易机构、制造企业和产业集群领导等30多名代表组成的代表团参加了此次会议。
南山智尚作为IWTO赞助商出席了此次大会。南山智尚是全球为数不多的毛纺织服装产业链一体化公司，主营业务涵盖精纺呢绒及服装产品的研发、设计、生产与销售。
南山智尚综合装备实力位居同行业先进水平，是领先的大型精纺紧密纺面料和现代化西服生产基地。在会场外南山智尚展位设立面料、服装两大展示区，展示了精纺紧密纺面料、OPTIM户外运动羊毛面料、定制服饰等，吸引了众多全球贸易伙伴进行交流、合作。

#LLM##LLM实践##llama3##LoRA##Quantization#
微调量化llama3-8b模型

微调训练笔记：https://t.cn/A6THkvo1

PS: llama3还是延用llama2的模型结构，一个原因是增加训练数据token数量到15T, 以及模型权重训练参数，模型训练的loss值还可以收敛，scaling laws还成立，所以加大训练量，继续堆机器，搭建集群来训练，加上人员和时间实验评估成本，训练成本很高，开源出来的模型权重。有了质量高的大力丸，基建搭好了，应用agent框架结合场景开出不一样的花朵~ （什么时候新的模型结构出现，推断训练范式的改变，也许炼丹成不会降低，当然离不开硬件计算密集型芯片的发展）

数据集：
使用来自[yahma](https://t.cn/A6THkvog)的Alpaca数据集，这是原始[Alpaca数据集](https://t.cn/A6CWGcUg)的经过筛选的版本，共有52,000条数据。

量化模型： unsloth/llama-3-8b-bnb-4bit

LoRA微调参数：
```

r = 16, # Choose any number > 0 ! Suggested 8, 16, 32, 64, 128

target_modules = ["q_proj", "k_proj", "v_proj", "o_proj",

"gate_proj", "up_proj", "down_proj",],

lora_alpha = 16,

lora_dropout = 0, # Supports any, but = 0 is optimized

bias = "none",

# Supports any, but = "none" is optimized
```
微调参数量：
trainable params: 41,943,040 || all params: 8,072,204,288 || trainable%: 0.5195983464188562

训练参数：
```

per_device_train_batch_size = 2,

gradient_accumulation_steps = 4,

warmup_steps = 5,

max_steps = 60,

learning_rate = 2e-4,

fp16 = True,

bf16 = False,

logging_steps = 1,

optim = "adamw_8bit",

weight_decay = 0.01,

lr_scheduler_type = "linear",

seed = 3407,

output_dir = "outputs",
```

参考：
1. https://t.cn/A6THkvo3
2. https://t.cn/A6THkvod
3. https://t.cn/A6THkvoB
4. https://t.cn/A6THkvor

法国廊酒（Bénédictine）又称本尼迪克丁甜酒，是一种高甜度高酒精度的草药酒。传说是法国诺曼底的一位本笃会修士首创的养生保健酒，事实上，其发明者是十九世纪法国酒商亚历山德拉·格兰特（Alexandra Le Grand）。为呼应传说，酒瓶商标上都印有D.O.M，本笃会文献开篇也常采用这个缩写，代表“Deo Optimo Maximo”，意思是“献给至高无上的主”。