linux awk常用命令

1 大文件每隔1000行插入一条语句，应用场景执行大批量inser/update语句时，需要每隔1000行插入sleep 1s

awk '1;NR00==0{print "SELECT SLEEP(1);"}' 1.sql > 2.sql

2 文件中找出长度大于n的行

   awk 'length>80' log.txt

3 将多行合并成一行，并指定分割符，应用场景：文件中每行都存储了数据表的一个id,想将1000行合并成一行

   awk 'ORS=NR%3?",":"\n"{print}' 1.txt > 2.txt

   see: https://www.2cto.com/database/201709/677336.html

4 去除文件中重复的行

  awk '!a[$0]++'  filename   

  see: https://blog.csdn.net/feng973/article/details/73849586