批量保存api接口文本类内容 带去重复功能(shell脚本)

前言

此脚本不能批量下载返回内容为json格式的文本

只适用于返回值为文字内容的api接口

批量保存api接口文本类内容 带去重复功能(shell脚本)

#!/bin/bash

# 设置保存文本的路径和文件名前缀
save_dir="/www/wwwroot/wangyiyunreping"
filename="juzi.txt"

# API接口URL
url="https://api.suyanw.cn/api/wyyrp/"

# 访问和保存文本500次
for (( i=1; i<=500; i++ ))
do
    # 发送GET请求到API接口并获取返回的文本数据
    response=$(curl -s "$url")

    # 检查是否访问成功
    if [[ $? -eq 0 ]]; then
        # 去除重复的句子
        if grep -Fxq "$response" "$save_dir/$filename"; then
            echo "第 $i 个文本已存在,跳过保存。"
        else
            echo "$response" >> "$save_dir/$filename"
            echo "第 $i 个文本保存成功!"
        fi
    else
        echo "第 $i 个文本保存失败!"
    fi
done

echo "文本保存完成!"

 

原创文章,作者:AIRF,如若转载,请注明出处:http://www.ai-rf.com/index.php/2023/08/05/%e6%89%b9%e9%87%8f%e4%bf%9d%e5%ad%98api%e6%8e%a5%e5%8f%a3%e6%96%87%e6%9c%ac%e7%b1%bb%e5%86%85%e5%ae%b9-%e5%b8%a6%e5%8e%bb%e9%87%8d%e5%a4%8d%e5%8a%9f%e8%83%bdshell%e8%84%9a%e6%9c%ac/

(0)
AIRFAIRF
上一篇 2023年8月3日
下一篇 2023年8月6日

相关推荐

  • Linux Shell巡检脚本

    系统一键巡检脚本: #!/bin/bash # -*- coding:utf-8 -*- echo -e “\033[31m >>>>>>&gt…

    2023年6月2日
  • PyCharm 常用快捷键一览

    简介 工欲善其事必先利其器,PyCharm 是最popular的Python开发工具,它提供的功能非常强大,是构建大型项目的理想工具之一,如果能挖掘出里面实用技巧,能带来事半功倍的…

    2023年11月13日
  • Python并发编程: concurrent.futures模块的用法

    在Python中,concurrent.futures模块提供了一种简化并行编程的方法。它通过使用线程池或进程池来执行并行任务,从而提高程序的执行效率。本文将介绍concurren…

    python 2024年1月24日
  • Python中zoneinfo模块的用法

    在Python 3.9及更高版本中,引入了zoneinfo模块,用于处理与时区相关的操作。这个模块提供了一种简单而直观的方式来处理时区信息,使得在Python中进行时区转换和时区感…

    python 2024年1月24日
  • Python中fractions模块到底是干什么的?

    在Python中,fractions模块提供了处理分数的功能。它允许我们进行精确的分数计算,而不会导致浮点数舍入误差。本文将详细介绍fractions模块的用法,并附带一些示例代码…

    python 2024年1月24日
  • Linux系统巡检脚本

    #!/bin/bash ############################################################## # File Name: Ce…

    JAVA_JavaScript 2024年5月19日
  • GScan – Linux安全入侵扫描工具

    宗旨 本程序旨在为安全应急响应人员对Linux主机排查时提供便利,实现主机侧Checklist的自动全面化检测,根据检测结果自动数据聚合,进行黑客攻击路径溯源。 检测项 1、主机信…

    2023年5月9日
  • 美女图片的Python爬虫实例(一)修复版

    该爬虫面向成年人且有一定的自控能力(涉及部分性感图片,仅用于爬虫实例研究) 目标 通过爬虫,得到 [秀人网] 里面的小姐姐并给她们一个温暖的家 衣沾不足惜,但使愿无违 思路 百度 …

    2024年3月12日
  • PyCharm一键脚本激活(亲测有效)PyCharm破解补丁 JetBrains全家桶破解

    前言 最近 jetbrains 官方发布了 2023.2 版本的 pycharm,之前的激活方法并不支持这个新的版本。 下面是最新的激活教程,激活步骤和之前是类似的,只是换用了不同…

    2023年5月31日
  • shell脚本入门教程

    shell中多种引号的区别: 双引号” “:允许扩展,允许以$引用其他变量 单引号’ ‘:禁用扩展,即便$也视为普通字符 反引号 “: 将命令的执行输出作为变量值,$()与反引号…

    JAVA_JavaScript 2022年10月8日

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注