批量获取API接口内容并下载(文本,视频等)(shell脚本)

简介

最近看到很多api接口网站,有视频,图片,文字,鸡汤等内容,看到这么多好的内容想收藏,一条一条弄又很浪费时间,于是写了一个脚本,需要找一个比较好的api站点(没有做访问限制的),不然一下子次数很多占用服务器资源的话管理员可能就会把你IP封掉。

适用范围

只适用于返回值为文本格式的内容,或者格式,如果返回值直接是mp4或图片请观看其他文章

脚本

脚本1

#!/bin/bash
# 脚本名称:api_download.sh 
# 版本:1.0.0 
# 作者:诺言 
# 创建日期:2023年8月2日 
# 最后修改日期:2023年8月2日


API_URL="XXXXX"     # 替换为你的 API URL
OUTPUT_FILE="response.txt"            # 保存返回内容的文本文件名
ITERATIONS=5                          # 循环的次数
DOWNLOAD_DIR="/opt/downloaded_files"  # 下载文件保存的目录

# 清空输出文件
echo "" > "$OUTPUT_FILE"

# 循环请求 API 并将返回内容追加写入文本文件
for ((i=1; i<=$ITERATIONS; i++))
do    printf "正在获取第 %s 个返回内容...\n" "$i"
    response=$(curl -s "$API_URL")
    echo "https:$response" >> "$OUTPUT_FILE"  
###这里的https://看需求可以酌情删掉,如果你获取调用php接口返回的值带https的话删掉就行了
done

# 创建下载目录
mkdir -p "$DOWNLOAD_DIR"

# 使用 wget 批量下载文件
counter=0
while IFS= read -r url
do
    ((counter++))
    printf "正在下载文件 %s...\n" "$counter"
    wget -q "$url" -P "$DOWNLOAD_DIR" --content-disposition
done < "$OUTPUT_FILE"

echo "已经批量下载到 $DOWNLOAD_DIR 目录下。"

脚本2

这个脚本显示的进度比较详细

#!/bin/bash
# 脚本名称:api_download.sh
# 版本:1.0.0
# 作者:诺言
# 创建日期:2023年8月2日
# 最后修改日期:2023年8月2日

API_URL="XXXX"  # 替换为你的 API URL
OUTPUT_FILE="response.txt"         # 保存返回内容的文本文件名
ITERATIONS=5                      # 循环的次数
DOWNLOAD_DIR="/opt/downloaded_files"  # 下载文件保存的目录

# 清空输出文件
echo "" > "$OUTPUT_FILE"
# 循环请求 API 并将返回内容追加写入文本文件
for ((i=1; i<=$ITERATIONS; i++))
do
    echo "正在获取返回内容..." 
    response=$(curl -s "$API_URL")

    # 每行一个返回内容
    echo "https:$response" | while IFS= read -r line
###这里的https://看需求可以酌情删掉,如果你获取调用php接口返回的值带https的话删掉就行了
    do
        echo "$line" >> "$OUTPUT_FILE"
    done

    # 显示保存每个返回内容的进度
    progress=$((100 * i / ITERATIONS))
    echo "已保存 $progress% 的返回内容"
done

# 创建下载目录
mkdir -p "$DOWNLOAD_DIR"

# 使用 wget 批量下载文件
counter=0
while IFS= read -r url
do
    ((counter++))
    printf "\n正在下载文件 %s...\n" "$counter"
    wget --progress=bar:force "$url" -P "$DOWNLOAD_DIR" -nc
done < "$OUTPUT_FILE"

echo "网址已经批量下载到 $DOWNLOAD_DIR 目录下。"

脚本3

去重

#!/bin/bash

API_URL="https://v.api.aa1.cn/api/api-girl-11-02/index.php?type=url" # 替换为您的API接口地址
DOWNLOAD_DIR="/path/to/download"        # 替换为您的下载目录

# 创建下载目录
mkdir -p "$DOWNLOAD_DIR"

# 获取API接口返回内容并保存到文本文件
for ((i=1; i<=20; i++)); do
    RESPONSE=$(curl -s "$API_URL")
    echo "https:$RESPONSE" >> responses.txt
###这里的https://看需求可以酌情删掉,如果你获取调用php接口返回的值带https的话删掉就行了

    # 计算并显示获取内容进度百分比
    PROGRESS=$((i * 100 / 20))
    echo -ne "获取API内容: $PROGRESS%\r"
done

echo -e "\nAPI content fetched successfully."

# 批量下载文件
cat responses.txt | xargs -n 1 -I {} wget -P "$DOWNLOAD_DIR" {}

# 删除下载目录中的重复文件
rsync -a --remove-source-files "$DOWNLOAD_DIR/" "$DOWNLOAD_DIR/../temp/"
rm -r "$DOWNLOAD_DIR"
mv "$DOWNLOAD_DIR/../temp/" "$DOWNLOAD_DIR"

# 显示下载文件进度百分比
TOTAL_FILES=$(wc -l < responses.txt)
DOWNLOADED_FILES=0


echo -e "\nAll files downloaded successfully."

 

 

上图

批量获取API接口内容并下载(文本,视频等)(shell脚本)

原创文章,作者:AIRF,如若转载,请注明出处:http://www.ai-rf.com/index.php/2023/08/02/%e6%89%b9%e9%87%8f%e8%8e%b7%e5%8f%96api%e6%8e%a5%e5%8f%a3%e5%86%85%e5%ae%b9%e5%b9%b6%e4%b8%8b%e8%bd%bdshell%e8%84%9a%e6%9c%ac/

(0)
AIRFAIRF
上一篇 2023年8月1日
下一篇 2023年8月3日

相关推荐

  • Postman9.16.0汉化便携版

    Postman本是一个接口测试工具,可以利用它测试接口,去掉一些不必要的参数,起到精简代码作用。 应用介绍 在做接口测试的时候,Postman相当于一个客户端,它可以模拟用户发起的…

    2024年8月11日
  • 什么是WebDAV协议?

    本文将介绍WebDAV协议的基本概念、应用场景以及一些著名的应用。然后,我们将重点讲解如何利用NGINX搭建自己的WebDAV服务器,并提供相应的代码和解析。最后,将推荐一些常用的…

    芯片设计 2024年1月24日
  • Navicat 16中文免授权附安装激活教程

    软件介绍 [c-alert type=”error”]博客所发布的一切文章仅限用于学习和研究目的,需24小时内删除,不得将以下内容用于商业或者非法用途[/c…

    编程设计 2023年8月15日
  • 什么是国密算法?

    国密算法是指由中国国家密码管理局发布的密码算法标准,旨在保障国家信息安全。目前,国家密码管理局已发布了一系列国产商用密码标准算法,包括SM1(SCB2)、SM2、SM3、SM4、S…

    2024年2月9日
  • JetBrains 全家桶激活教程

    CodeKey Run 简介 CodeKey Run(ckey.run)是一个专注于 JetBrains 系列软件及插件自动激活的网站,支持 Windows、Linux 和 Mac…

    编程设计 2025年7月7日
  • 主流CMS及织梦CMS一键转换成迅睿CMS

    简介 很多网站以前都是使用织梦cms开源程序,但织梦宣称收费后,许多站长就想将网站后台系统转换成其它cms程序,由于网站有了一定权重了,不想丢失原网站权重,不想改变原网站的URL结…

    芯片设计 2023年8月31日
  • 宝塔降级任意版本(保姆级教程)

    宝塔历史版本下载(github中存在1.0.3-7.9.10符合大多数人使用的版本,部分版本如下): https://github.com/weiwang3056/baota_re…

    芯片设计 2023年12月18日
  • 利用Vercel搭建各大镜像站

    项目:https://github.com/XiaoXinYo/Easy-Reverse-Proxy Vercel部署 1. Fork项目. 2 . 修改配置. 3. Vercel…

    芯片设计 2024年9月22日
  • 激励自己好好工作的文案

    1.你向往的地方,别人去过了。你喜欢的人,别人睡过了。你想要的东西,别人早有了。 2.当一个人不爱你的时候。你撒娇就是作,你吃醋就是小心眼,你想念就是打扰,你关心就是闲得慌。 3.…

    生活情感 2022年9月26日
  • 爱生活爱自己的句子

    不是井里没有水,而是井挖得不够深。不是成功来得充分,而是放弃得够快。得到一样东西需要智慧,放弃它需要勇气。 没有人的运气是凭空而来的,只有你足够努力,你才会足够幸运。这个世界不会辜…

    生活情感 2022年10月1日

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注