批量获取API接口内容并下载(文本,视频等)(shell脚本)

简介

最近看到很多api接口网站,有视频,图片,文字,鸡汤等内容,看到这么多好的内容想收藏,一条一条弄又很浪费时间,于是写了一个脚本,需要找一个比较好的api站点(没有做访问限制的),不然一下子次数很多占用服务器资源的话管理员可能就会把你IP封掉。

适用范围

只适用于返回值为文本格式的内容,或者格式,如果返回值直接是mp4或图片请观看其他文章

脚本

脚本1

#!/bin/bash
# 脚本名称:api_download.sh 
# 版本:1.0.0 
# 作者:诺言 
# 创建日期:2023年8月2日 
# 最后修改日期:2023年8月2日


API_URL="XXXXX"     # 替换为你的 API URL
OUTPUT_FILE="response.txt"            # 保存返回内容的文本文件名
ITERATIONS=5                          # 循环的次数
DOWNLOAD_DIR="/opt/downloaded_files"  # 下载文件保存的目录

# 清空输出文件
echo "" > "$OUTPUT_FILE"

# 循环请求 API 并将返回内容追加写入文本文件
for ((i=1; i<=$ITERATIONS; i++))
do    printf "正在获取第 %s 个返回内容...\n" "$i"
    response=$(curl -s "$API_URL")
    echo "https:$response" >> "$OUTPUT_FILE"  
###这里的https://看需求可以酌情删掉,如果你获取调用php接口返回的值带https的话删掉就行了
done

# 创建下载目录
mkdir -p "$DOWNLOAD_DIR"

# 使用 wget 批量下载文件
counter=0
while IFS= read -r url
do
    ((counter++))
    printf "正在下载文件 %s...\n" "$counter"
    wget -q "$url" -P "$DOWNLOAD_DIR" --content-disposition
done < "$OUTPUT_FILE"

echo "已经批量下载到 $DOWNLOAD_DIR 目录下。"

脚本2

这个脚本显示的进度比较详细

#!/bin/bash
# 脚本名称:api_download.sh
# 版本:1.0.0
# 作者:诺言
# 创建日期:2023年8月2日
# 最后修改日期:2023年8月2日

API_URL="XXXX"  # 替换为你的 API URL
OUTPUT_FILE="response.txt"         # 保存返回内容的文本文件名
ITERATIONS=5                      # 循环的次数
DOWNLOAD_DIR="/opt/downloaded_files"  # 下载文件保存的目录

# 清空输出文件
echo "" > "$OUTPUT_FILE"
# 循环请求 API 并将返回内容追加写入文本文件
for ((i=1; i<=$ITERATIONS; i++))
do
    echo "正在获取返回内容..." 
    response=$(curl -s "$API_URL")

    # 每行一个返回内容
    echo "https:$response" | while IFS= read -r line
###这里的https://看需求可以酌情删掉,如果你获取调用php接口返回的值带https的话删掉就行了
    do
        echo "$line" >> "$OUTPUT_FILE"
    done

    # 显示保存每个返回内容的进度
    progress=$((100 * i / ITERATIONS))
    echo "已保存 $progress% 的返回内容"
done

# 创建下载目录
mkdir -p "$DOWNLOAD_DIR"

# 使用 wget 批量下载文件
counter=0
while IFS= read -r url
do
    ((counter++))
    printf "\n正在下载文件 %s...\n" "$counter"
    wget --progress=bar:force "$url" -P "$DOWNLOAD_DIR" -nc
done < "$OUTPUT_FILE"

echo "网址已经批量下载到 $DOWNLOAD_DIR 目录下。"

脚本3

去重

#!/bin/bash

API_URL="https://v.api.aa1.cn/api/api-girl-11-02/index.php?type=url" # 替换为您的API接口地址
DOWNLOAD_DIR="/path/to/download"        # 替换为您的下载目录

# 创建下载目录
mkdir -p "$DOWNLOAD_DIR"

# 获取API接口返回内容并保存到文本文件
for ((i=1; i<=20; i++)); do
    RESPONSE=$(curl -s "$API_URL")
    echo "https:$RESPONSE" >> responses.txt
###这里的https://看需求可以酌情删掉,如果你获取调用php接口返回的值带https的话删掉就行了

    # 计算并显示获取内容进度百分比
    PROGRESS=$((i * 100 / 20))
    echo -ne "获取API内容: $PROGRESS%\r"
done

echo -e "\nAPI content fetched successfully."

# 批量下载文件
cat responses.txt | xargs -n 1 -I {} wget -P "$DOWNLOAD_DIR" {}

# 删除下载目录中的重复文件
rsync -a --remove-source-files "$DOWNLOAD_DIR/" "$DOWNLOAD_DIR/../temp/"
rm -r "$DOWNLOAD_DIR"
mv "$DOWNLOAD_DIR/../temp/" "$DOWNLOAD_DIR"

# 显示下载文件进度百分比
TOTAL_FILES=$(wc -l < responses.txt)
DOWNLOADED_FILES=0


echo -e "\nAll files downloaded successfully."

 

 

上图

批量获取API接口内容并下载(文本,视频等)(shell脚本)

原创文章,作者:AIRF,如若转载,请注明出处:http://www.ai-rf.com/index.php/2023/08/02/%e6%89%b9%e9%87%8f%e8%8e%b7%e5%8f%96api%e6%8e%a5%e5%8f%a3%e5%86%85%e5%ae%b9%e5%b9%b6%e4%b8%8b%e8%bd%bdshell%e8%84%9a%e6%9c%ac/

(0)
AIRFAIRF
上一篇 2023年8月1日
下一篇 2023年8月3日

相关推荐

  • Python自动化Cc压测攻击脚本V2

    仅供压测自己服务器使用,不得用于非法攻击 CCATK-V1 使用socks4 / 5代理攻击http服务器的脚本。 删除了混合代理洪水 新特性: 快速套接字重用 改进的CC模式 随…

    2023年8月31日
  • 你还不支持国产?Notepad++完美替代品已

    产品1 Nopepad– 是一款使用C++编写的文本编辑器,可以支持Win/Linux/Mac平台。 目标是要替换Notepad++,重点在国产Uos系统、Mac 系统…

    芯片设计 2023年5月11日
  • 防止SSL泄露源站 IP

    前言 有很多站长(比如我)选择为自己的网站套上cdn,比起加速效果我相信更多人是为了保护自己那脆弱可怜幼小无助的源站ip不被人发现,不过有亿些平台 例如 会通过nginx的‘特性’…

    芯片设计 2022年12月3日
  • JetBrains 全家桶激活教程

    CodeKey Run 简介 CodeKey Run(ckey.run)是一个专注于 JetBrains 系列软件及插件自动激活的网站,支持 Windows、Linux 和 Mac…

    编程设计 2025年7月7日
  • 心情不好极度抑郁的文案

    1.分享情绪有什么用呢 人的悲欢并不相通 2.微信里有你就够了 偶尔能偷偷看看你就够了 至于你是不是我的 能不能拥有你在不在一起真的没那么重要了 3.我越安静、越忍让、越平和、越无…

    生活情感 2022年10月1日
  • 新一代开源免费的终端工具-WindTerm

    在日常工作中,ssh工具是我们最常用的工具之一。平时我们常用的工具有Xshell Putty等工具。每个工具都已自身的优点和缺点,这里我们推荐一款非常棒的开源工具WindTerm …

    2024年4月29日
  • YPay源支付支付页面报错问题

    支付问题 发起支付时候,部分人出现十年磨一剑 这个问题有可能是商品名字问题,有的中文名字不支持,或者就是看一下用户中心的通道配置是否可以进入,若是无法进入就是触发器掉了,触发器需要…

    2024年8月3日
  • 爱生活爱自己的句子

    不是井里没有水,而是井挖得不够深。不是成功来得充分,而是放弃得够快。得到一样东西需要智慧,放弃它需要勇气。 没有人的运气是凭空而来的,只有你足够努力,你才会足够幸运。这个世界不会辜…

    生活情感 2022年10月1日
  • 宝塔降级任意版本(保姆级教程)

    宝塔历史版本下载(github中存在1.0.3-7.9.10符合大多数人使用的版本,部分版本如下): https://github.com/weiwang3056/baota_re…

    芯片设计 2023年12月18日
  • 【实测推荐】国内外免费CDN

    简介 CDN是一种新型网络构建方式,它是为能在传统的IP网发布宽带丰富媒体而特别优化的网络覆盖层;而从广义的角度,CDN代表了一种基于质量与秩序的网络服务模式。 CDN主要特点 1…

    2023年10月27日

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注