养“马”系列：一行命令搞定全网搜索！Hermes 从此告别 API 依赖

hyl@hyl:~$ opencli browser -h
Usage: opencli browser [options] [command]
Browser control — navigate, click, type, extract, wait (no LLM needed)
Commands:
  open [options]                 Open URL in automation window
  click [options]             Click element
  type [options]        Click element, then type text
  wait [options]  [value]       Wait for selector, text, time
  eval [options]                  Execute JS in page context
  extract [options]                   Extract page content as markdown
  close                               Close the automation window

#!/bin/bash
# ==============================================
# OpenCLI Skill: Bing 搜索（智能追加·自动去重·终极完美版）
# 调用: ./bing_search_skill.sh "关键词" 页数
# 示例: ./bing_search_skill.sh "恒瑞医药" 10
# 新增：当天多次搜索自动追加索引，自动去重，不覆盖
# ==============================================
# ===================== 【暴力修复】awk 分割提取纯 URL =====================
clean_url() {
    local raw="$1"
    # 核心：用 awk -F 'http' 暴力分割，只取 http 以后的部分
    echo "$raw" | awk -F 'http' '{if (NF>1) print "http" $2}' | head -n 1
}
# ===================== 参数校验 =====================
if [ $# -ne 2 ]; then
    echo "❌ 用法: $0 \"搜索关键词\" 翻页数量"
    exit 1
fi
SEARCH_KEY="$1"
TOTAL_PAGES="$2"
# 获取当前日期
CURRENT_DATE=$(date +%Y-%m-%d)
RESULT_DIR="./bing_search_result/${CURRENT_DATE}"
if ! [[ "$TOTAL_PAGES" =~ ^[0-9]+$ ]]; then
    echo "❌ 页数必须是数字"
    exit 1
fi
# 初始化
mkdir -p "${RESULT_DIR}/pages"
INDEX_FILE="${RESULT_DIR}/00_搜索索引.txt"
# ✅ 核心修改：如果索引文件不存在才创建，存在则追加
[ ! -f "$INDEX_FILE" ] && > "$INDEX_FILE"
# ✅ 核心新增：读取已下载的 URL 列表，用于去重
declare -A DOWNLOADED_URLS
if [ -f "$INDEX_FILE" ]; then
    while IFS= read -r line; do
        if [[ "$line" == "链接: "* ]]; then
            url="${line
#链接
: }"
            DOWNLOADED_URLS["$url"]=1
        fi
    done < "$INDEX_FILE"
fi
RESULT_LIST=()
PAGE_ID=1
echo "================================================"
echo "✅ 启动 Bing 搜索"
echo "🔍 关键词: $SEARCH_KEY"
echo "📄 翻页: $TOTAL_PAGES 页"
echo "📅 日期目录: $CURRENT_DATE"
echo "📋 已下载: ${
#DOWNLOADED
_URLS[@]} 个链接"
echo "================================================"
# 1. 打开首页
echo -e "
[1/3] 打开 Bing"
opencli browser open "https://www.bing.com"
opencli browser wait selector "
#sb
_form_q"
sleep 2
# 2. 搜索
echo -e "
[2/3] 执行搜索"
opencli browser type "
#sb
_form_q" "$SEARCH_KEY"
sleep 1
opencli browser click "
#search
_icon"
sleep 3
# 3. 翻页抓取
echo -e "
[3/3] 抓取链接"
for ((page=1; page<=TOTAL_PAGES; page++)); do
    echo -e "
===== 第 $page 页 ====="
    opencli browser wait selector ".b_algo"
    sleep 2
    PAGE_DATA=$(opencli browser eval "JSON.stringify(Arra

y.from(document.querySelectorAll('.b_algo h2 a')).map(a => ({title: a.innerText.trim(), url: a.href.trim()})));")
    while IFS= read -r line; do
        title=$(echo "$line" | jq -r '.title')
        raw_url=$(echo "$line" | jq -r '.url')
        # 核心：awk 暴力分割提取
        url=$(clean_url "$raw_url")
        # 严格校验 + 去重
        if [[ "$url" == http* ]] && [ -z "${DOWNLOADED_URLS["$url"]}" ]; then
            # ✅ 制表符分隔
            RESULT_LIST+=("${title}"$'\t'"${url}")
            [ "$raw_url" != "$url" ] && echo "🔧 已修复: $url"
            [ "$raw_url" == "$url" ] && echo "✅ 正常: $title"
        elif [ -n "${DOWNLOADED_URLS["$url"]}" ]; then
            echo "⏭️  已下载，跳过: $url"
        else
            echo "⚠️  跳过: $raw_url"
        fi
    done < <(echo "$PAGE_DATA" | jq -c '.[]' 2>/dev/null)
    # 翻页
    [ $page -lt $TOTAL_PAGES ] && {
        opencli browser click ".sb_pagN"
        sleep 3
    }
done
# 4. 批量保存（使用原生 opencli web read）
echo -e "
================================================"
echo "开始保存（新增：${
#RESULT
_LIST[@]}）"
echo "================================================"
for item in "${RESULT_LIST[@]}"; do
    # ✅ 制表符分割
    title="${item%%$'\t'*}"
    url="${item#*$'\t'}"
    echo -e "
----------------------------------------"
    echo "序号: $PAGE_ID"
    echo "标题: $title"
    echo "✅ 纯链接: $url"
    # ✅ 核心：使用原生 opencli web read 保存网页
    opencli web read \
        --url "$url" \
        --output "$RESULT_DIR/pages" \
        --wait 3 \
        --download-images false
    # ✅ 核心修改：追加索引，不覆盖
    echo "【$PAGE_ID】$title" >> "$INDEX_FILE"
    echo "链接: $url" >> "$INDEX_FILE"
    echo "----------------------------------------" >> "$INDEX_FILE"
    echo >> "$INDEX_FILE"
    PAGE_ID=$((PAGE_ID+1))
done
echo -e "
🎉 全部完成！无任何异常！"
echo "✅ 结果目录: $RESULT_DIR"
echo "📅 日期归档: $CURRENT_DATE"
echo "📋 本次新增: ${
#RESULT
_LIST[@]} 个"
echo "💡 提示：可直接删除旧日期目录进行清理"

chmod +x bing_search_skill.sh

./bing_search_skill.sh "股票分析skill" 10

bing_search_result/
└─ 2026-05-03/
   ├─ 00_搜索索引.txt    
# 所有结果的标题+链接索引
   └─ pages/             
# 所有网页的 Markdown 内容
      ├─ 1_股票分析 - 技能市场.md
      ├─ 2_TradingAgents-CN-Skill 股票分析.md
      └─ ...

---
name: bing-search
description: 使用 OpenCLI 进行 Bing 自动化搜索，保存网页内容到本地
version: 1.0.0
author: 养马系列
license: MIT
platforms: [linux, macos]
metadata:
  hermes:
    tags: [research, search, opencli, bing]
    category: research
    requires_toolsets: [terminal]
---
# Bing 自动化搜索技能
使用 OpenCLI 模拟人工操作进行 Bing 搜索，自动翻页并保存所有网页内容到本地。
## 何时使用
- 需要获取全网公开信息时
- 需要批量下载搜索结果时
- 其他搜索工具不可用或不稳定时
## 操作步骤
1. 运行脚本：`/path/to/bing_search_skill.sh "关键词" 页数`
2. 脚本会自动完成搜索、翻页、下载
3. 结果保存在 `./bing_search_result/日期/` 目录下
4. 读取 `00_搜索索引.txt` 和 pages 目录下的内容进行总结
## 常见陷阱
- 页数不要设置太大，避免被反爬
- 确保 OpenCLI 环境已正确部署
- 脚本会自动去重，当天多次搜索不会重复下载
## 验证
运行后检查是否生成了日期目录和索引文件

使用 bing-search 技能搜索"恒瑞医药"，翻10页，然后总结核心内容