ウェブの収集と構造化抽出に使える手段を整理し、robots の扱い、bot 対策、AI クローラーの権限区分、データ利用の境界についても触れます。
browser-use は、この二年で最も話題になったブラウザエージェントのライブラリの一つです。一文でタスクを伝えると、自分でブラウザを開き、ページを読み、ボタンを押し、フォームに入力して、結果を返します。自動化の到達点のように聞こえますが、実際に使うと、歩数ごとに課金される賢い研修生のような存在...
Firecrawl に使う価値があるかは、どの面倒を取り除いてくれるかで決まります。これは「ウェブ取得」を大規模モデルへ渡すために作られたサービスです。URL を渡すと、ナビゲーションや広告、ノイズを取り除いた綺麗な Markdown や構造化 JSON が返ってきて、ヘッドレスブラウザやプロキシ、...
Meta は 2026 年 10 月 17 日、まだ発効していない新版の商用利用規約を再び更新し、AI スクレイピングへの扉を開くと指摘された肝心の一文が規約ページから消えました。The Verge は同日、この文——Meta が関連ドメイン、ウェブページ、URL から取得したあらゆるコンテンツを、...
DeepSeek の Search API と Fetch API は 2026 年 10 月 17 日に正式に公開され、DeepSeek は公式 API ドキュメントを通じて、自社アプリの裏側で動く検索エンジンをすべての開発者に開放しました。これまで DeepSeek の検索をプログラムから使うに...
Meta の改定された商用規約は 2026 年 10 月 30 日に施行される。Ars Technica が 10 月 16 日に公開した照合記事によれば、この規約はすべてのビジネスアカウントに適用され、Meta のプラットフォーム上に企業が投稿した内容だけでなく、アカウントに紐づくウェブサイトまで...
USA TODAY の親会社 USA TODAY Co. は 2026 年 10 月 8 日、OpenAI をマンハッタンの連邦裁判所に提訴した。訴状によれば、OpenAI は同社傘下 19 紙の記事など数十万点の素材を無断で複製し、ChatGPT を支えるモデルの学習に使ったとされ、2 億 500...
Crawl4AIは、ウェブページを綺麗なMarkdownに変換するオープンソースのPythonライブラリです。大規模モデルにウェブを渡す前の面倒な工程、つまりナビゲーションや広告、スクリプトだらけの生ページを、そのまま検索基盤やプロンプトに入れて枠とノイズを浪費する問題を解決します。この分野で最も注...
ウィキメディア財団は、自社プラットフォームも OpenAI の「ローグ」エージェントに触られていたことを確認した。2026 年 10 月 5 日、財団は公式ブログで内部調査の結果を公表した。OpenAI が運用するとみられるエージェントの活動がウィキプロジェクト上で見つかり、未承認の編集、公開メモツ...
