ウェブの収集と構造化抽出に使える手段を整理し、robots の扱い、bot 対策、AI クローラーの権限区分、データ利用の境界についても触れます。
米連邦第3巡回区控訴裁判所が9月30日に公開した判決は、AIの学習データをめぐる著作権紛争に、控訴審として初めて線を引きました。Thomson Reuters Enterprise Centre GmbH v. Ross Intelligence Inc（事件番号25-2153）において、裁判所は、...
Cloudflare の2026年版年次創業者レターが9月28日に公開され、創業者の Matthew Prince と共同創業者の Michelle Zatlyn は会社16歳の誕生日に合わせて自社ネットワークの実測データを発表した。当初2027年下半期と予測されていた「自動化トラフィックが人間のト...
AI学習データの著作権レッドラインが引き締まりつつある。2026年9月21日、米国作家協会（Authors Guild）は、 Alter v. OpenAI and Microsoft 訴訟における原告側の最新準備書面で引用された内部文書を公開した。OpenAIとマイクロソフトの幹部は、海賊版図書サ...
Exa Agent Ultra は、AI 検索企業の Exa が 2026 年 9 月 26 日に公開した Agent API の最上位「effort（努力度）」設定です。effort パラメータを ultra にすると、エージェントは「やり尽くさなければならない」タスクに最大の計算資源を投下します...
WorkBuddyがウェブページ取得時にタイトル、メイン画面、または本文の欠落だけが表示される場合、スクロール、ボタンクリック、折りたたみ領域の拡大、タグ切り替えの後にページの内容が表示されます。この段階では、「このURLを読みます」と繰り返すだけでなく、Agent Browserをインストールして...
2026年7月1日、Cloudflareは公式ブログ「Your site, your rules: new AI traffic options for all customer.」で新しいAIトラフィック管理ソリューションを発表しました。 ウェブサイト管理者は検索、エージェント、トレーニングクロー...
I. 基本情報 Firecrawlは、生成AIおよびデータアプリケーション向けのWebデータAPIであり、ページクローリング、ウェブサイトスクレイピング、ウェブ検索という3つの主要機能を提供します。インターネットコンテンツを、大規模モデル処理に適したクリーンなデータに変換することを目的としています。...
Firecrawl v2.3.0では、AIクロールと解析機能が大幅に強化され、YouTubeへの新規対応、ODTおよびRTF解析、DocX解析の約50倍の高速化が図られています。また、エンタープライズ向け自動リチャージ、最適化されたPlaygroundエクスペリエンス、強化されたセルフホスティング機...
