Anna’s Archiveの活動家およびハッカーは、最大のストリーミングサービスであるSpotifyの音楽ライブラリのほぼ全体をスクレイピングしたと報告した。彼らは2億5600万トラック分のメタデータを収集し、音声ファイルを直接ダウンロードしたという。8600万曲、総量は約300TBにのぼる。
Anna’s Archiveはアンダーグラウンド図書館向けのメタ検索エンジンで、2022年に、Z-Libraryを閉鎖しようとする法執行機関の動きの直後、Annaという名の匿名の活動家によって立ち上げられた。このプロジェクトはZ-Library、Sci-Hub、Library Genesis（LibGen）、Internet Archiveなど、複数のソースからのコンテンツを集約している。活動家たちは自分たちの活動を「知識と人類文化を保存すること」だと説明している。
Anna’s Archiveのメンバーは発表し、初の「音楽保存のためのアーカイブ」を作成したとした。活動家によれば、最近Spotifyを大規模にスクレイピングする方法を発見し、この機会を利用してコンテンツをアーカイブすることに決めたという。
「少し前に、Spotifyから大規模にデータを抽出する方法を見つけました。これを、主にコンテンツの保存に焦点を当てた音楽アーカイブを作る機会だと捉えました」と、同グループはブログに書いている。「もちろん、Spotifyに世界中の音楽がすべてあるわけではありませんが、素晴らしい出発点です。」
活動家によれば、既存の音楽コレクションは物理・デジタルを問わず重大な欠点を抱えている。これらのアーカイブは主に人気アーティストに焦点を当て、最高の音質（例：ロスレスFLAC）を目指すためファイルサイズが増大し、さらにトレントの中央集約的な一覧も存在しない。Anna’s Archiveはこれらの欠点を埋めることにした。
なお、このアーカイブは通常、テキストが最も高い情報密度を持つことから、書籍や学術論文に焦点を当てている。しかし、同グループの使命――知識と人類文化の保存――はメディアの種類を区別しない。「時には、非テキストのコンテンツを保存する機会が訪れます。これはまさにその一例です」と活動家は述べている。
結果として得られたメタデータのダンプには、プラットフォーム上の全トラックの99.9%にあたる、約2億5600万曲に関する情報が含まれているという。これは世界最大の公開音楽メタデータ・データベースとなる。比較として、競合は5000万〜1億5000万程度のレコード数であり、MusicBrainzはAnna’s Archiveの1億8600万に対して、ユニークなISRCコードがわずか500万しかない。
しかし、メタデータだけでは十分ではなかった。活動家は8600万トラックの音声ファイルをアーカイブした。これはSpotifyで利用可能な総曲数の37%に過ぎないものの、これらのトラックはプラットフォーム上の全ストリーミングの99.6%を占める。言い換えれば、ユーザーが聴く任意のトラックが活動家のアーカイブに入っている確率は99.6%だという。
曲の選別にはSpotifyの人気度指標が用いられた。これは再生回数とその関連性に基づいて算出される0〜100の数値である。人気度が0より大きい曲は、元の品質である160kbpsのOgg Vorbisのまま保存された。人気の低い曲は75kbpsのOgg Opusにトランスコードされた。多くのリスナーには違いが分からない一方で、容量節約に役立つという。
アーカイブ全体は、ファイル配布の独自標準であるAnna’s Archive Containers（AAC）形式で、トレントを通じて配布される。公開は複数段階に分けられる。収集したメタデータはすでに公開済みで、その後に曲本体（人気順で、最も人気のあるものから低いものへ）、追加メタデータ、アルバムカバー、そして元ファイル復元用のパッチが公開される。
活動家は各ファイルに可能な限り多くのメタデータを追加した。トラック名、URL、ISRCコード、UPC、アルバムカバー、replaygainデータなどの情報である。元のSpotifyファイルにはメタデータが含まれていなかったため、グループは音声を再エンコードすることなく、Oggファイルにそれらを埋め込んだ。
Spotifyの代表者はメディアに対して、実際にデータ侵害が発生したと述べた。さらに、同社は違法スクレイピングに関与したアカウントをすでに特定してブロックしており、将来同様の攻撃を防ぐための新たなセキュリティ対策を実装したと強調した。
「Spotifyは、違法スクレイピングに使用されていた不正なアカウントを特定し、停止しました。こうした攻撃に対する新たなセキュリティ対策を実装し、疑わしい活動を積極的に監視しています。私たちは初日から海賊行為との闘いにおいてアーティストを支援することにコミットしており、コンテンツ制作者を保護し、その権利を守るために業界パートナーと積極的に協力しています」と、Spotifyの広報担当者ローラ・ベイティは述べた。
現時点で、このアーカイブはコンテンツの保存のみに焦点を当てており、トレント経由でのみアクセス可能だ。しかし同グループは、十分な関心があれば、自身のウェブサイトから個別ファイルを直接ダウンロードできる機能を追加する可能性があることを認めている。