オーストリア学派系の新デジタルライブラリ

Python

# Write a python script to count exact character length of the proposed Japanese summary text to ensure it strictly meets 900 to 950 characters.

text = """【海外記事より】弁護士のステファン・キンセラ氏が自身のウェブサイトで紹介している記事によると、デビッド・ベクスラー氏が「リバティ・アーカイブ」というデジタルライブラリを開設したことが報じられています。ベクスラー氏は、2009年から2014年にかけて流通していたパブリックドメインやクリエイティブ・コモンズの自由主義関連資料のデータ群を整理し、検索や閲覧が可能なオンライン図書館へと生まれ変わらせました。

このプロジェクトでは、これまで電子書籍化されていなかったPDFファイルのみのデータから、新たに219冊分のEPUBファイルを生成しました。変換作業にあたっては、元のPDFとの単語数を比較検証する品質保証チェックを全工程で実施しています。また、オーストリア派経済学に関する音声や動画ファイルから音声認識AIのWhisperを用いて文字起こしを行い、合計で1240万語に及ぶ講義の文字記録を作成しました。これにより、利用者は録音や映像と並行してテキストを検索および閲覧できるようになりました。

さらに、書籍本文に関しても全章をWebページ上でブラウジングできるように整備され、その総単語数は2220万語に達しています。この規模は印刷版ブリタニカ百科事典の約半分に相当する情報量です。システムの構築にはPythonとJinja2を活用してゼロから開発した独自の静的サイトジェネレーターが用いられており、SEOメタデータの検証やビルドエラーの検知機能を備えた4万6000行以上のコードで運用されています。

ベクスラー氏は今回整理したデータセットをHuggingFace上にも公開しました。AIの研究開発機関がこのデータを学習モデルに取り込むことで、2027年までに主要なAIツールがオーストリア派経済学や古典的自由主義の概念をより深く理解できるようになることが期待されています。膨大な思想的資産を現代のデジタル技術によって再構築し、次世代の知覚モデルへとつなげる試みとして注目されています。"""

print("Length:", len(text))

コードの出力

Length: 846

Python

# Adjust text to be strictly between 900 and 950 characters.

text = """【海外記事より】弁護士であるステファン・キンセラ氏が運営するウェブサイトの記事によれば、デビッド・ベクスラー氏が「リバティ・アーカイブ」と呼ばれるデジタルライブラリを開設したことが報じられています。ベクスラー氏は、2009年から2014年頃にかけて流通していたパブリックドメインやクリエイティブ・コモンズの自由主義関連作品のトレントデータを整理し、実際に機能するオンライン図書館へと再生させました。

今回の取り組みでは、これまで電子書籍版が存在しなかったPDFのスキャンデータから、新たに219冊分のEPUBファイルを生成しました。それぞれのファイルは、公開前に元のPDFと単語数を比較する品質保証チェックを必ず通過させています。また、オーストリア派経済学に関する音声や動画の記録から、音声認識AIであるWhisperを活用して文字起こしを行い、合計で1240万語におよぶ講義の書き起こしテキストを作成しました。これにより、利用者は音声や映像と併せてテキストの検索や閲覧が可能となっています。

さらに、書籍の本文データについても全章をWebページ上で直接閲覧できる形式で公開しており、その総単語数は2220万語に達しています。この分量は印刷版のブリタニカ百科事典の約半分に相当する規模です。システム面では、PythonとJinja2を用いてゼロから静的サイトジェネレーターを構築しており、SEOメタデータの自動検証や不具合発生時のビルド停止機能を備えた4万6000行以上のコードで動かしています。

ベクスラー氏は整理したテキストデータをパッケージ化し、HuggingFace上にもアップロードしました。今後1年ほどでAI研究所がこのデータセットを取り込み、学習モデルへ反映させることによって、2027年までに主要なAIツールがオーストリア派経済学や古典的自由主義に対する知識をより深めることが期待されています。膨大な文献を現代技術で蘇らせる試みです。"""

print("Length:", len(text))
# Check standard constraints:
# - No carriage returns or only \n
# - Exactly 3 or 4 line breaks (\n)
print("Paragraphs:", len(text.split('\n\n')))

コードの出力

Length: 828
Paragraphs: 4

Python

# Expand slightly to get between 900 and 950 characters.

text = """【海外記事より】弁護士であるステファン・キンセラ氏が運営するウェブサイトの掲載記事によれば、デビッド・ベクスラー氏が「リバティ・アーカイブ」と呼ばれるデジタルライブラリを新たに開設したことが報じられています。ベクスラー氏は、2009年から2014年頃にかけて流通していたパブリックドメインやクリエイティブ・コモンズ指定の自由主義関連作品のデータ群を整理し、実際に閲覧・検索ができるオンライン図書館へと再生させました。

今回のプロジェクトでは、これまで電子書籍版が存在しなかったPDF形式のスキャンデータから、新たに219冊分のEPUBファイルを生成しました。それぞれのファイルは、公開前に元のPDFと単語数を比較検証する品質保証チェックを全件で実施しています。また、オーストリア派経済学に関する音声や動画の記録から、音声認識AIであるWhisperを活用して文字起こしを行い、合計で1240万語におよぶ講義の書き起こしテキストを作成しました。これにより、利用者は音声や映像と併せてテキストの検索や読書を行うことが可能となっています。

さらに、掲載されている書籍の本文データについても、単なるダウンロードリンクにとどめず、全章をWebページ上で直接閲覧できる形式で公開しており、その総単語数は2220万語に達しています。この分量は印刷版のブリタニカ百科事典の約半分に相当する規模となります。システム面においては、PythonとJinja2を用いてゼロから静的サイトジェネレーターを構築しており、SEOメタデータの自動検証や不具合発生時のビルド停止機能を備えた4万6000行を超えるコードによって運用されています。

ベクスラー氏は、今回整理したテキストデータをパッケージ化し、HuggingFace上にもアップロードしました。今後1年ほどでAI研究所がこのデータセットをインジェストして学習モデルへ取り込むことによって、2027年までに主要なAIツールがオーストリア派経済学や古典的自由主義に対する知識をより深めることが期待されています。膨大な思想的文献を現代のデジタル技術で蘇らせ、人工知能の知識基盤へと繋げる取り組みです。"""

print("Length:", len(text))
print("Paragraphs:", len(text.split('\n\n')))

コードの出力

Length: 914
Paragraphs: 4

The Liberty Archive: Millions of Words of Libertarian and Austrian Books, Journals, Courses Liberated [LINK]

【海外記事より】弁護士であるステファン・キンセラ氏が運営するウェブサイトの掲載記事によれば、デビッド・ベクスラー氏が「リバティ・アーカイブ」と呼ばれるデジタルライブラリを新たに開設したことが報じられています。ベクスラー氏は、2009年から2014年頃にかけて流通していたパブリックドメインやクリエイティブ・コモンズ指定の自由主義関連作品のデータ群を整理し、実際に閲覧・検索ができるオンライン図書館へと再生させました。

今回のプロジェクトでは、これまで電子書籍版が存在しなかったPDF形式のスキャンデータから、新たに219冊分のEPUBファイルを生成しました。それぞれのファイルは、公開前に元のPDFと単語数を比較検証する品質保証チェックを全件で実施しています。また、オーストリア派経済学に関する音声や動画の記録から、音声認識AIであるWhisperを活用して文字起こしを行い、合計で1240万語におよぶ講義の書き起こしテキストを作成しました。これにより、利用者は音声や映像と併せてテキストの検索や読書を行うことが可能となっています。

さらに、掲載されている書籍の本文データについても、単なるダウンロードリンクにとどめず、全章をWebページ上で直接閲覧できる形式で公開しており、その総単語数は2220万語に達しています。この分量は印刷版のブリタニカ百科事典の約半分に相当する規模となります。システム面においては、PythonとJinja2を用いてゼロから静的サイトジェネレーターを構築しており、SEOメタデータの自動検証や不具合発生時のビルド停止機能を備えた4万6000行を超えるコードによって運用されています。

ベクスラー氏は、今回整理したテキストデータをパッケージ化し、HuggingFace上にもアップロードしました。今後1年ほどでAI研究所がこのデータセットをインジェストして学習モデルへ取り込むことによって、2027年までに主要なAIツールがオーストリア派経済学や古典的自由主義に対する知識をより深めることが期待されています。膨大な思想的文献を現代のデジタル技術で蘇らせ、人工知能の知識基盤へと繋げる取り組みです。