Skip to main content
Open on GitHub

Johnsnowlabs

通过开源的 johnsnowlabs 库，您可以接入 johnsnowlabs 企业级 NLP 库生态系统，该系统包含超过 200 种语言的 21,000 多个企业级 NLP 模型。 所有 24,000+ 模型，请参见 John Snow Labs Model Models Hub

安装和设置​

pip install johnsnowlabs

要安装企业版功能，请运行：

# 更多详情请参见 https://nlp.johnsnowlabs.com/docs/en/jsl/install_licensed_quick
nlp.install()

您可以使用基于 gpu、cpu、apple_silicon 或 aarch 优化的二进制文件来嵌入您的查询和文档。 默认情况下使用 CPU 二进制文件。 开始会话后，您必须重新启动笔记本才能在 GPU 或 CPU 之间切换，否则更改将不会生效。

使用 CPU 嵌入查询：​

document = "foo bar"
embedding = JohnSnowLabsEmbeddings('embed_sentence.bert')
output = embedding.embed_query(document)

使用 GPU 嵌入查询：​

document = "foo bar"
embedding = JohnSnowLabsEmbeddings('embed_sentence.bert','gpu')
output = embedding.embed_query(document)

使用 Apple Silicon (M1, M2 等) 嵌入查询：​

documents = ["foo bar", 'bar foo']
embedding = JohnSnowLabsEmbeddings('embed_sentence.bert','apple_silicon')
output = embedding.embed_query(document)

使用 AARCH 嵌入查询：​

documents = ["foo bar", 'bar foo']
embedding = JohnSnowLabsEmbeddings('embed_sentence.bert','aarch')
output = embedding.embed_query(document)

使用 CPU 嵌入文档：​

documents = ["foo bar", 'bar foo']
embedding = JohnSnowLabsEmbeddings('embed_sentence.bert','gpu')
output = embedding.embed_documents(documents)

使用 GPU 嵌入文档：​

documents = ["foo bar", 'bar foo']
embedding = JohnSnowLabsEmbeddings('embed_sentence.bert','gpu')
output = embedding.embed_documents(documents)

使用 Apple Silicon (M1, M2 等) 嵌入文档：​


```python
documents = ["foo bar", 'bar foo']
embedding = JohnSnowLabsEmbeddings('embed_sentence.bert','apple_silicon')
output = embedding.embed_documents(documents)

使用 AARCH 嵌入文档：​


```python
documents = ["foo bar", 'bar foo']
embedding = JohnSnowLabsEmbeddings('embed_sentence.bert','aarch')
output = embedding.embed_documents(documents)

模型使用 nlp.load 加载，并且 spark 会话在后台使用 nlp.start() 启动。