預處理文本數據庫是任何自然語言應用程序必須完成的強制性工作之一。大多數應用程序都包含一些標準步驟，而有時您需要進行一些自定義的預處理。那么自然語言預處理如何轉換數據？本文將討論在處理文本數據時，個人使用的一些數據轉換步驟。我們還將討論這種轉換的局限性。數據預處理所采取的步驟并非對所有應用程序都是強制性的，這些都是我發現在一段時間內有用的。

　　自然語言預處理如何轉換數據？

下面提到的是一些通常更喜歡根據問題陳述的定義方式進行的轉換。

1. 小寫：計算機不是人，也就是說，對于計算機，計算機和計算機，這三個詞在直到經過除非經過相應的培訓之后才表示同一件事。對三個示例進行簡單的單詞計數操作，得出的計數均為1，這在處理語義時是不正確的。為此，要訓練一個有效的系統，需要大量的數據集，其中此類實例的上下文保持不變。解決此問題的其他有效的簡單方法是切換到類似的套管樣式。在實踐中，人們通常將單詞小寫。

2. 標點刪除：標點可能很棘手。通常，可以刪除邊界標點符號而不會出現任何問題，但是對于單詞中出現標點符號的情況則不適用。這種情況不適用于令牌生成器。同樣，您將大大丟失單詞結構，即不要 ->不要，那么您將無法在同一函數上調用擴展收縮函數。

3. 添加額外的空間：這是可以采取的預防措施。它要求您在詞法單元的末尾添加一個額外的空格，以進行正確的標記化。例如，使用現有的句子標記器，盡管精度很高，但它們無法捕獲某些邊緣情況。即這是一本好書。我喜歡閱讀。使用?NLTK句子標記器，該句子將被分割為一個句子。因此，在發送給NLTK之前將此類情況解決為“這是一本好書”。

4. 剝離結束：再次解決了下套管解決的相同問題。想一想這樣一個場景，在不同的詞匯單位之間存在連續的空格或標點符號。在進行單詞/句子/段落分割時，我們不希望我們的系統在計算機和計算機之間進行區分。

5. 擴展收縮：擴展收縮簡單地意味著正常化不 - >不 ，不 - >沒有等，但因為有明確的情況是需要即得到照顧，這不是一個簡單的任務來處理，他會 ->他會/他會的。W列出了人們使用的常見英語收縮的詳盡列表。你可以在這里找到它。一個簡單的解決方法是，對于每次出現的收縮，都使用Wikipedia列表中的貪婪選擇技術。

6. 詞干：詞干是通過去除邊界詞素將單詞轉換成詞根形式的過程。以我的個人經驗，當模型的輸入和輸出均為自然語言時，應避免使用詞干法。例如，在抽象匯總系統中。您不希望在摘要中看到詞干。詞干在分類任務中起著很好的作用，因為我們選擇的向量表示不會為未詞干的單詞創建冗余值。

7. 語料庫特定的停用詞：停用詞并不總是通用的。除了特定于語言的通用術語外，還有特定于語料庫的重復單詞，這些單詞在分析中也可能沒有用，但會產生噪音。添加語料庫特定重復閾值的決定通常是通過查找每個單詞的出現百分比來分析語料庫來決定的。我不會說我們應該始終刪除特定于語言的停用詞，因為可能存在諸如語法校正之類的用例，其中您的系統必須在句子中適當添加文章。現在，這里你不能把一，一個的在停止列表中。

8. 拼寫校正：拼寫校正是實現搜索引擎時應進行的重要轉換之一。實現可以像距離一樣傳統，也可以像實現序列到序列模型一樣復雜。現有的拼寫更正實現在應用于名詞時效果很差，并且與動詞配合得很好。

除了轉換之外，還需要將它們巧妙地堆疊在管道中。如果存在同時要求刪除標點符號和收縮擴展的應用程序，則應在收縮擴展之后執行標點符號移除，否則將沒有意義。

上述就是關于自然語言預處理如何轉換數據的全部內容，想了解更多關于自然語言預處理的信息，請繼續關注中培偉業。