Python Scrapy：如何关闭集群的日志记录

Question

我在Scrapy中使用了cluster.HierarchicalClustering，但是控制台中的日志太多了。如何关闭集群的日志，但我不想使用“--nolog”来关闭所有日志记录。

我试图在我的 Scrapy settings.py 中设置 LOG_LEVEL= 'INFO' 并且出现了其他日志记录。

这里是我关于集群的代码，如果有什么办法，请帮帮我。

from difflib import SequenceMatcher
from cluster import HierarchicalClustering


def distance(url1, url2):
    ratio = SequenceMatcher(None, url1, url2).ratio()
    return 1.0 - ratio

def urls_clustering(urls):
    hc = HierarchicalClustering(urls, distance)
    clusters = hc.getlevel(0.2)
    # pprint.pprint(clusters)

    return clusters

还有日志记录：

2017-06-29 13:48:29 [cluster.matrix] DEBUG: Generating row 159/203 (78.33%)
2017-06-29 13:48:29 [cluster.matrix] DEBUG: Generating row 160/203 (78.82%)
2017-06-29 13:48:29 [cluster.matrix] DEBUG: Generating row 161/203 (79.31%)
2017-06-29 13:48:29 [cluster.matrix] DEBUG: Generating row 162/203 (79.80%)

提前致谢。

Answer 1

你试过好的 ol'python 的 logging 吗？

import logging
logging.getLogger('cluster.matrix').setLevel(logging.WARNING)

Python Scrapy：如何关闭集群的日志记录

Python Scrapy: How to close cluster's logging

python

hierarchical-clustering

scrapy