Python日志采集怎样做,如何获取日志的?
Admin 2022-09-19 群英技术资讯 260 次浏览
这时就需要收集日志,每次运行后通过查看日志来获取项目运行情况。那么我们该如何获取日志?
在项目开发或测试过程中,项目运行一旦出现问题,记录日志信息就显得尤为重要。主要通过日志来定位问题,就好比侦探人员要根据现场留下的线索来推断案情。
级别 |
何时使用 |
---|---|
DEBUG | 调试信息,也是最详细的日志信息 |
INFO | 证明事情按预期工作 |
WARNING | 表明发生了一些意外,或不久的将来会发生问题(如 磁盘满了),软件还是正常工作 |
ERROR | 由于更严重的问题,软件已经不能执行一些工作了 |
CRITICAL | 严重错误,表明软件已经不能继续运行了 |
日志采集时设置低级别的日志,能采集到更高级别的日志,但不能采集到更低级别的日志。
例如:设置的日志级别为info级别,就只能采集到info、warning、error、critical级别的日志,不能采集到debug级别的日志。设置的日志级别为debug级别的话则能采集到所有级别的日志。默认设置级别为WARNING。
将日志格式化是为了提高日志的可阅读性,比如:时间+模块+行数+日志级别+日志具体信息的日志格式。如果输出的日志信息杂乱无章,就不利于问题的定位。如下所示就是日志格式化输出,非常便于阅读查看。
2020-09-30 10:45:05,119 logging_test.py[line:7] DEBUG this is debug message.
2020-09-30 10:45:05,119 logging_test.py[line:9] INFO this is info message.
2020-09-30 10:45:05,119 logging_test.py[line:11] WARNING this is warning message.
2020-09-30 10:45:05,120 logging_test.py[line:13] ERROR this is error message.
2020-09-30 10:45:05,120 logging_test.py[line:15] CRITICAL this is critical message.
通常,在一个项目中会有很多的日志采集点,日志采集点的设置必须结合业务来确定。
比如在执行修改登录密码用例前插入“开始执行修改登录密码用例...”的日志信息。再比如在登录代码执行前可以插入“准备登录...”日志信息。
如果在登录完成后,再设置登录的提示日志就会给人造成误解,无法判断到底是登录之前的问题还是登录之后的问题,因此日志采集点的位置很重要。
logging为python自带的日志模块,提供了通用的日志系统,包括不同的日志级别。logging可使用不同的方式记录日志,如使用文件,HTTP GET/POST,SMTP,Socket等方式记录。通常情况下,我们使用文件记录日志信息,文件格式一般为.txt或.log文件。
详细内容可查看logging模块官方文档,使用时需要导入:
import logging
logging.basicConfig(**kwargs)
filename指定日志名称或完整路径,如:E:/app-ui-autotest/log/log.txt
filemode指定打开文件的模式(如果文件打开模式未指定,则默认为'a')
常见的文件读写方式:
format指定日志输出格式
level将根记录器级别设置为指定级别
# -*- coding:utf-8 -*- # @author: 给你一页白纸 import logging logging.basicConfig(filename='./log.txt', level=logging.DEBUG, format='%(asctime)s %(filename)s[line:%(lineno)d] %(levelname)s %(message)s') logging.debug('This is debug message') logging.info('This is info message') logging.warning('This is warning message') logging.error('This is error message') logging.critical('This is critical message')
控制台输出结果:
2020-09-30 10:45:05,119 logging_test.py[line:7] DEBUG This is debug message.
2020-09-30 10:45:05,119 logging_test.py[line:9] INFO This is info message.
2020-09-30 10:45:05,119 logging_test.py[line:11] WARNING This is warning message.
2020-09-30 10:45:05,120 logging_test.py[line:13] ERROR This is error message.
2020-09-30 10:45:05,120 logging_test.py[line:15] CRITICAL This is critical message.
logging.basicConfig(filename='log.txt', level=logging.INFO, format='%(asctime)s %(filename)s[line:%(lineno)d] %(levelname)s %(message)s') logging.debug('This is debug message') logging.info('This is info message') logging.warning('This is warning message') logging.error('This is error message') logging.critical('This is critical message')
输出格式:
2020-09-30 10:45:05,119 logging_test.py[line:9] INFO This is info message.
2020-09-30 10:45:05,119 logging_test.py[line:11] WARNING This is warning message.
2020-09-30 10:45:05,120 logging_test.py[line:13] ERROR This is error message.
2020-09-30 10:45:05,120 logging_test.py[line:15] CRITICAL This is critical message.
注意:
logging模块包括Logger,Handler,Filter,Formatter四个部分。
使用日志流采集日志时,须先创建Logger实例,即创建一个记录器(如果没有显式的进行创建,则默认创建一个root logger,并应用默认的日志级别WARNING,Handler和Formatter),然后做以下三件事:
Handler处理器作用是,将日志记录发送至合适的路径。如发送至文件或控制台,此时需要使用两个处理器,用于输出控制台的处理器,另一个是用于输出文件的处理器。通过 addHandler() 方法添加处理器 。常用的处理器类型有以下两种:
自动化测试使用这两种类型就够了,其他还有RotatingFileHandler、TimedRotatingFileHandler、NullHandler等处理器,有兴趣可以查找资料了解。
顾名思义是用于过滤,Handlers 与 Loggers 使用 Filters 可以完成比级别更复杂的过滤。不多做介绍,有兴趣可以查找资料了解。
Formatter用于设置日志的格式与内容,默认的时间格式为%Y-%m-%d %H:%M:%S,更多格式如下:
格式 |
描述 |
---|---|
%(levelno)s | 打印日志级别的数值 |
%(levelname)s | 打印日志级别的名称 |
%(pathname)s | 打印当前执行程序的路径 |
%(filename)s | 打印当前执行程序的名称 |
%(funcName)s | 打印日志的当前函数 |
%(lineno)d | 打印日志的当前行号 |
%(asctime)s | 打印日志的时间 |
%(thread)d | 打印线程ID |
%(threadName)s | 打印线程名称 |
%(process)d | 打印进程ID |
%(message)s | 打印日志信息 |
根据logging的模块化来编写代码,思路参考如下。
目录结构
logging_test.py
# -*- coding:utf-8 -*- # @author: 给你一页白纸 import logging # 第一步,创建日志记录器 # 1,创建一个日志记录器logger logger = logging.getLogger() # 2,设置日志记录器的日志级别,这里的日志级别是日志记录器能记录到的最低级别,区别于后面Handler里setLevel的日志级别 logger.setLevel(logging.DEBUG) # 第二步,创建日志处理器Handler。这里创建一个Handler,用于将日志写入文件 # 3,创建一个Handler,用于写入日志文件,日志文件的路径自行定义 logFile = './log.txt' fh = logging.FileHandler(logFile, mode='a', encoding='utf-8') # 4,设置保存至文件的日志等级 fh.setLevel(logging.INFO) # 第三步,定义Handler的输出格式 # 5,日志输出格式定义如下 format= logging.Formatter('%(asctime)s %(filename)s[line:%(lineno)d] %(levelname)s %(message)s') # 6,设置 写入日志文件的Handler 的日志格式 fh.setFormatter(format) # 第四步,将Handler添加至日志记录器logger里 logger.addHandler(fh) # 同样的,创建一个Handler用于控制台输出日志 ch = logging.StreamHandler() ch.setLevel(logging.INFO) ch.setFormatter(format) logger.addHandler(ch) # 输出日志 logger.info("This is info message") logger.warning("This is warning message") logger.error("This is error message") logger.critical("This is critical message")
Pycharm运行logging_test.py模块,log.txt以及Pycharm控制台得到如下结果:
2020-10-07 15:54:04,752 test.py[line:3] INFO This is info message
2020-10-07 15:54:04,752 test.py[line:4] WARNING This is warning message
2020-10-07 15:54:04,752 test.py[line:5] ERROR This is error message
2020-10-07 15:54:04,752 test.py[line:6] CRITICAL This is critical message
给登录今日头条app的操作添加日志采集。
# -*- coding:utf-8 -*- # @author: 给你一页白纸 import logging from appium import webdriver logging.basicConfig(filename='./testLog.log', level=logging.INFO, format='%(asctime)s %(filename)s[line:%(lineno)d] %(levelname)s %(message)s') def android_driver(): desired_caps = { "platformName": "Android", "platformVersion": "10", "deviceName": "PCT_AL10", "appPackage": "com.ss.android.article.news", "appActivity": ".activity.MainActivity", "unicodeKeyboard": True, "resetKeyboard": True, "noReset": True, } logging.info("启动今日头条APP...") driver = webdriver.Remote('http://127.0.0.1:4723/wd/hub', desired_caps) return driver def login_opera(driver): '''登录今日头条操作''' logging.info("开始登陆今日头条APP...") try: driver.find_element_by_id("com.ss.android.article.news:id/cji").click() # 点击【我知道了】 driver.find_element_by_id("android:id/button1").click() # 点击权限管理-确定按钮 driver.find_element_by_xpath("//android.widget.TabWidget/android.widget.RelativeLayout[@index=3]").click() # 点击未登录 driver.find_element_by_id("com.ss.android.article.news:id/a10").click() # 未登录页点击登录按钮 driver.find_element_by_id("com.ss.android.article.news:id/bgh").click() # 登录页点击“。。。” driver.find_element_by_xpath("//android.widget.LinearLayout[@index=4]").click() # 选择密码登录 driver.find_element_by_id("com.ss.android.article.news:id/bu").send_keys("18768124236") # 输入账号 driver.find_element_by_id("com.ss.android.article.news:id/c5").send_keys("xiaoqq3915172") # 输入密码 driver.find_element_by_id("com.ss.android.article.news:id/a2o").click() # 点击登录 except Exception as e: logging.error("登录错误,原因为:{}".format(e)) else: logging.info("登陆成功...") driver = android_driver() login_opera(driver)
登录成功则日志输出如下:
2020-09-30 18:20:05,119 logging_test.py[line:21] INFO 启动今日头条APP...
2020-09-30 18:20:10,119 logging_test.py[line:27] INFO 开始登陆今日头条APP...
2020-09-30 18:21:07,120 logging_test.py[line:41] INFO 登陆成功...
上面示例代码成功地获取了日志信息,但这种写法只能作用于当前模块。而一个自动化测试项目往往有多个模块,如果在每个需要获取日志的模块都使用这样的方式,显然是不方便维护的。那么我们需要怎么解决呢?
使用日志流处理流程。提供以下两种思路:
思路1:使用python代码实现日志配置。先创建日志记录器,并设置好Handler与日志格式,如上面的logging_test.py模块构造logger,其他模块采集日志时直接调用。
思路2:将日志的格式、输出路径等参数抽离出来放置在专门的配置文件里,如logging.conf,使用专门的模块处理,使用时直接在模块调用即可。
目录结构
test.py中需要采集日志时,从logging_test.py导入logger即可。也可以将logging_test.py里的代码进行进一步的封装,再调用,这里仅仅只是示例。
logging_test.py
# -*- coding:utf-8 -*- # @author: 给你一页白纸 import logging # 创建日志记录器 logger = logging.getLogger() logger.setLevel(logging.DEBUG) # 设置日志输出格式 format= logging.Formatter('%(asctime)s %(filename)s[line:%(lineno)d] %(levelname)s %(message)s') # 创建一个Handler用于将日志写入文件 logFile = './log.txt' fh = logging.FileHandler(logFile, mode='a', encoding='utf-8') fh.setLevel(logging.INFO) fh.setFormatter(format) logger.addHandler(fh) # 同样的,创建一个Handler用于控制台输出日志 ch = logging.StreamHandler() ch.setLevel(logging.INFO) ch.setFormatter(format) logger.addHandler(ch)
test.py
# -*- coding:utf-8 -*- # @author: 给你一页白纸 from appium import webdriver from log.logging_test import logger def android_driver(): desired_caps = { "platformName": "Android", "platformVersion": "10", "deviceName": "PCT_AL10", "appPackage": "com.ss.android.article.news", "appActivity": ".activity.MainActivity", "unicodeKeyboard": True, "resetKeyboard": True, "noReset": True, } logger.info("启动今日头条APP...") driver = webdriver.Remote('http://127.0.0.1:4723/wd/hub', desired_caps) return driver def login_opera(driver): '''登录今日头条操作''' logger.info("开始登陆今日头条APP...") try: driver.find_element_by_id("com.ss.android.article.news:id/cji").click() # 点击【我知道了】 driver.find_element_by_id("android:id/button1").click() # 点击权限管理-确定按钮 driver.find_element_by_xpath("//android.widget.TabWidget/android.widget.RelativeLayout[@index=3]").click() # 点击未登录 driver.find_element_by_id("com.ss.android.article.news:id/a10").click() # 未登录页点击登录按钮 driver.find_element_by_id("com.ss.android.article.news:id/bgh").click() # 登录页点击“。。。” driver.find_element_by_xpath("//android.widget.LinearLayout[@index=4]").click() # 选择密码登录 driver.find_element_by_id("com.ss.android.article.news:id/bu").send_keys("18768124236") # 输入账号 driver.find_element_by_id("com.ss.android.article.news:id/c5").send_keys("xiaoqq3915172") # 输入密码 driver.find_element_by_id("com.ss.android.article.news:id/a2o").click() # 点击登录 except Exception as e: logger.error("登录错误,原因为:{}".format(e)) else: logger.info("登陆成功...") driver = android_driver() login_opera(driver)
运行test.py,结果如下:
2020-10-07 18:45:05,119 logging_test.py[line:21] INFO 启动今日头条APP...
2020-10-07 18:45:11,119 logging_test.py[line:27] INFO 开始登陆今日头条APP...
2020-10-07 18:45:20,120 logging_test.py[line:41] INFO 登陆成功...
[loggers] # loggers日志器对象列表,必须包含 keys=root, exampleLogger # 一定要包含root这个值,当使用无参函数logging.getLogger()时,默认返回root这个logger,其他自定义logger可以通过logging.getLogger("exampleLogger")方式进行调用 [handlers] # handlers处理器对象列表,必须包含 keys=consoleHandler, fileHandler # 定义声明handlers信息 [formatters] # formatters格式对象列表,必须包含 keys=form01,form02 [logger_root] # 对loggers中声明的logger进行逐个配置,且要一一对应,在所有的logger中,必须制定lebel和handlers这两个选项。对于非roothandler,还需要添加一些额外的option,如qualname、propagate等。handlers可以指定多个,中间用逗号隔开,比如handlers=fileHandler,consoleHandler,同时制定使用控制台和文件输出日志 level=DEBUG handlers=consoleHandler, fileHandler [logger_exampleLogger] # 配置日志处理器exampleLogger:设置日志级别、日志输出指定的处理器配置文件,如consoleHandler,fileHandler level=DEBUG handlers=consoleHandler, fileHandler qualname=exampleLogger # qualname 表示它在logger层级中的名字,在应用代码中通过这个名字制定所使用的handler propagate=0 # 可选项,其默认是为1,表示消息将会传递给高层次logger的handler [handler_consoleHandler] # 日志处理器consoleHandler的配置文件 class=StreamHandler # 定控制台输出。将日志消息发送到输出到Stream,如std.out, std.err或任何file-like对象 level=DEBUG # 日志级别 formatter=form01 # 输出格式 args=(sys.stdout,) [handler_fileHandler] # 日志处理器fileHandler的配置文件 class=FileHandler # 将日志输出至磁盘文件 level=DEBUG # 日志级别 formatter=form02 # 输出格式 args=('./log.txt', 'a', 'UTF-8') # 参数如未设置绝对路径,则默认生成在执行文件log.py的工作目录。指定日志文件的打开模式,默认为'a' [formatter_form01] # 格式配置1 format=%(asctime)s %(filename)s[line:%(lineno)d] %(levelname)s %(message)s [formatter_form02] # 格式配置2 format=%(asctime)s %(filename)s[line:%(lineno)d] %(levelname)s %(message)s
注意:
baseLog.py
# -*- coding:utf-8 -*- # @author: 给你一页白纸 import logging.config CON_LOG='./logger.conf' # 配置文件路径 logging.config.fileConfig(CON_LOG) # '读取日志配置文件' logger = logging.getLogger('exampleLogger') # 创建一个日志器logger
目录结构如下
test.py
# -*- coding:utf-8 -*- # @author: 给你一页白纸 from appium import webdriver from log.baseLog import logger def android_driver(): desired_caps = { "platformName": "Android", "platformVersion": "10", "deviceName": "PCT_AL10", "appPackage": "com.ss.android.article.news", "appActivity": ".activity.MainActivity", "unicodeKeyboard": True, "resetKeyboard": True, "noReset": True, } logger.info("启动今日头条APP...") driver = webdriver.Remote('http://127.0.0.1:4723/wd/hub', desired_caps) return driver def login_opera(driver): '''登录今日头条操作''' logger.info("开始登陆今日头条APP...") try: driver.find_element_by_id("com.ss.android.article.news:id/cji").click() # 点击【我知道了】 driver.find_element_by_id("android:id/button1").click() # 点击权限管理-确定按钮 driver.find_element_by_xpath("//android.widget.TabWidget/android.widget.RelativeLayout[@index=3]").click() # 点击未登录 driver.find_element_by_id("com.ss.android.article.news:id/a10").click() # 未登录页点击登录按钮 driver.find_element_by_id("com.ss.android.article.news:id/bgh").click() # 登录页点击“。。。” driver.find_element_by_xpath("//android.widget.LinearLayout[@index=4]").click() # 选择密码登录 driver.find_element_by_id("com.ss.android.article.news:id/bu").send_keys("18768124236") # 输入账号 driver.find_element_by_id("com.ss.android.article.news:id/c5").send_keys("xiaoqq3915172") # 输入密码 driver.find_element_by_id("com.ss.android.article.news:id/a2o").click() # 点击登录 except Exception as e: logger.error("登录错误,原因为:{}".format(e)) else: logger.info("登陆成功...") driver = android_driver() login_opera(driver)
控制台、log.txt输出结果如下:
2020-10-07 19:30:35,119 logging_test.py[line:21] INFO 启动今日头条APP...
2020-10-07 19:30:40,119 logging_test.py[line:27] INFO 开始登陆今日头条APP...
2020-10-07 19:31:12,120 logging_test.py[line:41] INFO 登陆成功...
在实际使用python做自动化测试过程中两种解决思路都可以使用,且都挺方便。其中对于思路1,还可以将代码进行更进一步的封装。
免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:mmqy2019@163.com进行举报,并提供相关证据,查实之后,将立刻删除涉嫌侵权内容。
猜你喜欢
一、字符串转换成列表1.list()方法mystr='abcdefg'mylist=list(mystr)print(mylist)结果:['a','b','c','d','e','f','g']2.split()方法mystr='abcdefg'mylist=mystr.split()print(mylist)结果:['abcdefg']
本文主要介绍了Python使用LRU缓存策略进行缓存的方法步骤,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
这篇文章主要是带大家写一个利用Turtle库绘制一些有趣的对称图形,文中的示例代码讲解详细,对我们学习Python有一定帮助,感兴趣的可以了解一下
Python中元类是什么?对于元类是Python学习中要掌握的内容,一些新手对于Python元类比较陌生,这篇文章就给大家简单介绍Python元类的概念和使用,接下来就跟随小编一起来学习吧。
这篇文章主要为大家介绍了Python中非常好用的内置函数,具有一定的参考价值,感兴趣的小伙伴们可以参考一下,希望能够给你带来帮助
成为群英会员,开启智能安全云计算之旅
立即注册Copyright © QY Network Company Ltd. All Rights Reserved. 2003-2020 群英 版权所有
增值电信经营许可证 : B1.B2-20140078 粤ICP备09006778号 域名注册商资质 粤 D3.1-20240008