Compare commits
22 Commits
| Author | SHA1 | Date | |
|---|---|---|---|
|
|
cf9aae3322 | ||
|
|
6ac2315936 | ||
|
|
50c8e34080 | ||
|
|
2d3da91d51 | ||
|
|
3ac71985ff | ||
|
|
13bdf0376b | ||
|
|
b2ffdaec0c | ||
|
|
c85786679f | ||
|
|
c7a7886672 | ||
|
|
12996fb44d | ||
|
|
c884ef7288 | ||
|
|
2cd9e98fc2 | ||
|
|
2ac4c99ab4 | ||
|
|
51bf8ad738 | ||
|
|
2e70e74bcd | ||
|
|
a39d6cb420 | ||
|
|
5dd0cb45b7 | ||
|
|
24873651a6 | ||
|
|
0e060bf998 | ||
|
|
817fed9d1d | ||
|
|
823f7fefa4 | ||
|
|
aa894fc52b |
35
README.md
35
README.md
@@ -40,11 +40,13 @@ while chat.is_alive():
|
|||||||
from pytchat import LiveChat
|
from pytchat import LiveChat
|
||||||
import time
|
import time
|
||||||
|
|
||||||
chat = LiveChat("G1w62uEMZ74", callback = func)
|
def main()
|
||||||
while chat.is_alive():
|
chat = LiveChat("G1w62uEMZ74", callback = func)
|
||||||
#other background operation here.
|
while chat.is_alive():
|
||||||
time.sleep(3)
|
time.sleep(3)
|
||||||
|
#other background operation.
|
||||||
|
|
||||||
|
#callback function is automatically called periodically.
|
||||||
def func(data):
|
def func(data):
|
||||||
for c in data.items:
|
for c in data.items:
|
||||||
print(f"{c.datetime} [{c.author.name}]-{c.message} {c.amountString}")
|
print(f"{c.datetime} [{c.author.name}]-{c.message} {c.amountString}")
|
||||||
@@ -59,9 +61,10 @@ import asyncio
|
|||||||
async def main():
|
async def main():
|
||||||
chat = LiveChatAsync("G1w62uEMZ74", callback = func)
|
chat = LiveChatAsync("G1w62uEMZ74", callback = func)
|
||||||
while chat.is_alive():
|
while chat.is_alive():
|
||||||
#other background operation here.
|
await asyncio.sleep(3)
|
||||||
await asyncio.sleep(3)
|
#other background operation.
|
||||||
|
|
||||||
|
#callback function is automatically called periodically.
|
||||||
async def func(data):
|
async def func(data):
|
||||||
for c in data.items:
|
for c in data.items:
|
||||||
print(f"{c.datetime} [{c.author.name}]-{c.message} {c.amountString}")
|
print(f"{c.datetime} [{c.author.name}]-{c.message} {c.amountString}")
|
||||||
@@ -96,10 +99,9 @@ import asyncio
|
|||||||
|
|
||||||
async def main():
|
async def main():
|
||||||
chat = ReplayChatAsync("G1w62uEMZ74", seektime = 1000, callback = func)
|
chat = ReplayChatAsync("G1w62uEMZ74", seektime = 1000, callback = func)
|
||||||
while chat.is_alive():
|
|
||||||
#other background operation here.
|
#other background operation here.
|
||||||
await asyncio.sleep(3)
|
|
||||||
|
|
||||||
|
#callback function is automatically called periodically.
|
||||||
async def func(data):
|
async def func(data):
|
||||||
for count in range(0,len(data.items)):
|
for count in range(0,len(data.items)):
|
||||||
c= data.items[count]
|
c= data.items[count]
|
||||||
@@ -107,15 +109,15 @@ async def func(data):
|
|||||||
tick=data.items[count+1].timestamp -data.items[count].timestamp
|
tick=data.items[count+1].timestamp -data.items[count].timestamp
|
||||||
else:
|
else:
|
||||||
tick=0
|
tick=0
|
||||||
print(f"<{c.timestampText}> [{c.author.name}]-{c.message} {c.amountString}")
|
print(f"<{c.elapsedTime}> [{c.author.name}]-{c.message} {c.amountString}")
|
||||||
await asyncio.sleep(tick/1000)
|
await asyncio.sleep(tick/1000)
|
||||||
|
|
||||||
loop = asyncio.get_event_loop()
|
loop = asyncio.get_event_loop()
|
||||||
loop.run_until_complete(main())
|
loop.run_until_complete(main())
|
||||||
```
|
```
|
||||||
|
|
||||||
## Chatdata Structure of Default Processor
|
## Structure of Default Processor
|
||||||
Structure of each item which got from items() function.
|
Each item can be got with items() function.
|
||||||
<table>
|
<table>
|
||||||
<tr>
|
<tr>
|
||||||
<th>name</th>
|
<th>name</th>
|
||||||
@@ -137,6 +139,11 @@ Structure of each item which got from items() function.
|
|||||||
<td>str</td>
|
<td>str</td>
|
||||||
<td>emojis are represented by ":(shortcut text):"</td>
|
<td>emojis are represented by ":(shortcut text):"</td>
|
||||||
</tr>
|
</tr>
|
||||||
|
<tr>
|
||||||
|
<td>messageEx</td>
|
||||||
|
<td>str</td>
|
||||||
|
<td>list of message texts and emoji URLs.</td>
|
||||||
|
</tr>
|
||||||
<tr>
|
<tr>
|
||||||
<td>timestamp</td>
|
<td>timestamp</td>
|
||||||
<td>int</td>
|
<td>int</td>
|
||||||
@@ -147,9 +154,9 @@ Structure of each item which got from items() function.
|
|||||||
<td>str</td>
|
<td>str</td>
|
||||||
<td>ex. "2019-10-10 12:34:56"</td>
|
<td>ex. "2019-10-10 12:34:56"</td>
|
||||||
</tr>
|
</tr>
|
||||||
<td>timestampText</td>
|
<td>elapsedTime</td>
|
||||||
<td>str</td>
|
<td>str</td>
|
||||||
<td>elapsed time. (ex. "1:02:27")</td>
|
<td>elapsed time. (ex. "1:02:27") *Replay Only.</td>
|
||||||
</tr>
|
</tr>
|
||||||
<tr>
|
<tr>
|
||||||
<td>amountValue</td>
|
<td>amountValue</td>
|
||||||
@@ -193,7 +200,7 @@ Structure of author object.
|
|||||||
<tr>
|
<tr>
|
||||||
<td>channelId</td>
|
<td>channelId</td>
|
||||||
<td>str</td>
|
<td>str</td>
|
||||||
<td></td>
|
<td>*chatter's channel ID. NOT broadcasting video's channel ID.</td>
|
||||||
</tr>
|
</tr>
|
||||||
<tr>
|
<tr>
|
||||||
<td>channelUrl</td>
|
<td>channelUrl</td>
|
||||||
|
|||||||
@@ -2,7 +2,7 @@
|
|||||||
pytchat is a python library for fetching youtube live chat without using yt api, Selenium, or BeautifulSoup.
|
pytchat is a python library for fetching youtube live chat without using yt api, Selenium, or BeautifulSoup.
|
||||||
"""
|
"""
|
||||||
__copyright__ = 'Copyright (C) 2019 taizan-hokuto'
|
__copyright__ = 'Copyright (C) 2019 taizan-hokuto'
|
||||||
__version__ = '0.0.3.1'
|
__version__ = '0.0.3.5'
|
||||||
__license__ = 'MIT'
|
__license__ = 'MIT'
|
||||||
__author__ = 'taizan-hokuto'
|
__author__ = 'taizan-hokuto'
|
||||||
__author_email__ = '55448286+taizan-hokuto@users.noreply.github.com'
|
__author_email__ = '55448286+taizan-hokuto@users.noreply.github.com'
|
||||||
|
|||||||
@@ -3,7 +3,6 @@ import datetime
|
|||||||
import json
|
import json
|
||||||
import random
|
import random
|
||||||
import signal
|
import signal
|
||||||
import threading
|
|
||||||
import time
|
import time
|
||||||
import traceback
|
import traceback
|
||||||
import urllib.parse
|
import urllib.parse
|
||||||
@@ -123,7 +122,7 @@ class LiveChatAsync:
|
|||||||
|
|
||||||
async def _startlisten(self):
|
async def _startlisten(self):
|
||||||
"""最初のcontinuationパラメータを取得し、
|
"""最初のcontinuationパラメータを取得し、
|
||||||
_listenループを開始する
|
_listenループのタスクを作成し開始する
|
||||||
"""
|
"""
|
||||||
initial_continuation = await self._get_initial_continuation()
|
initial_continuation = await self._get_initial_continuation()
|
||||||
if initial_continuation is None:
|
if initial_continuation is None:
|
||||||
@@ -287,12 +286,3 @@ class LiveChatAsync:
|
|||||||
await asyncio.gather(*tasks,return_exceptions=True)
|
await asyncio.gather(*tasks,return_exceptions=True)
|
||||||
loop = asyncio.get_event_loop()
|
loop = asyncio.get_event_loop()
|
||||||
loop.stop()
|
loop.stop()
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|||||||
@@ -21,14 +21,19 @@ logger = mylogger.get_logger(__name__,mode=config.LOGGER_MODE)
|
|||||||
MAX_RETRY = 10
|
MAX_RETRY = 10
|
||||||
headers = config.headers
|
headers = config.headers
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
class ReplayChatAsync:
|
class ReplayChatAsync:
|
||||||
''' aiohttpを利用してYouTubeのライブ配信のチャットデータを取得する
|
'''asyncio(aiohttp)を利用してYouTubeのチャットデータを取得する。
|
||||||
|
|
||||||
Parameter
|
Parameter
|
||||||
---------
|
---------
|
||||||
video_id : str
|
video_id : str
|
||||||
動画ID
|
動画ID
|
||||||
|
|
||||||
|
seektime : int
|
||||||
|
リプレイするチャットデータの開始時間(秒)
|
||||||
|
|
||||||
processor : ChatProcessor
|
processor : ChatProcessor
|
||||||
チャットデータを加工するオブジェクト
|
チャットデータを加工するオブジェクト
|
||||||
|
|
||||||
@@ -46,6 +51,9 @@ class ReplayChatAsync:
|
|||||||
done_callback : func
|
done_callback : func
|
||||||
listener終了時に呼び出すコールバック。
|
listener終了時に呼び出すコールバック。
|
||||||
|
|
||||||
|
exception_handler : func
|
||||||
|
例外を処理する関数
|
||||||
|
|
||||||
direct_mode : bool
|
direct_mode : bool
|
||||||
Trueの場合、bufferを使わずにcallbackを呼ぶ。
|
Trueの場合、bufferを使わずにcallbackを呼ぶ。
|
||||||
Trueの場合、callbackの設定が必須
|
Trueの場合、callbackの設定が必須
|
||||||
@@ -53,26 +61,23 @@ class ReplayChatAsync:
|
|||||||
|
|
||||||
Attributes
|
Attributes
|
||||||
---------
|
---------
|
||||||
_executor : ThreadPoolExecutor
|
|
||||||
チャットデータ取得ループ(_listen)用のスレッド
|
|
||||||
|
|
||||||
_is_alive : bool
|
_is_alive : bool
|
||||||
チャット取得を終了したか
|
チャット取得を停止するためのフラグ
|
||||||
'''
|
'''
|
||||||
|
|
||||||
_setup_finished = False
|
_setup_finished = False
|
||||||
|
|
||||||
def __init__(self, video_id,
|
def __init__(self, video_id,
|
||||||
seektime =0,
|
seektime = 0,
|
||||||
processor = DefaultProcessor(),
|
processor = DefaultProcessor(),
|
||||||
buffer = Buffer(maxsize = 20),
|
buffer = None,
|
||||||
interruptable = True,
|
interruptable = True,
|
||||||
callback = None,
|
callback = None,
|
||||||
done_callback = None,
|
done_callback = None,
|
||||||
exception_handler = None,
|
exception_handler = None,
|
||||||
direct_mode = False):
|
direct_mode = False):
|
||||||
self.video_id = video_id
|
self.video_id = video_id
|
||||||
self.seektime= seektime
|
self.seektime = seektime
|
||||||
self.processor = processor
|
self.processor = processor
|
||||||
self._buffer = buffer
|
self._buffer = buffer
|
||||||
self._callback = callback
|
self._callback = callback
|
||||||
@@ -151,8 +156,8 @@ class ReplayChatAsync:
|
|||||||
|
|
||||||
async def _listen(self, continuation):
|
async def _listen(self, continuation):
|
||||||
''' continuationに紐付いたチャットデータを取得し
|
''' continuationに紐付いたチャットデータを取得し
|
||||||
にチャットデータを格納、
|
Bufferにチャットデータを格納、
|
||||||
次のcontinuaitonを取得してループする
|
次のcontinuaitonを取得してループする。
|
||||||
|
|
||||||
Parameter
|
Parameter
|
||||||
---------
|
---------
|
||||||
@@ -163,10 +168,10 @@ class ReplayChatAsync:
|
|||||||
async with aiohttp.ClientSession() as session:
|
async with aiohttp.ClientSession() as session:
|
||||||
while(continuation and self._is_alive):
|
while(continuation and self._is_alive):
|
||||||
if self._pauser.empty():
|
if self._pauser.empty():
|
||||||
#pauseが呼ばれて_pauserが空状態のときは一時停止する
|
#pause
|
||||||
await self._pauser.get()
|
await self._pauser.get()
|
||||||
#resumeが呼ばれて_pauserにitemが入ったら再開する
|
#resume
|
||||||
#直後に_pauserにitem(None)を入れてブロックを防ぐ
|
#prohibit from blocking by putting None into _pauser.
|
||||||
self._pauser.put_nowait(None)
|
self._pauser.put_nowait(None)
|
||||||
livechat_json = (await
|
livechat_json = (await
|
||||||
self._get_livechat_json(continuation, session, headers)
|
self._get_livechat_json(continuation, session, headers)
|
||||||
@@ -186,11 +191,10 @@ class ReplayChatAsync:
|
|||||||
else:
|
else:
|
||||||
await self._buffer.put(chat_component)
|
await self._buffer.put(chat_component)
|
||||||
diff_time = timeout - (time.time()-time_mark)
|
diff_time = timeout - (time.time()-time_mark)
|
||||||
if diff_time < 0 : diff_time=0
|
|
||||||
await asyncio.sleep(diff_time)
|
await asyncio.sleep(diff_time)
|
||||||
continuation = metadata.get('continuation')
|
continuation = metadata.get('continuation')
|
||||||
except ChatParseException as e:
|
except ChatParseException as e:
|
||||||
logger.error(f"{str(e)}(動画ID:\"{self.video_id}\")")
|
logger.info(f"{str(e)}(video_id:\"{self.video_id}\")")
|
||||||
return
|
return
|
||||||
except (TypeError , json.JSONDecodeError) :
|
except (TypeError , json.JSONDecodeError) :
|
||||||
logger.error(f"{traceback.format_exc(limit = -1)}")
|
logger.error(f"{traceback.format_exc(limit = -1)}")
|
||||||
|
|||||||
@@ -57,7 +57,7 @@ class LiveChat:
|
|||||||
チャットデータ取得ループ(_listen)用のスレッド
|
チャットデータ取得ループ(_listen)用のスレッド
|
||||||
|
|
||||||
_is_alive : bool
|
_is_alive : bool
|
||||||
チャット取得を終了したか
|
チャット取得を停止するためのフラグ
|
||||||
'''
|
'''
|
||||||
|
|
||||||
_setup_finished = False
|
_setup_finished = False
|
||||||
@@ -142,7 +142,7 @@ class LiveChat:
|
|||||||
|
|
||||||
def _listen(self, continuation):
|
def _listen(self, continuation):
|
||||||
''' continuationに紐付いたチャットデータを取得し
|
''' continuationに紐付いたチャットデータを取得し
|
||||||
にチャットデータを格納、
|
BUfferにチャットデータを格納、
|
||||||
次のcontinuaitonを取得してループする
|
次のcontinuaitonを取得してループする
|
||||||
|
|
||||||
Parameter
|
Parameter
|
||||||
@@ -157,7 +157,6 @@ class LiveChat:
|
|||||||
self._get_livechat_json(continuation, session, headers)
|
self._get_livechat_json(continuation, session, headers)
|
||||||
)
|
)
|
||||||
metadata, chatdata = self._parser.parse( livechat_json )
|
metadata, chatdata = self._parser.parse( livechat_json )
|
||||||
#チャットデータを含むコンポーネントを組み立ててbufferに投入する
|
|
||||||
timeout = metadata['timeoutMs']/1000
|
timeout = metadata['timeoutMs']/1000
|
||||||
chat_component = {
|
chat_component = {
|
||||||
"video_id" : self.video_id,
|
"video_id" : self.video_id,
|
||||||
@@ -171,16 +170,12 @@ class LiveChat:
|
|||||||
)
|
)
|
||||||
else:
|
else:
|
||||||
self._buffer.put(chat_component)
|
self._buffer.put(chat_component)
|
||||||
#次のchatを取得するまでsleepする
|
|
||||||
diff_time = timeout - (time.time()-time_mark)
|
diff_time = timeout - (time.time()-time_mark)
|
||||||
if diff_time < 0 : diff_time=0
|
if diff_time < 0 : diff_time=0
|
||||||
time.sleep(diff_time)
|
time.sleep(diff_time)
|
||||||
#次のチャットデータのcontinuationパラメータを取り出す。
|
|
||||||
continuation = metadata.get('continuation')
|
continuation = metadata.get('continuation')
|
||||||
|
|
||||||
#whileループ先頭に戻る
|
|
||||||
except ChatParseException as e:
|
except ChatParseException as e:
|
||||||
logger.error(f"{str(e)}(動画ID:\"{self.video_id}\")")
|
logger.info(f"{str(e)}(video_id:\"{self.video_id}\")")
|
||||||
return
|
return
|
||||||
except (TypeError , json.JSONDecodeError) :
|
except (TypeError , json.JSONDecodeError) :
|
||||||
logger.error(f"{traceback.format_exc(limit = -1)}")
|
logger.error(f"{traceback.format_exc(limit = -1)}")
|
||||||
|
|||||||
@@ -30,6 +30,9 @@ class ReplayChat:
|
|||||||
video_id : str
|
video_id : str
|
||||||
動画ID
|
動画ID
|
||||||
|
|
||||||
|
seektime : int
|
||||||
|
リプレイするチャットデータの開始時間(秒)
|
||||||
|
|
||||||
processor : ChatProcessor
|
processor : ChatProcessor
|
||||||
チャットデータを加工するオブジェクト
|
チャットデータを加工するオブジェクト
|
||||||
|
|
||||||
@@ -65,7 +68,7 @@ class ReplayChat:
|
|||||||
#チャット監視中のListenerのリスト
|
#チャット監視中のListenerのリスト
|
||||||
_listeners= []
|
_listeners= []
|
||||||
def __init__(self, video_id,
|
def __init__(self, video_id,
|
||||||
seektime =0,
|
seektime = 0,
|
||||||
processor = DefaultProcessor(),
|
processor = DefaultProcessor(),
|
||||||
buffer = Buffer(maxsize = 20),
|
buffer = Buffer(maxsize = 20),
|
||||||
interruptable = True,
|
interruptable = True,
|
||||||
@@ -74,7 +77,7 @@ class ReplayChat:
|
|||||||
direct_mode = False
|
direct_mode = False
|
||||||
):
|
):
|
||||||
self.video_id = video_id
|
self.video_id = video_id
|
||||||
self.seektime= seektime
|
self.seektime = seektime
|
||||||
self.processor = processor
|
self.processor = processor
|
||||||
self._buffer = buffer
|
self._buffer = buffer
|
||||||
self._callback = callback
|
self._callback = callback
|
||||||
@@ -159,16 +162,15 @@ class ReplayChat:
|
|||||||
with requests.Session() as session:
|
with requests.Session() as session:
|
||||||
while(continuation and self._is_alive):
|
while(continuation and self._is_alive):
|
||||||
if self._pauser.empty():
|
if self._pauser.empty():
|
||||||
#pauseが呼ばれて_pauserが空状態のときは一時停止する
|
#pause
|
||||||
self._pauser.get()
|
self._pauser.get()
|
||||||
#resumeが呼ばれて_pauserにitemが入ったら再開する
|
#resume
|
||||||
#直後に_pauserにitem(None)を入れてブロックを防ぐ
|
#prohibit from blocking by putting None into _pauser.
|
||||||
self._pauser.put_nowait(None)
|
self._pauser.put_nowait(None)
|
||||||
livechat_json = (
|
livechat_json = (
|
||||||
self._get_livechat_json(continuation, session, headers)
|
self._get_livechat_json(continuation, session, headers)
|
||||||
)
|
)
|
||||||
metadata, chatdata = self._parser.parse( livechat_json )
|
metadata, chatdata = self._parser.parse( livechat_json )
|
||||||
#チャットデータを含むコンポーネントを組み立ててbufferに投入する
|
|
||||||
timeout = metadata['timeoutMs']/1000
|
timeout = metadata['timeoutMs']/1000
|
||||||
chat_component = {
|
chat_component = {
|
||||||
"video_id" : self.video_id,
|
"video_id" : self.video_id,
|
||||||
|
|||||||
@@ -17,7 +17,7 @@ def get_logger(modname,mode=logging.DEBUG):
|
|||||||
logger.addHandler(handler1)
|
logger.addHandler(handler1)
|
||||||
#create handler2 for recording log file
|
#create handler2 for recording log file
|
||||||
if mode <= logging.DEBUG:
|
if mode <= logging.DEBUG:
|
||||||
handler2 = logging.FileHandler(filename="log.txt")
|
handler2 = logging.FileHandler(filename="log.txt", encoding='utf-8')
|
||||||
handler2.setLevel(logging.ERROR)
|
handler2.setLevel(logging.ERROR)
|
||||||
handler2.setFormatter(my_formatter)
|
handler2.setFormatter(my_formatter)
|
||||||
|
|
||||||
|
|||||||
@@ -1,3 +1,9 @@
|
|||||||
|
"""
|
||||||
|
pytchat.parser.live
|
||||||
|
~~~~~~~~~~~~~~~~~~~
|
||||||
|
This module is parser of live chat JSON.
|
||||||
|
"""
|
||||||
|
|
||||||
import json
|
import json
|
||||||
from .. import config
|
from .. import config
|
||||||
from .. import mylogger
|
from .. import mylogger
|
||||||
@@ -12,6 +18,27 @@ logger = mylogger.get_logger(__name__,mode=config.LOGGER_MODE)
|
|||||||
|
|
||||||
class Parser:
|
class Parser:
|
||||||
def parse(self, jsn):
|
def parse(self, jsn):
|
||||||
|
"""
|
||||||
|
このparse関数はLiveChat._listen() 関数から定期的に呼び出される。
|
||||||
|
引数jsnはYoutubeから取得したチャットデータの生JSONであり、
|
||||||
|
このparse関数によって与えられたJSONを以下に分割して返す。
|
||||||
|
+ timeout (次のチャットデータ取得までのインターバル)
|
||||||
|
+ chat data(チャットデータ本体)
|
||||||
|
+ continuation (次のチャットデータ取得に必要となるパラメータ).
|
||||||
|
|
||||||
|
Parameter
|
||||||
|
----------
|
||||||
|
+ jsn : dict
|
||||||
|
+ Youtubeから取得したチャットデータのJSONオブジェクト。
|
||||||
|
(pythonの辞書形式に変換済みの状態で渡される)
|
||||||
|
|
||||||
|
Returns
|
||||||
|
-------
|
||||||
|
+ metadata : dict
|
||||||
|
+ チャットデータに付随するメタデータ。timeout、 動画ID、continuationパラメータで構成される。
|
||||||
|
+ chatdata : list[dict]
|
||||||
|
+ チャットデータ本体のリスト。
|
||||||
|
"""
|
||||||
if jsn is None:
|
if jsn is None:
|
||||||
return {'timeoutMs':0,'continuation':None},[]
|
return {'timeoutMs':0,'continuation':None},[]
|
||||||
if jsn['response']['responseContext'].get('errors'):
|
if jsn['response']['responseContext'].get('errors'):
|
||||||
|
|||||||
@@ -12,6 +12,31 @@ logger = mylogger.get_logger(__name__,mode=config.LOGGER_MODE)
|
|||||||
|
|
||||||
class Parser:
|
class Parser:
|
||||||
def parse(self, jsn):
|
def parse(self, jsn):
|
||||||
|
"""
|
||||||
|
このparse関数はReplayChat._listen() 関数から定期的に呼び出される。
|
||||||
|
引数jsnはYoutubeから取得したアーカイブ済みチャットデータの生JSONであり、
|
||||||
|
このparse関数によって与えられたJSONを以下に分割して返す。
|
||||||
|
+ timeout (次のチャットデータ取得までのインターバル)
|
||||||
|
+ chat data(チャットデータ本体)
|
||||||
|
+ continuation (次のチャットデータ取得に必要となるパラメータ).
|
||||||
|
|
||||||
|
ライブ配信のチャットとアーカイブ済み動画のチャットは構造が若干異なっているが、
|
||||||
|
ライブチャットと同じデータ形式に変換することにより、
|
||||||
|
同じprocessorでライブとリプレイどちらでも利用できるようにしている。
|
||||||
|
|
||||||
|
Parameter
|
||||||
|
----------
|
||||||
|
+ jsn : dict
|
||||||
|
+ Youtubeから取得したチャットデータのJSONオブジェクト。
|
||||||
|
(pythonの辞書形式に変換済みの状態で渡される)
|
||||||
|
|
||||||
|
Returns
|
||||||
|
-------
|
||||||
|
+ metadata : dict
|
||||||
|
+ チャットデータに付随するメタデータ。timeout、 動画ID、continuationパラメータで構成される。
|
||||||
|
+ chatdata : list[dict]
|
||||||
|
+ チャットデータ本体のリスト。
|
||||||
|
"""
|
||||||
if jsn is None:
|
if jsn is None:
|
||||||
return {'timeoutMs':0,'continuation':None},[]
|
return {'timeoutMs':0,'continuation':None},[]
|
||||||
if jsn['response']['responseContext'].get('errors'):
|
if jsn['response']['responseContext'].get('errors'):
|
||||||
@@ -36,9 +61,9 @@ class Parser:
|
|||||||
raise NoContentsException('チャットデータを取得できませんでした。')
|
raise NoContentsException('チャットデータを取得できませんでした。')
|
||||||
interval = self.get_interval(actions)
|
interval = self.get_interval(actions)
|
||||||
metadata.setdefault("timeoutMs",interval)
|
metadata.setdefault("timeoutMs",interval)
|
||||||
chatdata = []
|
"""アーカイブ済みチャットはライブチャットと構造が異なっているため、以下の行により
|
||||||
for action in actions:
|
ライブチャットと同じ形式にそろえる"""
|
||||||
chatdata.append(action["replayChatItemAction"]["actions"][0])
|
chatdata = [action["replayChatItemAction"]["actions"][0] for action in actions]
|
||||||
return metadata, chatdata
|
return metadata, chatdata
|
||||||
|
|
||||||
def get_interval(self, actions: list):
|
def get_interval(self, actions: list):
|
||||||
|
|||||||
@@ -4,7 +4,9 @@ from .renderer.textmessage import LiveChatTextMessageRenderer
|
|||||||
from .renderer.paidmessage import LiveChatPaidMessageRenderer
|
from .renderer.paidmessage import LiveChatPaidMessageRenderer
|
||||||
from .renderer.paidsticker import LiveChatPaidStickerRenderer
|
from .renderer.paidsticker import LiveChatPaidStickerRenderer
|
||||||
from .renderer.legacypaid import LiveChatLegacyPaidMessageRenderer
|
from .renderer.legacypaid import LiveChatLegacyPaidMessageRenderer
|
||||||
|
from ... import config
|
||||||
|
from ... import mylogger
|
||||||
|
logger = mylogger.get_logger(__name__,mode=config.LOGGER_MODE)
|
||||||
|
|
||||||
class Chatdata:
|
class Chatdata:
|
||||||
def __init__(self,chatlist:list, timeout:float):
|
def __init__(self,chatlist:list, timeout:float):
|
||||||
@@ -40,32 +42,31 @@ class DefaultProcessor:
|
|||||||
if action.get('addChatItemAction') is None: continue
|
if action.get('addChatItemAction') is None: continue
|
||||||
if action['addChatItemAction'].get('item') is None: continue
|
if action['addChatItemAction'].get('item') is None: continue
|
||||||
|
|
||||||
chat = self.parse(action)
|
chat = self._parse(action)
|
||||||
if chat:
|
if chat:
|
||||||
chatlist.append(chat)
|
chatlist.append(chat)
|
||||||
return Chatdata(chatlist, float(timeout))
|
return Chatdata(chatlist, float(timeout))
|
||||||
|
|
||||||
|
|
||||||
def parse(self, sitem):
|
def _parse(self, sitem):
|
||||||
|
|
||||||
action = sitem.get("addChatItemAction")
|
action = sitem.get("addChatItemAction")
|
||||||
if action:
|
if action:
|
||||||
item = action.get("item")
|
item = action.get("item")
|
||||||
if item is None: return None
|
if item is None: return None
|
||||||
try:
|
try:
|
||||||
renderer = self.get_renderer(item)
|
renderer = self._get_renderer(item)
|
||||||
if renderer == None:
|
if renderer == None:
|
||||||
return None
|
return None
|
||||||
|
|
||||||
renderer.get_snippet()
|
renderer.get_snippet()
|
||||||
renderer.get_authordetails()
|
renderer.get_authordetails()
|
||||||
except (KeyError,TypeError,AttributeError) as e:
|
except (KeyError,TypeError,AttributeError) as e:
|
||||||
print(f"------{str(type(e))}-{str(e)}----------")
|
logger.error(f"{str(type(e))}-{str(e)} sitem:{str(sitem)}")
|
||||||
print(sitem)
|
|
||||||
return None
|
return None
|
||||||
return renderer
|
return renderer
|
||||||
|
|
||||||
def get_renderer(self, item):
|
def _get_renderer(self, item):
|
||||||
if item.get("liveChatTextMessageRenderer"):
|
if item.get("liveChatTextMessageRenderer"):
|
||||||
renderer = LiveChatTextMessageRenderer(item)
|
renderer = LiveChatTextMessageRenderer(item)
|
||||||
elif item.get("liveChatPaidMessageRenderer"):
|
elif item.get("liveChatPaidMessageRenderer"):
|
||||||
|
|||||||
@@ -15,11 +15,12 @@ class BaseRenderer:
|
|||||||
self.timestamp = int(timestampUsec/1000)
|
self.timestamp = int(timestampUsec/1000)
|
||||||
tst = self.renderer.get("timestampText")
|
tst = self.renderer.get("timestampText")
|
||||||
if tst:
|
if tst:
|
||||||
self.timestampText = tst.get("simpleText")
|
self.elapsedTime = tst.get("simpleText")
|
||||||
else:
|
else:
|
||||||
self.timestampText = ""
|
self.elapsedTime = ""
|
||||||
self.datetime = self.get_datetime(timestampUsec)
|
self.datetime = self.get_datetime(timestampUsec)
|
||||||
self.message = self.get_message(self.renderer)
|
self.message = self.get_message(self.renderer)
|
||||||
|
self.messageEx = self.get_message_ex(self.renderer)
|
||||||
self.id = self.renderer.get('id')
|
self.id = self.renderer.get('id')
|
||||||
self.amountValue= 0.0
|
self.amountValue= 0.0
|
||||||
self.amountString = ""
|
self.amountString = ""
|
||||||
@@ -54,6 +55,19 @@ class BaseRenderer:
|
|||||||
message += r.get('text','')
|
message += r.get('text','')
|
||||||
return message
|
return message
|
||||||
|
|
||||||
|
def get_message_ex(self,renderer):
|
||||||
|
message = []
|
||||||
|
if renderer.get("message"):
|
||||||
|
runs=renderer["message"].get("runs")
|
||||||
|
if runs:
|
||||||
|
for r in runs:
|
||||||
|
if r:
|
||||||
|
if r.get('emoji'):
|
||||||
|
message.append(r['emoji']['image']['thumbnails'][1].get('url'))
|
||||||
|
else:
|
||||||
|
message.append(r.get('text',''))
|
||||||
|
return message
|
||||||
|
|
||||||
def get_badges(self,renderer):
|
def get_badges(self,renderer):
|
||||||
isVerified = False
|
isVerified = False
|
||||||
isChatOwner = False
|
isChatOwner = False
|
||||||
|
|||||||
@@ -1,12 +1,42 @@
|
|||||||
import re
|
import re
|
||||||
from . import currency
|
from . import currency
|
||||||
from .paidmessage import LiveChatPaidMessageRenderer
|
from .base import BaseRenderer
|
||||||
|
superchat_regex = re.compile(r"^(\D*)(\d{1,3}(,\d{3})*(\.\d*)*\b)$")
|
||||||
|
|
||||||
class LiveChatPaidStickerRenderer(LiveChatPaidMessageRenderer):
|
class LiveChatPaidStickerRenderer(BaseRenderer):
|
||||||
def __init__(self, item):
|
def __init__(self, item):
|
||||||
super().__init__(item, "superSticker")
|
super().__init__(item, "superSticker")
|
||||||
|
|
||||||
|
|
||||||
|
def get_snippet(self):
|
||||||
|
super().get_snippet()
|
||||||
|
|
||||||
|
self.author.name = self.renderer["authorName"]["simpleText"]
|
||||||
|
|
||||||
|
amountDisplayString, symbol, amount =(
|
||||||
|
self.get_amountdata(self.renderer)
|
||||||
|
)
|
||||||
|
self.message = ""
|
||||||
|
self.amountValue = amount
|
||||||
|
self.amountString = amountDisplayString
|
||||||
|
self.currency = currency.symbols[symbol]["fxtext"] if currency.symbols.get(symbol) else symbol
|
||||||
|
self.bgColor = self.renderer.get("moneyChipBackgroundColor", 0)
|
||||||
|
self.sticker = "https:"+self.renderer["sticker"]["thumbnails"][0]["url"]
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
def get_amountdata(self,renderer):
|
||||||
|
amountDisplayString = renderer["purchaseAmountText"]["simpleText"]
|
||||||
|
m = superchat_regex.search(amountDisplayString)
|
||||||
|
if m:
|
||||||
|
symbol = m.group(1)
|
||||||
|
amount = float(m.group(2).replace(',',''))
|
||||||
|
else:
|
||||||
|
symbol = ""
|
||||||
|
amount = 0.0
|
||||||
|
return amountDisplayString, symbol, amount
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|||||||
192
pytchat/processors/speed_calculator.py
Normal file
192
pytchat/processors/speed_calculator.py
Normal file
@@ -0,0 +1,192 @@
|
|||||||
|
"""
|
||||||
|
speedmeter.py
|
||||||
|
チャットの勢いを算出するChatProcessor
|
||||||
|
Calculate speed of chat.
|
||||||
|
"""
|
||||||
|
import calendar, datetime, pytz
|
||||||
|
|
||||||
|
class RingQueue:
|
||||||
|
"""
|
||||||
|
リング型キュー
|
||||||
|
|
||||||
|
Attributes
|
||||||
|
----------
|
||||||
|
items : list
|
||||||
|
格納されているアイテムのリスト。
|
||||||
|
first_pos : int
|
||||||
|
キュー内の一番古いアイテムを示すリストのインデックス。
|
||||||
|
last_pos : int
|
||||||
|
キュー内の一番新しいアイテムを示すリストのインデックス。
|
||||||
|
mergin : boolean
|
||||||
|
キュー内に余裕があるか。キュー内のアイテム個数が、キューの最大個数未満であればTrue。
|
||||||
|
"""
|
||||||
|
|
||||||
|
def __init__(self, capacity = 10):
|
||||||
|
"""
|
||||||
|
コンストラクタ
|
||||||
|
|
||||||
|
Parameter
|
||||||
|
----------
|
||||||
|
capacity:このキューに格納するアイテムの最大個数。
|
||||||
|
格納時に最大個数を超える場合は一番古いアイテムから
|
||||||
|
上書きする。
|
||||||
|
"""
|
||||||
|
if capacity <= 0:
|
||||||
|
raise ValueError
|
||||||
|
self.items = list()
|
||||||
|
self.capacity = capacity
|
||||||
|
self.first_pos = 0
|
||||||
|
self.last_pos = 0
|
||||||
|
self.mergin = True
|
||||||
|
|
||||||
|
def put(self, item):
|
||||||
|
"""
|
||||||
|
引数itemに指定されたアイテムをこのキューに格納する。
|
||||||
|
キューの最大個数を超える場合は、一番古いアイテムの位置に上書きする。
|
||||||
|
|
||||||
|
Parameter
|
||||||
|
----------
|
||||||
|
item:格納するアイテム
|
||||||
|
"""
|
||||||
|
if self.mergin:
|
||||||
|
self.items.append(item)
|
||||||
|
self.last_pos = len(self.items)-1
|
||||||
|
if self.last_pos == self.capacity-1:
|
||||||
|
self.mergin = False
|
||||||
|
return
|
||||||
|
self.last_pos += 1
|
||||||
|
if self.last_pos > self.capacity-1:
|
||||||
|
self.last_pos = 0
|
||||||
|
self.items[self.last_pos] = item
|
||||||
|
|
||||||
|
self.first_pos += 1
|
||||||
|
if self.first_pos > self.capacity-1:
|
||||||
|
self.first_pos = 0
|
||||||
|
|
||||||
|
def get(self):
|
||||||
|
"""
|
||||||
|
キュー内の一番古いアイテムへの参照を返す
|
||||||
|
(アイテムは削除しない)
|
||||||
|
|
||||||
|
Return
|
||||||
|
----------
|
||||||
|
キュー内の一番古いアイテムへの参照
|
||||||
|
"""
|
||||||
|
return self.items[self.first_pos]
|
||||||
|
|
||||||
|
def item_count(self):
|
||||||
|
return len(self.items)
|
||||||
|
|
||||||
|
class SpeedCalculator(RingQueue):
|
||||||
|
"""
|
||||||
|
チャットの勢いを計算するクラス
|
||||||
|
Parameter
|
||||||
|
----------
|
||||||
|
格納するチャットブロックの数
|
||||||
|
"""
|
||||||
|
|
||||||
|
def __init__(self, capacity, video_id):
|
||||||
|
super().__init__(capacity)
|
||||||
|
self.video_id=video_id
|
||||||
|
self.speed = 0
|
||||||
|
|
||||||
|
def process(self, chat_components: list):
|
||||||
|
if chat_components:
|
||||||
|
for component in chat_components:
|
||||||
|
|
||||||
|
chatdata = component.get('chatdata')
|
||||||
|
|
||||||
|
if chatdata is None:
|
||||||
|
return self.speed
|
||||||
|
self.speed = self.calc(chatdata)
|
||||||
|
return self.speed
|
||||||
|
|
||||||
|
def _value(self):
|
||||||
|
|
||||||
|
"""
|
||||||
|
ActionsQueue内のチャットデータリストから、
|
||||||
|
チャット速度を計算して返す
|
||||||
|
|
||||||
|
Return
|
||||||
|
---------------------------
|
||||||
|
チャット速度(1分間で換算したチャット数)
|
||||||
|
"""
|
||||||
|
try:
|
||||||
|
#キュー内のactionsの総チャット数
|
||||||
|
total = sum(item['chat_count'] for item in self.items)
|
||||||
|
#キュー内の最初と最後のチャットの時間差
|
||||||
|
duration = (self.items[self.last_pos]['endtime']
|
||||||
|
- self.items[self.first_pos]['starttime'])
|
||||||
|
if duration != 0:
|
||||||
|
return int(total*60/duration)
|
||||||
|
return 0
|
||||||
|
except IndexError:
|
||||||
|
return 0
|
||||||
|
|
||||||
|
def _get_timestamp(self, action :dict):
|
||||||
|
"""
|
||||||
|
チャットデータのtimestampUsecを読み取る
|
||||||
|
liveChatTickerSponsorItemRenderer等のtickerデータは時刻格納位置が
|
||||||
|
異なるため、時刻データなしとして扱う
|
||||||
|
"""
|
||||||
|
try:
|
||||||
|
item = action['addChatItemAction']['item']
|
||||||
|
timestamp = int(item[list(item.keys())[0]]['timestampUsec'])
|
||||||
|
except (KeyError,TypeError):
|
||||||
|
return None
|
||||||
|
return timestamp
|
||||||
|
|
||||||
|
def calc(self,actions):
|
||||||
|
|
||||||
|
def empty_data():
|
||||||
|
'''
|
||||||
|
データがない場合にゼロのデータをリングキューに入れる
|
||||||
|
'''
|
||||||
|
timestamp_now = calendar.timegm(datetime.datetime.
|
||||||
|
now(pytz.utc).utctimetuple())
|
||||||
|
self.put({
|
||||||
|
'chat_count':0,
|
||||||
|
'starttime':int(timestamp_now),
|
||||||
|
'endtime':int(timestamp_now)
|
||||||
|
})
|
||||||
|
return self._value()
|
||||||
|
|
||||||
|
if actions is None or len(actions)==0:
|
||||||
|
return empty_data
|
||||||
|
|
||||||
|
#actions内の時刻データを持つチャットデータの数(tickerは除く)
|
||||||
|
counter=0
|
||||||
|
#actions内の最初のチャットデータの時刻
|
||||||
|
starttime= None
|
||||||
|
#actions内の最後のチャットデータの時刻
|
||||||
|
endtime=None
|
||||||
|
|
||||||
|
for action in actions:
|
||||||
|
#チャットデータからtimestampUsecを読み取る
|
||||||
|
gettime = self._get_timestamp(action)
|
||||||
|
|
||||||
|
#時刻のないデータだった場合は次の行のデータで読み取り試行
|
||||||
|
if gettime is None:
|
||||||
|
continue
|
||||||
|
|
||||||
|
#最初に有効な時刻を持つデータのtimestampをstarttimeに設定
|
||||||
|
if starttime is None:
|
||||||
|
starttime = gettime
|
||||||
|
|
||||||
|
#最後のtimestampを設定(途中で時刻のないデータの場合もあるので上書きしていく)
|
||||||
|
endtime = gettime
|
||||||
|
|
||||||
|
#チャットの数をインクリメント
|
||||||
|
counter+=1
|
||||||
|
|
||||||
|
#チャット速度用のデータをリングキューに送る
|
||||||
|
if starttime is None or endtime is None:
|
||||||
|
return empty_data
|
||||||
|
|
||||||
|
self.put({
|
||||||
|
'chat_count':counter,
|
||||||
|
'starttime':int(starttime/1000000),
|
||||||
|
'endtime':int(endtime/1000000)
|
||||||
|
})
|
||||||
|
|
||||||
|
return self._value()
|
||||||
Reference in New Issue
Block a user