标签: batch-processing

我有一个函数，它基本上从表中返回整个数据。我如何实现批量获取，以便一次批量返回 60,000 行数据。

以下逻辑适用于这种情况吗？

http://javainnovations.blogspot.com/2008/07/batch-insertion-in-hibernate.html

这是我的项目的形式

src
   main
        ressources
                   applicationContext.xml
target
upload
       pharmacies.txt

这是 Spring Batch Reader

src
   main
        ressources
                   applicationContext.xml
target
upload
       pharmacies.txt

这是我运行的批次

		<property name="resource" value="./upload/pharmacies.txt" />
		<property name="lineMapper">
			<bean class="org.springframework.batch.item.file.mapping.DefaultLineMapper">
				<property name="lineTokenizer">
				<bean class="org.springframework.batch.item.file.transform.DelimitedLineTokenizer">
					<property name="delimiter" value=","/>
					<property name="names" value="nom,telephone,adresse,Latitude,Longitude" />
				</bean>
				</property>
				<property name="fieldSetMapper">
					<bean class="org.springframework.batch.item.file.mapping.BeanWrapperFieldSetMapper">
						<property name="targetType" value="model.Pharmacie" />
					</bean>
				</property>
			</bean>
		</property>
	</bean>

我收到这个错误

java.lang.IllegalStateException：输入资源必须存在（阅读器处于“严格”模式）：类路径资源

我正在进行一些代码测试，我偶然发现了一个无法找到或修复的问题。我的问题是：

如果用户不小心关闭了cmd窗口，我想在它实际关闭之前执行批处理代码。例如：

我运行脚本 A.bat 。当用户想要退出时，我希望它删除我的 B.bat，然后关闭窗口。
代码可能如下所示：

@ECHO OFF
echo Welcome to A.bat
del B.bat (when user exits the window)

我在谷歌和论坛上找不到它，所以我想也许你们可以帮助我。提前致谢，尼尔斯

我想用 CMD 批处理文件比较 2 个文件（比较大小）。如果文件不相等，我想启动复制操作，不是从命令行而是在批处理文件中。

我想抑制问题“比较更多文件？”在 Comp 命令前面不是 Echo N 吗？此外，我并不完全相信我的“>Nul”声明。

我试过：

@echo off
:main
Echo n comp  g:\test.accdb g:\test21.accdb >nul
if errorlevel 1 goto different size
:next
echo Files are same size
pause
exit

:different size
copy g:\test.accdb g:\test21.accdb
pause
EXIT

通过 Winrar，我可以使用此命令为每个文件夹创建存档

for folder in */; do rar a -m0 -r "${folder%/}.rar" "$folder"; done

我使用 Windows，我想使用 7z Console 克隆此命令，因为软件更强大。
我也尝试这批

@ECHO OFF
FOR %%A IN (*) DO "c:\program files\7-zip\7z.exe" a -mx9 -m0=lzma2:d256m "%%~nA.7z" "%%A"

但只归档我的文件，而不是单独的文件夹。

例如我想从以下位置下载数据： http: //nimbus.cos.uidaho.edu/DATA/OBS/

与链接：

http://nimbus.cos.uidaho.edu/DATA/OBS/pr_1979.nc

到

http://nimbus.cos.uidaho.edu/DATA/OBS/pr_2015.nc

我怎样才能编写一个脚本来下载所有这些？以及wget如何循环从 1979 年到 2015 年的链接？

我想制作一个运行特定程序的批处理文件，然后命令窗口自行退出，我尝试了这个，因为我将创建该批处理文件的快捷方式，以便批处理文件位于根目录中

@echo off 
"program.exe" "mainframe.pkg"

exit

它可以工作，但黑色窗口不会消失，并且会导致程序出现问题，因为它有边界。有什么方法可以删除黑色丑陋的 CMD 窗口。

我正在尝试使用 aws-java-sdk-athena 批量执行 AWS Athena 查询。我能够建立连接，单独运行查询，但不知道如何批量运行 3 个查询。任何帮助表示赞赏。

询问

 1.select * from table1 limit 2
 2.select * from table2 limit 2
 3.select * from table3 limit 2

所以我的网络的输出如下所示：

output = tensor([[[ 0.0868, -0.2623],
     [ 0.0716, -0.2668],
     [ 0.0584, -0.2549],
     [ 0.0482, -0.2386],
     [ 0.0410, -0.2234],
     [ 0.0362, -0.2111],
     [ 0.0333, -0.2018],
     [ 0.0318, -0.1951],
     [ 0.0311, -0.1904],
     [ 0.0310, -0.1873],
     [ 0.0312, -0.1851],
     [ 0.0315, -0.1837],
     [ 0.0318, -0.1828],
     [ 0.0322, -0.1822],
     [ 0.0324, -0.1819],
     [ 0.0327, -0.1817],
     [ 0.0328, -0.1815],
     [ 0.0330, -0.1815],
     [ 0.0331, -0.1814],
     [ 0.0332, -0.1814],
     [ 0.0333, -0.1814],
     [ 0.0333, -0.1814],
     [ 0.0334, -0.1814],
     [ 0.0334, -0.1814],
     [ 0.0334, -0.1814]],

    [[ 0.0868, …

在Huggingface 的Tokenizer文档中，调用函数接受 List[List[str]] 并表示：

\n

text (str, List[str], List[List[str]], 可选) \xe2\x80\x94 要编码的序列或一批序列。每个序列可以是一个字符串或字符串列表（预标记化字符串）。如果序列作为字符串列表（预标记化）提供，则必须设置 is_split_into_words=True （以消除一批序列的歧义）。

\n

如果我运行，一切都会正常运行：

 test = ["hello this is a test", "that transforms a list of sentences", "into a list of list of sentences", "in order to emulate, in this case, two batches of the same lenght", "to be tokenized by the hf tokenizer for the defined model"]\n tokenizer = AutoTokenizer.from_pretrained(\'distilbert-base-uncased-finetuned-sst-2-english\')\n tokenized_test = tokenizer(text=test, padding="max_length", is_split_into_words=False, truncation=True, return_tensors="pt")\n

但如果我尝试模拟批量句子：